Problemas de Regressão utilizando Combinação de Preditores baseado no Coeficiente de Correlação

• Luzia Vidal de Souza UFPR
• Aurora T. R. Pozo UFPR
• Joel M. C. da Rosa UFPR

Resumo

Algoritmos de combinação de preditores têm recebido muita atenção dos pesquisadores; eles combinam as previsões obtidas por diferentes preditores de maneira a melhorar a acurácia do preditor. Neste trabalho a técnica Boosting é explorada para obter uma combinação de regressores e propõe uma nova fórmula para a atualização dos pesos e para a obtenção da hipótese final. Esta nova fórmula é baseada nos coeficientes de correlação. Para validar a metodologia, experimentos foram realizados, os resultados obtidos pelo algoritmo foram comparados aos resultados obtidos em outros trabalhos publicados e mostram melhorias em relação aos demais métodos.

Referências

Allwein, E. L, Schapire, R. E. and Singer, Y. (2000). “Reducing multiclass to binary: A unifying approach for margin classifiers”. Journal of Machine Learning Research, v1, p. 113-141.

Blake, C. L. & Merz, C. J. (1997). “UCI Repostitory of machine learning databases”, Irvine, CA: Universtity of California, Dep. of Information and Computer Science, 1998. Available: [link].

Breiman, L. & Friedman, J. (1984). “Classification and Regression Trees”. New York: Belmont Wadsworth Int. Group.

Breiman, L. (1997). “Prediction Games and Arcing Algorithms”. Neural Computation, vol 11 (7), pp 1493-1518.

Drucker, H. (1997). “Improving regression using boosting techniques”, In: International Conference on Machine Learning, Orlando: Proceeding of International Conference on Machine Learning, ICML97.

Duffy, N. & Helmbold, D. P. (2000), “Leveraging for regression”. Procedures of the 13 th Annual Conference on Computer Learning Theory, p. 208-219, San Francisco: Morgan Kaufmann.

Efron, B., Tibshirani, R. J. (1993). “An introduction to the bootstrap”. Chapman & Hall, New York, NY.

Freund Y.; Schapire, R.E. (1998). “A short Introduction to Boosting”. Journal of Japanese Society for Artificial Intelligence, v.14(5), p. 771

Friedman, J.; Hastie, T.; Tibshirani. (2001). “Greedy Function Approximation: A Gradient Boosting Machine”. In: Annals of Statistics, v.29(5), p. 1189-1232.

Hastie, T.; Tibshirani, R.; Friedman, J. (2001). “The elements of Statistical Learning”. Springer Science+Business Media. New York, 10013, USA.

Ridgeway, G. Madigan, D. & Richardson, T. (1999). “Boosting methodology for regression problems”. Procedure of 7 th International Workshop on Artificial Intelligence and Statistics, p. 152-161. Fort Lauderdale, FL.

Schapire, R. E. (1990). “The Strenght of weak learnability”, In: Machine Learning, p. 197227.

Schapire, R. E. (1998). “Improved boosting algorithms using confidence rated predictions”, In: Proceedings of the Eleventh Annual Conference on Computational Learning Theory, p.80 91.

Schapire, R. E. and Freund, Y. (1996) “Experiments with a new boosting algorithm”, In: Machine Learning: Proceedings of the 13 th International Conference, 1996, p.148-156

Solomatine, D. P., Shrestha, D. L. (2004). “Adaboost.RT: a Boosting Algorithm for Regression Problems”. IEEE, p. 1163-1168.

Souza, L. V., Pozo, A. T. R & Chaves Neto, A (2006). “Using Correlation to Improve Boosting Technique:An Application for Time Series Forecasting”, In: Proceedings of 18 th IEEE International Conference on Tools with Artificial Inteligence.

Zemel, R. & Pitassi, T. (2001). A gradient-based boosting algorithm for regression problems. Leen, T. K. Dietterich, T. G., & Tresp, V. (Eds.), Advances in Neural Information Processing Systems 13. MIT press.