Is P-value<0.05 Enough? Two Case Studies in Classifiers Evaluation

• Nadine M. Neumann UFF
• Alexandre Plastino UFF
• Jony A. Pinto Junior UFF
• Alex A. Freitas University of Kent

DOI: https://doi.org/10.5753/eniac.2018.4407

Resumo

Uma ferramenta comumente utilizada no processo de comparação de classificadores é a análise da significância estatística, realizada atravées de teste de hipóteses. Entretanto, percebe-se que muitos pesquisadores estão buscando cegamente a significância estatística por meio da condição p-valor<0,05 e ignorando conceitos importantes como o tamanho do efeito e o poder do teste. Neste trabalho, são evidenciados possíveis problemas causados pelo mau uso dessa ferramenta e como o tamanho do efeito e o poder do teste acrescentam informação para uma melhor tomada de decisão. Para tanto, são apresentados dois estudos de caso com os testes t de Student e de Wilcoxon para a comparação de dois classificadores.