Is P-value<0.05 Enough? Two Case Studies in Classifiers Evaluation - Neumann, Nadine M.; Plastino, Alexandre; Pinto Junior, Jony A.; Freitas, Alex A. (Anais do Encontro Nacional de Inteligência Artificial e Computacional (ENIAC); 2018: Anais do XV Encontro Nacional de Inteligência Artificial e Computacional, 2018)
Uma ferramenta comumente utilizada no processo de comparação de classificadores é a análise da significância estatística, realizada atravées de teste de hipóteses. Entretanto, percebe-se que muitos pesquisadores estão buscando cegamente a significância estatística por meio da condição p-valor<0,05 e ignorando conceitos importantes como o tamanho do efeito e o poder do teste. Neste trabalho, são evidenciados possíveis problemas causados pelo mau uso dessa ferramenta e como o tamanho do efeito e o poder do teste acrescentam informação para uma melhor tomada de decisão. Para tanto, são apresentados dois estudos de caso com os testes t de Student e de Wilcoxon para a comparação de dois classificadores.