Viés Avaliativo e Generalização Comprometida: O Impacto de Amostras Idênticas em Datasets de Malware Android - Canto, Gabriel Sousa; Rocha, Vanderson; Kreutz, Diego; Bragança, Hendrio; Feitosa, Eduardo (Anais da Escola Regional de Redes de Computadores (ERRC); 2024: Anais da XXI Escola Regional de Redes de Computadores, 2024)
Neste trabalho, analisamos datasets públicos utilizados na detecção demalwares Android, investigando como amostras idênticas e os grupos que elas formam impactam o desempenho e a capacidade de generalização dos modelos de aprendizado de máquina. Nossos testes em seis cenários mostram que amostras idênticas elevam artificialmente as métricas de desempenho, criando uma impressão equivocada de eficácia. Além disso, em conjuntos com poucas amostras únicas, observamos que os modelos enfrentam dificuldades para generalizar em novos dados. Concluímos que é fundamental garantir amostras exclusivas no conjunto de testes para avaliações precisas e evitar conclusões enganosas sobre a capacidade dos classificadores.