Classificação da Dificuldade de Questões de Programação: Aprofundando o Estudo Exploratório em Juízes Online - Melo, Victor Hugo Oliveira de; Santana, Thiago Reis; Nakamura, Fabíola Guerra; Oliveira, Elaine Harada Teixeira de; Oliveira, David Fernandes; Carvalho, Leandro Silva Galvão de (Anais do Workshop sobre Educação em Computação (WEI), 2025)
Os juízes online, para avaliar respostas de questões de programação, produzem dois tipos de feedback: certo ou errado. Assim, elas podem ser modeladas como itens dicotômicos, pois produzem apenas dois estados de avaliação. Este estudo aplica algoritmos de aprendizado de máquina com o objetivo de prever, além dos indicadores de dificuldade já conhecidos, a taxa de acerto e o poder de discriminação de questões de escrita de código no contexto de uma disciplina introdutória de programação. Nos experimentos, os classificadores apresentaram pior desempenho ao discriminar entre três categorias, em comparação a duas. Neste último caso, foi alcançado um f1-score de 0,81 para prever a taxa de acerto e 0,89 para o poder de discriminação.