Classificação de dificuldade de questões de programação com base na inteligibilidade do enunciado

• Pedro H. C. dos Santos Universidade Federal do Amazonas (UFAM)
• Leandro S. G. Carvalho Universidade Federal do Amazonas (UFAM)
• Elaine H. T. Oliveira Universidade Federal do Amazonas (UFAM)
• David B. F. de Oliveira Universidade Federal do Amazonas (UFAM)

DOI: https://doi.org/10.5753/cbie.sbie.2019.1886

Resumo

Em grandes turmas de disciplinas de programação mediadas por juízes online, é preciso aleatorizar as questões selecionadas para testes de avaliação, a fim de evitar comportamento desonesto. O problema de uma aleatorização ingênua é a falta de equidade com respeito ao grau de dificuldade das questões. Assim, este artigo propõe um método para classificar a dificuldade de questões de programação com base em métricas de inteligibilidade de texto extraídas a partir de seus enunciados. Foram analisadas 450 questões, respondidas por 800 alunos em uma disciplina de introdução à programação entre os períodos letivos de 2017 a 2018. Verificou-se que uma abordagem baseada apenas nas métricas de inteligibilidade é subótima para a classificação de dificuldade de questões, porém não irrelevante.

Palavras-chave: Programação, Juízes online, Dificuldade, Inteligibilidade, Equidade

Referências

Barbosa, A., Costa, E., e Brito, P. (2017). Uma abordagem adaptativa para gerar agrupamento de códigos em disciplinas de programação introdutória. In Simpósio Brasileiro de Informática na Educação, volume 28, página 1427.

Chawla, N.V., Bowyer, K.W., Hall, L.O., e Kegelmeyer, W.P. (2002). Smote: synthetic minority over-sampling technique. Journal of artificial intelligence research.

Cherenkova, Y., Zingaro, D., e Petersen, A. (2014). Identifying challenging cs1 concepts in a large problem dataset. In Proceedings of the 45th ACM technical symposium on Computer science education, páginas 695-700.

Elnaffar, S. (2016). Using software metrics to predict the difficulty of code writing questions. In 2016 IEEE Global Engineering Education Conference (EDUCON), páginas 513-518. IEEE.

Inep: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (2017). Relatório Síntese de Área - Ciência da Computação.

Llana, L., E., M.-M., e Pareja-Flores (2012). Flop, a free laboratory of programming. In Proceedings of the 12th Koli Calling International Conference on Computing Education Research.

Martins, T.B., Ghiraldelo, C.M., Nunes, M.G.V., e Oliveira Junior, O.N. Readability formulas applied to textbooks in Brazilian Portuguese. Notas do ICMC, 28.

Meisalo, V., Sutinen, E., e Torvinen, S. (2004). Classification of exercises in a virtual programming course. In Proceedings - Frontiers in Education Conference, FIE, volume 3.

Scarton, C. e Aluisio, S. (2009). Análise da inteligibilidade de textos via ferramentas de processamento de linguagem natural: adaptando as métricas do coh-metrix para o português. Linguamática, 2.

Scarton, C. e Aluisio, S. (2010). Coh-metrix-port: a readability assessment tool for texts in Brazilian Portuguese. 9th International Conference on Computational Processing of the Portuguese Language, 2.

Sheard, J., Simon, B., Carbone, A., Chinn, D., Laakso, M.-J., Clear, T., Raadt, M., D’Souza, D., Harland, J., Lister, R., Philpott, A., e Warburton, G. (2011). Exploring programming assessment instruments: A classification scheme for examination questions. In Proceedings of the 7th International Workshop on Computing Education Research, ICER, Providence, USA.

Whalley, J. e Kasto, N. (2014). How difficult are novice code writing tasks?: A software metrics approach. In Proceedings of the Sixteenth Australasian Computing Education Conference - Volume 148, páginas 105-112. Australian Computer Society, Inc.