Recomendação Automática de Problemas em Juízes Online Usando Processamento de Linguagem Natural e Análise Dirigida aos Dados

• Hermino Barbosa de Freitas Júnior Universidade Federal de Roraima
• Filipe Dwan Pereira UFRR https://orcid.org/0000-0003-4914-3347
• Elaine Harada Teixeira de Oliveira UFAM https://orcid.org/0000-0003-2884-9359
• David Braga Fernandes de Oliveira UFAM
• Leandro Silva Galvão de Carvalho UFAM https://orcid.org/0000-0003-2970-2084

DOI: https://doi.org/10.5753/cbie.sbie.2020.1152

Resumo

Estudantes regularmente enfrentam dificuldades para encontrar problemas adequados em juízes online devido ao grande volume de exercícios disponíveis nesses sistemas. Nesse sentido, este estudo propõe e avalia métodos para recomendação automática de problemas em juízes online, em que as recomendações são realizadas a partir de um problema alvo, resolvido anteriormente pelo aluno. Um total de 324 recomendações foram avaliadas por 15 estudantes e 3 professores de programação, utilizando uma abordagem duplamente cega. Como resultado, mostrou-se que as recomendações dadas pelos métodos propostos foram mais adequadas do que as do baseline em termos de esforço empregado e sucesso obtido (maior taxa de acerto e menor taxa de erro e desistência). Por fim, acredita-se que os métodos de recomendação podem ser usados para auxiliar professores a criarem listas de exercícios.

Palavras-chave: Juízes Onlines, Sistemas de Recomendação, Análise Dirigida aos Dados, Processamento de Linguagem Natural, Desafios de Programação

Referências

Aljohani, T., Pereira, F. D., Cristea, A. I., e Oliveira, E. (2020). Prediction of users’ professional profile in moocs only by utilising learners’ written texts. In International Conference on Intelligent Tutoring Systems, pages 163–173. Springer.


Bradley, S. (2020). Creative assessment in programming: Diversity and divergence. In Proceedings of the 4th Conference on Computing Education Practice 2020, pages 1–4.


Chau, H., Barria-Pineda, J., e Brusilovsky, P. (2017). Content wizard: concept-based recommender system for instructors of programming courses. In Adjunct Publication of the 25th Conference on User Modeling, Adaptation and Personalization, pages 135–140. ACM.


Dwan, F., Oliveira, E., e Fernandes, D. (2017). Predição de zona de aprendizagem de alunos de introdução a programação em ambientes de correção automática de código. In Simposio Brasileiro de Informática na Educação (SBIE) , volume 28, page 1507.


Fonseca, S., Pereira, F. D., Oliveira, E. H. T., Olveira, D. B. F., Carvalho, L. G., e Cristea, A. I. (2020). Automatic subject-based contextualisation of programming assignment lists. In Proc. of 13th International Conference on Educational Data Mining, pages 81–91. EDM.


Hosseini, R. e Brusilovsky, P. (2017). A study of concept-based similarity approaches for recommending program examples. New Review of Hypermedia and Multimedia, 23(3):161–188.


Paula, L. C., Oliveira Fassbinder, A. G., e Barbosa, E. F. (2014). A recommendation system to support the students performance in programming contests. In 2014 IEEE Frontiers in Education Conference (FIE) Proceedings, pages 1–8. IEEE.


Pereira, F. D., Oliveira, E. H., Fernandes, D., e Cristea, A. (2019). Early performance prediction for cs1 course students using a combination of machine learning and an evolutionary algorithm. In 2019 IEEE 19th International Conference on Advanced Learning Technologies (ICALT), volume 2161, pages 183–184. IEEE.


Pereira, F. D., Oliveira, E. H. T., Oliveira, D., Cristea, A. I., Carvalho, L., Fonseca, S., Toda, A., e Isotani, S. (2020). Using learning analytics in the Amazonas: understanding students’ behaviour in CS1. British journal of educational technology.


Pereira, F. D., Oliveira, E. H. T., e Oliveira, D. F. B. (2018). Uso de um método preditivo para inferir a zona de aprendizagem de alunos de programação em um ambiente de correção automática de código. Mestrado em informática, Universidade Federal do Amazonas, Manaus.


Yera, R. e Martínez, L. (2017). A recommendation approach for programming online judges supported by data preprocessing techniques. Applied Intelligence, 47(2):277–290.


Zhao, W. X., Zhang, W., He, Y., Xie, X., e Wen, J.-R. (2018). Automatically learning topics and difficulty levels of problems in online judge systems. ACM Transactions on Information Systems (TOIS), 36(3):1–33.