Model for evaluation of multiple abilities programming problems in online massive environments

Fabiana Zaffalon Ferreira; Ricardo Lemos de Souza; André Prisco Vargas; Davi de Lemos Teixeira; Michel Neves dos Santos; Wanderson de Oliveira Paes; Rafael Augusto Penna dos  Santos; Neilor Tonin; Paulo Jefferson Dias de Oliveira Evald; Silvia Silva da Costa Botelho

doi:10.5753/jbcs.2022.2744

Authors

Fabiana Zaffalon Ferreira Federal University of Rio Grande https://orcid.org/0000-0001-8777-9560
Ricardo Lemos de Souza Federal University of Rio Grande https://orcid.org/0000-0003-0864-1147
André Prisco Vargas Federal University of Rio Grande https://orcid.org/0000-0001-6873-3700
Davi de Lemos Teixeira Federal University of Rio Grande https://orcid.org/0000-0002-1064-9634
Michel Neves dos Santos Federal University of Rio Grande https://orcid.org/0000-0002-9613-9650
Wanderson de Oliveira Paes Federal University of Rio Grande https://orcid.org/0000-0002-4324-6866
Rafael Augusto Penna dos Santos Federal University of Rio Grande https://orcid.org/0000-0001-6775-7241
Neilor Tonin Integrated Regional University of Alto Uruguai and Missões https://orcid.org/0000-0002-4993-9532
Paulo Jefferson Dias de Oliveira Evald Federal University of Rio Grande https://orcid.org/0000-0002-5383-053X
Silvia Silva da Costa Botelho Federal University of Rio Grande https://orcid.org/0000-0002-8857-0221

DOI:

https://doi.org/10.5753/jbcs.2022.2744

Keywords:

Model, Abilities, Problems, Programming

Abstract

Research indicates human being is endowed with multiple intelligences, skills, and abilities. In the context of education, many exercises demand multiple skills from students to successfully solve them in different areas of knowledge. In computer science, computer programming is one of the skills that involves the use of multiple skills for problem-solving, where problems can be solved in more than one way (paths). On massive environments for teaching programming, it is common for automatic assessment systems to observe only the final result of the student's interaction with the learning object, not identifying the individual interaction of multiple skills needed to solve the problem nor identifying a solution path adopted by the student. Many models were proposed based on Elo models, which use performance expectation, and Item Response Theory, but these models do not consider the various paths to solve problems. The objective of this work is to propose a model also based on performance expectation, which individually estimates multiple abilities of students in the context of massive online education, assuming problems have more than one solution, and there is access only to the final result (right or wrong). An experimental setup is proposed to validate the model, involving the use and analysis of the proposed model through an experiment in a database, named beecrowd, and a case study with programming students. Model results are satisfactory, since: i) it is possible to treat the student's abilities individually, as well as to follow the evolution of each ability over time; ii) it is possible to predict the paths adopted by them according to the student's abilities; iii) the model also shows positive results when integrated with a recommendation system, recommending problems compatible with the student's abilities.

Downloads

Download data is not yet available.

References

Ala-Mutka, K. M. (2005). A survey of automated assessment approaches for programming assignments. Computer Science Education, 15(2):83-102. DOI: 10.1080/08993400500150747.

Azevedo, D. T. C. d. and Formiga, V. R. A. (2013). As competências da pedagogia: um estudo de caso na escola municipal de ensino fundamental Centenário Presidente João Pessoa. Undergraduate Project (Pedagogy), Centro de Educação, Universidade Federal da Paraíba. Paraíba. p. 48.

Baker, F. (2001). The basics of Item Response Theory. ERIC, Washington, USA.

Barr, V. and Stephenson, C. (2011). Bringing Computational Thinking to K-12: What is Involved and What is the Role of the Computer Science Education Community? Acm Inroads, 2(1):48-54. DOI: 10.1145/1929887.1929905.

Bez, J. L., Tonin, N., and Rodegheri, P. (2014). URI Online Judge Academic: A tool for algorithms and programming classes. In 2014 9th International Conference on Computer Science Education, pages 149-152. DOI: 10.1109/ICCSE.2014.6926445.

Bez, J. L., Tonin, N., and Rodegheri, P. (2021). beecrowd Judge. Available online [link]. Access date: 22/03/2022.

Brasil (2005). Exame Nacional do Ensino Médio (ENEM): Fundamentação Teórico Metodológica. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Brasília/DF.

Cardoso, M. and Hora, D. M. (2013). Competências e habilidades: alguns desafios para a formação de professores. Jornada do HISTEDBR, v. 11.

de Andrade, D. F., Tavares, H. R., and da Cunha Valle, R. (2000). Teoria da Resposta ao Item: conceitos e aplicações. ABE - Associação Brasileira de Estatística, São Paulo.

de Campos, C. P. and Ferreira, C. E. (2004). Boca: um sistema de apoio a competições de programação. In Workshop de Educação em Computação, pages 1-11. Sociedade Brasileira de Computação.

de Oliveira, M. and Oliveira, E. (2015). Abordagens, práticas e desafios da avaliação automática de exercícios de programação. In Anais do IV Workshop de Desafios da Computação aplicada à Educação, pages 131-140. SBC. DOI: 10.5753/desafie.2015.10048.

de Souza, R. L., Ferreira, F. Z., and da Costa Botelho, S. S. (2020). Proposta para avaliação de códigos fonte com TF-IDF. In Anais do XXXI Simpósio Brasileiro de Informática na Educação, pages 112-121. SBC. DOI: 10.5753/cbie.sbie.2020.112.

Elo, A. E. (1978). The rating of chessplayers, past and present. Arco Pub., New York, USA.

Falckembach, G. and Araujo, F. (2013). Aprendizagem de algoritmos: dificuldades na resolução de problemas. Anais do Congresso Sul Brasileiro de Computação, 2:1-7.

Francisco, R. E., Ambrósio, A. P. L., Junior, C. X. P., and Fernandes, M. A. (2018). Juiz online no ensino de cs1-lições aprendidas e proposta de uma ferramenta. Revista Brasileira de Informática na Educação, 26(3):163-179. DOI: 10.5753/rbie.2018.26.03.163.

França, L. (2020). Competências e habilidades no ensino: o que são e como aplicá-las? Plataforma Educacional. Available online [link]. Access date: 20/11/2020.

Galasso, R. H. and Moreira, B. G. (2014). Integração do ambiente boca com o ambiente moodle para avaliação automática de algoritmos. In Anais de Computer on the Beach, pages 22-31. DOI: 10.14210/cotb.v0n0.pp.22-31.

Gardner, H. (2011). Frames of mind: The theory of multiple intelligences. Hachette Uk, New York, USA.

Gerdes, A., Jeuring, J. T., and Heeren, B. J. (2010). Using strategies for assessment of programming exercises. In Proceedings of the 41st ACM technical symposium on Computer science education, pages 441-445. DOI: 10.1145/1734263.1734412.

Giordano, C. V., de Lira, L. N., Langhi, C., and Feitosa, M. D. (2021). Tecnologia de apoio ao ensino e aprendizagem de programação em graduações tecnológicas profissionais: Juiz on-line. Boletim Técnico do Senac, 47(2):127-140. DOI: 10.26849/bts.v47i2.886.

Gomes, A., Areias, C., Henriques, J., and Mendes, A. J. (2008). Aprendizagem de programação de computadores: dificuldades e ferramentas de suporte. Revista Portuguesa de Pedagogia, pages 161-179. DOI: 10.14195/1647-8614_42-2_9.

Gomes, A. and Mendes, A. J. (2007). Learning to program-difficulties and solutions. In International Conference on Engineering Education, pages 1-5.

Moissinac, B. and Vempaty, A. (2020). Mixed compensation multidimensional item response theory. In International Conference on Intelligent Tutoring Systems, pages 132-141, Cham. Springer International Publishing. DOI: 10.1007/978-3-030-49663-0_17.

Moreira, G., Holanda, W., Coutinho, J., and Chagas, F. (2018). Desafios na aprendizagem de programação introdutória em cursos de TI da UFERSA, campus Pau dos Ferros: um estudo exploratório. In Anais do Encontro de Computação do Oeste Potiguar ECOP/UFERSA, pages 90-96.

Nojosa, R. T. (2002). Teoria da Resposta ao Item (TRI): modelos multidimensionais. Estudos em Avaliação Educacional, 1(25):123-166. DOI: 10.18222/eae02520022193.

Paes, W. d. O. (2022). Habilidades necessárias para resolução de problemas de programação aplicados em sistemas de recomendação. Undergraduate Project (Computer Engineering), Universidade Federal do Rio Grande. Rio Grande. p.45.

Park, J. Y., Cornillie, F., Maas, H. L. v. d., and Noortgate, W. V. D. (2019). A multidimensional irt approach for dynamically monitoring ability growth in computerized practice environments. Frontiers in Psychology, 10:1-10. DOI: 10.3389/fpsyg.2019.00620.

Pasquali, L. (2018). TRI-Teoria de resposta ao item: Teoria, procedimentos e aplicações. Editora Appris.

Pea, R. D. and Kurland, D. M. (1984). On the cognitive effects of learning computer programming. New ideas in psychology, 2(2):137-168. DOI: 10.1016/0732-118X(84)90018-7.

Pelánek, R. (2016). Applications of the Elo rating system in adaptive educational systems. Computers & Education, 98:169-179. DOI: 10.1016/j.compedu.2016.03.017.

Perrenoud, P. (1999). Construir as competências desde a escola. Artmed, Porto Alegre.

Pimentel, E. P., de França, V. F., Noronha, R. V., and Omar, N. (2003). Avaliação contínua da aprendizagem, das competências e habilidades em programação de computadores. In Anais do Workshop de Informática na Escola, pages 533-544, Campinas. DOI: 10.5753/cbie.wie.2003.533-544.

Prisco, A., Penna, R., Botelho, S., Tonin, N., and Bez, J. L. (2018). A multidimensional elo model for matching learning objects. In 2018 IEEE Frontiers in Education Conference (FIE), pages 1-9. DOI: 10.1109/FIE.2018.8658847.

Reckase, M. D. (2006). Multidimensional item response theory. Handbook of statistics, 26:607-642. DOI: 10.1016/S0169-7161(06)26018-8.

Robins, A. (2010). Learning edge momentum: A new account of outcomes in cs1. Computer Science Education, 20(1):37-71. DOI: 10.1080/08993401003612167.

Rossler, J. H. (2004). O desenvolvimento do psiquismo na vida cotidiana: aproximações entre a psicologia de alexis n. leontiev e a teoria da vida cotidiana de agnes heller. Cadernos Cedes, 24:100-116. DOI: 10.1590/S0101-32622004000100007.

Selivon, M., Bezerra, J., and Tonin, N. (2015). Uri online judge academic: integração e consolidação da ferramenta no processo de ensino/aprendizagem. In Anais do XXIII Workshop sobre Educação em Computação, pages 188-195. SBC. DOI: 10.5753/wei.2015.10235.

Smole, K. (1999a). Múltiplas Inteligências na Prática Escolar. Ministério da Educação, Secretaria de Educação a Distância, Brasília.

Smole, K. C. S. (1999b). Múltiplas inteligências na prática escolar. Brasília: Ministério da Educação, Secretaria de Educação a Distância, page 80.

Vargas, A. P., dos Santos, R. A. P., Bez, J., Tonin, N., and da Costa Botelho, S. S. (2019). Um modelo de mediação pedagógica para ambientes massivos. RENOTE, 17(1):93-102. DOI: 10.22456/1679-1916.95711.

Wasik, S., Antczak, M., Badura, J., Laskowski, A., and Sternal, T. (2018a). A survey on online judge systems and their applications. ACM Computing Surveys (CSUR), 51(1):1-34. DOI: 10.1145/3143560.

Wing, J. (2006). Computational thinking. Communications of the ACM, 49(3):33-35. DOI: 10.1145/1118178.1118215.