Are online judges enough or do we need a VAR?
Abstract
Traditionally in introductory programming courses, practical coding activities are adopted. In these exercises, the professors selects a set of problems and students must submit algorithms/codes as a solution. A widely used strategy to speed up the assesment of solutions is the use of online judges. An online judge indicates whether a code is correct, or not, based on test cases. In this research, a survey was carried out with the objective of investigating which assesment processes are used in introductory programming courses, observing which actions are carried out and which criteria are considered by professors and teachers assistants. These questions aim to answer the question "Are online judges a sufficient approach to teaching and learning programming or is a 'VAR' necessary?". The analysis carried out on the data suggests that online judges are extremely useful for evaluating codes, but they are not enough to contemplate all the criteria used by professors and teachers assistants in the disciplines.
Keywords:
Programming teaching, Online judges, Assessment
References
Luis Gustavo Araujo, Roberto Bittencourt, e Christina Chavez. 2021. Python Enhanced Error Feedback: Uma IDE Online de Apoio ao Processo de Ensino-Aprendizagem em Programação. Em Anais do Simpósio Brasileiro de Educação em Computação (On-line). SBC, Porto Alegre, RS, Brasil, 326–333.
Daramsenge Bilegjargal e Nien-Lin Hsueh. 2021. Understanding Students’ Acceptance of Online Judge System in Programming Courses: A Structural Equation Modeling Approach. IEEE Access 9, 152606–152615.
Rodrigo. L. B. L. Campos. 2010. Metodologia ERM2C: Para melhoria do processo de ensino aprendizagem de lógica de programação. Em Anais do XXX Congresso da Sociedade Brasileira de Computação, Workshop de Educação em Informática (CSBC 2010 - WEI 2010). Minas Gerais, Brasil.
Alexandre de Andrade Barbosa, Allan Lucio Correia, and Evandro de Barros Costa. Um mapeamento sistemático sobre analisadores de código em disciplinas de programação. Em Anais do Simpósio Brasileiro de Informática na Educação. 2015. Maceió - Alagoas, Brasil.
Alexandre de Andrade Barbosa e Evandro de Barros Costa. 2015. Simulated Learners in Peers Assessment for Introductory Programming Courses. Em Proceedings of the Workshops at the 17th International Conference on Artificial Intelligence in Education, AIED 2015, Madrid, Spain, June 22 + 26, 2015. http://ceur-ws.org/Vol-1432/sl_pap7.pdf
C. E. DE CAMPOS, C. P. ; FERREIRA. 2004. BOCA: um sistema de apoio a competições de programação (BOCA: A Support System for Programming Contests).. Em Workshop de Educacao em Computacao (Brazilian Workshop on Education in Computing), Anais do Congresso da SBC. Salvador, BA.
M. Delamaro, M. Jino, and J. Maldonado. 2013. Introdução Ao Teste De Software. Elsevier Brasil. https://books.google.com.br/books?id=zqw4DwAAQBAJ
Alexandre N. Duarte, Hugo Moreira, and Thiago Silva Mello. 2010. Competitividade como fator motivacional para o estudo de computação. Em Anais Simpósio Brasileiro de Informática na Educação. João Pessoa, PB, Brasil.
Leandro Galvão e David Fernandes e Bruno Gadelha. 2016. Juiz online como ferramenta de apoio a uma metodologia de ensino híbrido em programação. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação - SBIE) 27, 1, 140.
Jessica Dagostini e Marcos Lima e Jean Bez e Neilor Tonin. 2018. URI Online Judge Blocks: Construindo Soluções em uma Plataforma Online de Programação. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação - SBIE) 29, 1, 168.
Fábio P. Alves e Patricia Jaques. 2015. Um Ambiente Virtual com Feedback Personalizado para Apoio a Disciplinas de Programação. Anais dos Workshops do Congresso Brasileiro de Informática na Educação 3, 1, 51.
Andres Porfirio e Roberto Pereira e Eleandro Maschio. 2021. A-Learn EvId: A Method for Identifying Evidence of Computer Programming Skills Through Automatic Source Code Assessment. Revista Brasileira de Informática na Educação 29, 0, 692–717.
Matheus Gaudencio. 2019. Repositório do pycomparecode. https://github.com/matheusgr/pycomparecode Último acesso em fevereiro de 2017.
Jeisson Hidalgo-Céspedes, Gabriela Marín-Raventós, e Marta Eunice Calderón-Campos. 2020. Online Judge Support for Programming Teaching. Em 2020 XLVI Latin American Computing Conference (CLEI). 522–530.
Rodziah Latih, Marini Abu Bakar, Norleyza Jailani, Noorazean Mohd. Ali, Syahanim Mohd. Salleh, and Abdullah Mohd. Zin. 2017. PC2 to support instant feedback and good programming practice. Em 2017 6th International Conference on Electrical Engineering and Informatics (ICEEI). 1–5.
Sihan Li, Xusheng Xiao, Blake Bassett, Tao Xie, e Nikolai Tillmann. 2016. Measuring Code Behavioral Similarity for Programming and Software Engineering Education. Em Proceedings of the 38th International Conference on Software Engineering Companion (Austin, Texas) (ICSE ’16). Association for Computing Machinery (ACM), New York, NY, USA, 501–510.
Erivan Lima e Emanuel Coutinho. 2019. Uma Análise sobre o Desempenho de Alunos de Graduação em Disciplinas Iniciais de Programação. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação - SBIE) 30, 1, 1876.
Marcos Lima, Leandro Carvalho, Elaine Oliveira, David Oliveira, e Filipe Pereira. 2021. Uso de atributos de código para classificação da facilidade de questões de codificação. Em Anais do Simpósio Brasileiro de Educação em Computação (On-line). SBC, Porto Alegre, RS, Brasil, 113–122.
Marcelle Pereira Mota, Silvana R. de Brito, Mireille Pinheiro Moreira, e Eloi Luiz Favero. 2009. Ambiente integrado a plataforma moodle para apoio ao desenvolvimento das habilidades iniciais de programação. Em Anais do XX Simpósio Brasileiro de Informática na Educação (Simpósio Brasileiro de Informática na Educação 2009). Florianópolis, SC, Brasil.
Joseph Oliveira, Elaine Oliveira, Leandro Carvalho, e David Fernandes. 2019. Mensagens estendidas de feedback em um juiz online para alunos de introdução à computação: resultados preliminares. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação - SBIE) 30, 1, 329.
Rodrigo B. Paes, Romero Malaquias, Marcio Guimaraes, e Hyggo Almeida. 2013. Ferramenta para a Avaliação de Aprendizado de Alunos em Programação de Computadores. Em Anais do II Congresso Brasileiro de Informática na Educação (Congresso Brasileiro de Informática na Educação 2013) Workshops (Workshops do Congresso Brasileiro de Informática na Educação 2013). Campinas, SP.
Eryck Silva, Ricardo Caceffo, e Rodolfo Azevedo. 2022. Análise dos Tópicos Mais Abordados em Disciplinas de Introdução à Programação em Universidades Federais Brasileiras. Em Anais do II Simpósio Brasileiro de Educação em Computação (Online). SBC, Porto Alegre, RS, Brasil, 29–39.
Marina Silva e Ana Paula Ferreira. 2022. Linguagens visuais para o ensino de programação: uma revisão da literatura com foco em paradigmas de programação. Em Anais do II Simpósio Brasileiro de Educação em Computação (Online). SBC, Porto Alegre, RS, Brasil, 18–28.
Marlos Tacio Silva, Evandro De Barros Costa, Paulo Henrique Barbosa, e Juliana De Carvalho Cavalcante. 2014. Um Arcabouço para Construção de Mecanismos de Análise de Códigos de Programação Introdutória. Em Anais do Simpósio Brasileiro de Informática na Educação. 1083–1092.
Rishabh Singh, Sumit Gulwani, e Armando Solar-Lezama. 2013. Automated Feedback Generation for Introductory Programming Assignments. Em Procceedings of the 34th Association for Computing Machinery SIGPLAN Conference on Programming Language Design and Implementation (Seattle, Washington, USA)(PLDI). New York, USA, 15–26.
Allan A. Sioson. 2013. Experiences on the use of an automatic C++ solution grader system. Em IISA 2013. páginas 1–6.
Zahid Ullah, Adidah Lajis, Mona Jamjoom, Abdulrahman Altalhi, Abdullah Al-Ghamdi, e Farrukh Saleem. 2018. The effect of automatic assessment on novice programming: Strengths and limitations of existing systems. Computer Applications in Engineering Education 26.
Szymon Wasik, Maciej Antczak, Jan Badura, Artur Laskowski, e Tomasz Sternal. 2018. A Survey on Online Judge Systems and Their Applications. Association for Computing Machinery Computer Survey 51, 1, Article 3, 34 páginas.
Daramsenge Bilegjargal e Nien-Lin Hsueh. 2021. Understanding Students’ Acceptance of Online Judge System in Programming Courses: A Structural Equation Modeling Approach. IEEE Access 9, 152606–152615.
Rodrigo. L. B. L. Campos. 2010. Metodologia ERM2C: Para melhoria do processo de ensino aprendizagem de lógica de programação. Em Anais do XXX Congresso da Sociedade Brasileira de Computação, Workshop de Educação em Informática (CSBC 2010 - WEI 2010). Minas Gerais, Brasil.
Alexandre de Andrade Barbosa, Allan Lucio Correia, and Evandro de Barros Costa. Um mapeamento sistemático sobre analisadores de código em disciplinas de programação. Em Anais do Simpósio Brasileiro de Informática na Educação. 2015. Maceió - Alagoas, Brasil.
Alexandre de Andrade Barbosa e Evandro de Barros Costa. 2015. Simulated Learners in Peers Assessment for Introductory Programming Courses. Em Proceedings of the Workshops at the 17th International Conference on Artificial Intelligence in Education, AIED 2015, Madrid, Spain, June 22 + 26, 2015. http://ceur-ws.org/Vol-1432/sl_pap7.pdf
C. E. DE CAMPOS, C. P. ; FERREIRA. 2004. BOCA: um sistema de apoio a competições de programação (BOCA: A Support System for Programming Contests).. Em Workshop de Educacao em Computacao (Brazilian Workshop on Education in Computing), Anais do Congresso da SBC. Salvador, BA.
M. Delamaro, M. Jino, and J. Maldonado. 2013. Introdução Ao Teste De Software. Elsevier Brasil. https://books.google.com.br/books?id=zqw4DwAAQBAJ
Alexandre N. Duarte, Hugo Moreira, and Thiago Silva Mello. 2010. Competitividade como fator motivacional para o estudo de computação. Em Anais Simpósio Brasileiro de Informática na Educação. João Pessoa, PB, Brasil.
Leandro Galvão e David Fernandes e Bruno Gadelha. 2016. Juiz online como ferramenta de apoio a uma metodologia de ensino híbrido em programação. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação - SBIE) 27, 1, 140.
Jessica Dagostini e Marcos Lima e Jean Bez e Neilor Tonin. 2018. URI Online Judge Blocks: Construindo Soluções em uma Plataforma Online de Programação. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação - SBIE) 29, 1, 168.
Fábio P. Alves e Patricia Jaques. 2015. Um Ambiente Virtual com Feedback Personalizado para Apoio a Disciplinas de Programação. Anais dos Workshops do Congresso Brasileiro de Informática na Educação 3, 1, 51.
Andres Porfirio e Roberto Pereira e Eleandro Maschio. 2021. A-Learn EvId: A Method for Identifying Evidence of Computer Programming Skills Through Automatic Source Code Assessment. Revista Brasileira de Informática na Educação 29, 0, 692–717.
Matheus Gaudencio. 2019. Repositório do pycomparecode. https://github.com/matheusgr/pycomparecode Último acesso em fevereiro de 2017.
Jeisson Hidalgo-Céspedes, Gabriela Marín-Raventós, e Marta Eunice Calderón-Campos. 2020. Online Judge Support for Programming Teaching. Em 2020 XLVI Latin American Computing Conference (CLEI). 522–530.
Rodziah Latih, Marini Abu Bakar, Norleyza Jailani, Noorazean Mohd. Ali, Syahanim Mohd. Salleh, and Abdullah Mohd. Zin. 2017. PC2 to support instant feedback and good programming practice. Em 2017 6th International Conference on Electrical Engineering and Informatics (ICEEI). 1–5.
Sihan Li, Xusheng Xiao, Blake Bassett, Tao Xie, e Nikolai Tillmann. 2016. Measuring Code Behavioral Similarity for Programming and Software Engineering Education. Em Proceedings of the 38th International Conference on Software Engineering Companion (Austin, Texas) (ICSE ’16). Association for Computing Machinery (ACM), New York, NY, USA, 501–510.
Erivan Lima e Emanuel Coutinho. 2019. Uma Análise sobre o Desempenho de Alunos de Graduação em Disciplinas Iniciais de Programação. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação - SBIE) 30, 1, 1876.
Marcos Lima, Leandro Carvalho, Elaine Oliveira, David Oliveira, e Filipe Pereira. 2021. Uso de atributos de código para classificação da facilidade de questões de codificação. Em Anais do Simpósio Brasileiro de Educação em Computação (On-line). SBC, Porto Alegre, RS, Brasil, 113–122.
Marcelle Pereira Mota, Silvana R. de Brito, Mireille Pinheiro Moreira, e Eloi Luiz Favero. 2009. Ambiente integrado a plataforma moodle para apoio ao desenvolvimento das habilidades iniciais de programação. Em Anais do XX Simpósio Brasileiro de Informática na Educação (Simpósio Brasileiro de Informática na Educação 2009). Florianópolis, SC, Brasil.
Joseph Oliveira, Elaine Oliveira, Leandro Carvalho, e David Fernandes. 2019. Mensagens estendidas de feedback em um juiz online para alunos de introdução à computação: resultados preliminares. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação - SBIE) 30, 1, 329.
Rodrigo B. Paes, Romero Malaquias, Marcio Guimaraes, e Hyggo Almeida. 2013. Ferramenta para a Avaliação de Aprendizado de Alunos em Programação de Computadores. Em Anais do II Congresso Brasileiro de Informática na Educação (Congresso Brasileiro de Informática na Educação 2013) Workshops (Workshops do Congresso Brasileiro de Informática na Educação 2013). Campinas, SP.
Eryck Silva, Ricardo Caceffo, e Rodolfo Azevedo. 2022. Análise dos Tópicos Mais Abordados em Disciplinas de Introdução à Programação em Universidades Federais Brasileiras. Em Anais do II Simpósio Brasileiro de Educação em Computação (Online). SBC, Porto Alegre, RS, Brasil, 29–39.
Marina Silva e Ana Paula Ferreira. 2022. Linguagens visuais para o ensino de programação: uma revisão da literatura com foco em paradigmas de programação. Em Anais do II Simpósio Brasileiro de Educação em Computação (Online). SBC, Porto Alegre, RS, Brasil, 18–28.
Marlos Tacio Silva, Evandro De Barros Costa, Paulo Henrique Barbosa, e Juliana De Carvalho Cavalcante. 2014. Um Arcabouço para Construção de Mecanismos de Análise de Códigos de Programação Introdutória. Em Anais do Simpósio Brasileiro de Informática na Educação. 1083–1092.
Rishabh Singh, Sumit Gulwani, e Armando Solar-Lezama. 2013. Automated Feedback Generation for Introductory Programming Assignments. Em Procceedings of the 34th Association for Computing Machinery SIGPLAN Conference on Programming Language Design and Implementation (Seattle, Washington, USA)(PLDI). New York, USA, 15–26.
Allan A. Sioson. 2013. Experiences on the use of an automatic C++ solution grader system. Em IISA 2013. páginas 1–6.
Zahid Ullah, Adidah Lajis, Mona Jamjoom, Abdulrahman Altalhi, Abdullah Al-Ghamdi, e Farrukh Saleem. 2018. The effect of automatic assessment on novice programming: Strengths and limitations of existing systems. Computer Applications in Engineering Education 26.
Szymon Wasik, Maciej Antczak, Jan Badura, Artur Laskowski, e Tomasz Sternal. 2018. A Survey on Online Judge Systems and Their Applications. Association for Computing Machinery Computer Survey 51, 1, Article 3, 34 páginas.
Published
2023-04-24
How to Cite
BARBOSA, Alexandre de A.; COSTA, Evandro de Barros; BRITO, Patrick Henrique.
Are online judges enough or do we need a VAR?. In: BRAZILIAN SYMPOSIUM ON COMPUTING EDUCATION (EDUCOMP), 3. , 2023, Evento Online.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2023
.
p. 386-394.
ISSN 3086-0733.
DOI: https://doi.org/10.5753/educomp.2023.228224.
