Juízes Online são suficientes ou precisamos de um VAR?
Resumo
Tradicionalmente em disciplinas introdutórias de programação, são adotadas atividades práticas de codificação. Nesses exercícios, o professor seleciona um conjunto de problemas e os discentes devem submeter algoritmos/códigos como solução. O professor deve avaliar as soluções propostas fornecendo feedback aos discentes. Uma estratégia amplamente utilizada para agilizar a avaliação das soluções são os juízes on-line. Um juiz on-line indica se um código é correto, ou não, com base em casos de teste. Nesta pesquisa, foi realizado um levantamento com o objetivo de investigar quais processos de avaliação são empregados em disciplinas introdutórias de programação, sendo observadas quais ações são realizadas e quais critérios são considerados por professores e monitores. Tais indagações visam responder a questão “juízes on-line são uma abordagem suficiente para o ensino e a aprendizagem de programação ou é necessário a adoção de um ‘VAR’?”. A análise realizada sobre os dados sugere que juízes on-line são extremamente úteis para avaliação de códigos, mas não são suficientes para contemplar todos os critérios empregados por professores e monitores nas disciplinas.
Palavras-chave:
Ensino de programação, Juízes on-line, Avaliação
Referências
Luis Gustavo Araujo, Roberto Bittencourt, e Christina Chavez. 2021. Python Enhanced Error Feedback: Uma IDE Online de Apoio ao Processo de Ensino-Aprendizagem em Programação. Em Anais do Simpósio Brasileiro de Educação em Computação (On-line). SBC, Porto Alegre, RS, Brasil, 326–333.
Daramsenge Bilegjargal e Nien-Lin Hsueh. 2021. Understanding Students’ Acceptance of Online Judge System in Programming Courses: A Structural Equation Modeling Approach. IEEE Access 9, 152606–152615.
Rodrigo. L. B. L. Campos. 2010. Metodologia ERM2C: Para melhoria do processo de ensino aprendizagem de lógica de programação. Em Anais do XXX Congresso da Sociedade Brasileira de Computação, Workshop de Educação em Informática (CSBC 2010 - WEI 2010). Minas Gerais, Brasil.
Alexandre de Andrade Barbosa, Allan Lucio Correia, and Evandro de Barros Costa. Um mapeamento sistemático sobre analisadores de código em disciplinas de programação. Em Anais do Simpósio Brasileiro de Informática na Educação. 2015. Maceió - Alagoas, Brasil.
Alexandre de Andrade Barbosa e Evandro de Barros Costa. 2015. Simulated Learners in Peers Assessment for Introductory Programming Courses. Em Proceedings of the Workshops at the 17th International Conference on Artificial Intelligence in Education, AIED 2015, Madrid, Spain, June 22 + 26, 2015. http://ceur-ws.org/Vol-1432/sl_pap7.pdf
C. E. DE CAMPOS, C. P. ; FERREIRA. 2004. BOCA: um sistema de apoio a competições de programação (BOCA: A Support System for Programming Contests).. Em Workshop de Educacao em Computacao (Brazilian Workshop on Education in Computing), Anais do Congresso da SBC. Salvador, BA.
M. Delamaro, M. Jino, and J. Maldonado. 2013. Introdução Ao Teste De Software. Elsevier Brasil. https://books.google.com.br/books?id=zqw4DwAAQBAJ
Alexandre N. Duarte, Hugo Moreira, and Thiago Silva Mello. 2010. Competitividade como fator motivacional para o estudo de computação. Em Anais Simpósio Brasileiro de Informática na Educação. João Pessoa, PB, Brasil.
Leandro Galvão e David Fernandes e Bruno Gadelha. 2016. Juiz online como ferramenta de apoio a uma metodologia de ensino híbrido em programação. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação - SBIE) 27, 1, 140.
Jessica Dagostini e Marcos Lima e Jean Bez e Neilor Tonin. 2018. URI Online Judge Blocks: Construindo Soluções em uma Plataforma Online de Programação. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação - SBIE) 29, 1, 168.
Fábio P. Alves e Patricia Jaques. 2015. Um Ambiente Virtual com Feedback Personalizado para Apoio a Disciplinas de Programação. Anais dos Workshops do Congresso Brasileiro de Informática na Educação 3, 1, 51.
Andres Porfirio e Roberto Pereira e Eleandro Maschio. 2021. A-Learn EvId: A Method for Identifying Evidence of Computer Programming Skills Through Automatic Source Code Assessment. Revista Brasileira de Informática na Educação 29, 0, 692–717.
Matheus Gaudencio. 2019. Repositório do pycomparecode. https://github.com/matheusgr/pycomparecode Último acesso em fevereiro de 2017.
Jeisson Hidalgo-Céspedes, Gabriela Marín-Raventós, e Marta Eunice Calderón-Campos. 2020. Online Judge Support for Programming Teaching. Em 2020 XLVI Latin American Computing Conference (CLEI). 522–530.
Rodziah Latih, Marini Abu Bakar, Norleyza Jailani, Noorazean Mohd. Ali, Syahanim Mohd. Salleh, and Abdullah Mohd. Zin. 2017. PC2 to support instant feedback and good programming practice. Em 2017 6th International Conference on Electrical Engineering and Informatics (ICEEI). 1–5.
Sihan Li, Xusheng Xiao, Blake Bassett, Tao Xie, e Nikolai Tillmann. 2016. Measuring Code Behavioral Similarity for Programming and Software Engineering Education. Em Proceedings of the 38th International Conference on Software Engineering Companion (Austin, Texas) (ICSE ’16). Association for Computing Machinery (ACM), New York, NY, USA, 501–510.
Erivan Lima e Emanuel Coutinho. 2019. Uma Análise sobre o Desempenho de Alunos de Graduação em Disciplinas Iniciais de Programação. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação - SBIE) 30, 1, 1876.
Marcos Lima, Leandro Carvalho, Elaine Oliveira, David Oliveira, e Filipe Pereira. 2021. Uso de atributos de código para classificação da facilidade de questões de codificação. Em Anais do Simpósio Brasileiro de Educação em Computação (On-line). SBC, Porto Alegre, RS, Brasil, 113–122.
Marcelle Pereira Mota, Silvana R. de Brito, Mireille Pinheiro Moreira, e Eloi Luiz Favero. 2009. Ambiente integrado a plataforma moodle para apoio ao desenvolvimento das habilidades iniciais de programação. Em Anais do XX Simpósio Brasileiro de Informática na Educação (Simpósio Brasileiro de Informática na Educação 2009). Florianópolis, SC, Brasil.
Joseph Oliveira, Elaine Oliveira, Leandro Carvalho, e David Fernandes. 2019. Mensagens estendidas de feedback em um juiz online para alunos de introdução à computação: resultados preliminares. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação - SBIE) 30, 1, 329.
Rodrigo B. Paes, Romero Malaquias, Marcio Guimaraes, e Hyggo Almeida. 2013. Ferramenta para a Avaliação de Aprendizado de Alunos em Programação de Computadores. Em Anais do II Congresso Brasileiro de Informática na Educação (Congresso Brasileiro de Informática na Educação 2013) Workshops (Workshops do Congresso Brasileiro de Informática na Educação 2013). Campinas, SP.
Eryck Silva, Ricardo Caceffo, e Rodolfo Azevedo. 2022. Análise dos Tópicos Mais Abordados em Disciplinas de Introdução à Programação em Universidades Federais Brasileiras. Em Anais do II Simpósio Brasileiro de Educação em Computação (Online). SBC, Porto Alegre, RS, Brasil, 29–39.
Marina Silva e Ana Paula Ferreira. 2022. Linguagens visuais para o ensino de programação: uma revisão da literatura com foco em paradigmas de programação. Em Anais do II Simpósio Brasileiro de Educação em Computação (Online). SBC, Porto Alegre, RS, Brasil, 18–28.
Marlos Tacio Silva, Evandro De Barros Costa, Paulo Henrique Barbosa, e Juliana De Carvalho Cavalcante. 2014. Um Arcabouço para Construção de Mecanismos de Análise de Códigos de Programação Introdutória. Em Anais do Simpósio Brasileiro de Informática na Educação. 1083–1092.
Rishabh Singh, Sumit Gulwani, e Armando Solar-Lezama. 2013. Automated Feedback Generation for Introductory Programming Assignments. Em Procceedings of the 34th Association for Computing Machinery SIGPLAN Conference on Programming Language Design and Implementation (Seattle, Washington, USA)(PLDI). New York, USA, 15–26.
Allan A. Sioson. 2013. Experiences on the use of an automatic C++ solution grader system. Em IISA 2013. páginas 1–6.
Zahid Ullah, Adidah Lajis, Mona Jamjoom, Abdulrahman Altalhi, Abdullah Al-Ghamdi, e Farrukh Saleem. 2018. The effect of automatic assessment on novice programming: Strengths and limitations of existing systems. Computer Applications in Engineering Education 26.
Szymon Wasik, Maciej Antczak, Jan Badura, Artur Laskowski, e Tomasz Sternal. 2018. A Survey on Online Judge Systems and Their Applications. Association for Computing Machinery Computer Survey 51, 1, Article 3, 34 páginas.
Daramsenge Bilegjargal e Nien-Lin Hsueh. 2021. Understanding Students’ Acceptance of Online Judge System in Programming Courses: A Structural Equation Modeling Approach. IEEE Access 9, 152606–152615.
Rodrigo. L. B. L. Campos. 2010. Metodologia ERM2C: Para melhoria do processo de ensino aprendizagem de lógica de programação. Em Anais do XXX Congresso da Sociedade Brasileira de Computação, Workshop de Educação em Informática (CSBC 2010 - WEI 2010). Minas Gerais, Brasil.
Alexandre de Andrade Barbosa, Allan Lucio Correia, and Evandro de Barros Costa. Um mapeamento sistemático sobre analisadores de código em disciplinas de programação. Em Anais do Simpósio Brasileiro de Informática na Educação. 2015. Maceió - Alagoas, Brasil.
Alexandre de Andrade Barbosa e Evandro de Barros Costa. 2015. Simulated Learners in Peers Assessment for Introductory Programming Courses. Em Proceedings of the Workshops at the 17th International Conference on Artificial Intelligence in Education, AIED 2015, Madrid, Spain, June 22 + 26, 2015. http://ceur-ws.org/Vol-1432/sl_pap7.pdf
C. E. DE CAMPOS, C. P. ; FERREIRA. 2004. BOCA: um sistema de apoio a competições de programação (BOCA: A Support System for Programming Contests).. Em Workshop de Educacao em Computacao (Brazilian Workshop on Education in Computing), Anais do Congresso da SBC. Salvador, BA.
M. Delamaro, M. Jino, and J. Maldonado. 2013. Introdução Ao Teste De Software. Elsevier Brasil. https://books.google.com.br/books?id=zqw4DwAAQBAJ
Alexandre N. Duarte, Hugo Moreira, and Thiago Silva Mello. 2010. Competitividade como fator motivacional para o estudo de computação. Em Anais Simpósio Brasileiro de Informática na Educação. João Pessoa, PB, Brasil.
Leandro Galvão e David Fernandes e Bruno Gadelha. 2016. Juiz online como ferramenta de apoio a uma metodologia de ensino híbrido em programação. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação - SBIE) 27, 1, 140.
Jessica Dagostini e Marcos Lima e Jean Bez e Neilor Tonin. 2018. URI Online Judge Blocks: Construindo Soluções em uma Plataforma Online de Programação. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação - SBIE) 29, 1, 168.
Fábio P. Alves e Patricia Jaques. 2015. Um Ambiente Virtual com Feedback Personalizado para Apoio a Disciplinas de Programação. Anais dos Workshops do Congresso Brasileiro de Informática na Educação 3, 1, 51.
Andres Porfirio e Roberto Pereira e Eleandro Maschio. 2021. A-Learn EvId: A Method for Identifying Evidence of Computer Programming Skills Through Automatic Source Code Assessment. Revista Brasileira de Informática na Educação 29, 0, 692–717.
Matheus Gaudencio. 2019. Repositório do pycomparecode. https://github.com/matheusgr/pycomparecode Último acesso em fevereiro de 2017.
Jeisson Hidalgo-Céspedes, Gabriela Marín-Raventós, e Marta Eunice Calderón-Campos. 2020. Online Judge Support for Programming Teaching. Em 2020 XLVI Latin American Computing Conference (CLEI). 522–530.
Rodziah Latih, Marini Abu Bakar, Norleyza Jailani, Noorazean Mohd. Ali, Syahanim Mohd. Salleh, and Abdullah Mohd. Zin. 2017. PC2 to support instant feedback and good programming practice. Em 2017 6th International Conference on Electrical Engineering and Informatics (ICEEI). 1–5.
Sihan Li, Xusheng Xiao, Blake Bassett, Tao Xie, e Nikolai Tillmann. 2016. Measuring Code Behavioral Similarity for Programming and Software Engineering Education. Em Proceedings of the 38th International Conference on Software Engineering Companion (Austin, Texas) (ICSE ’16). Association for Computing Machinery (ACM), New York, NY, USA, 501–510.
Erivan Lima e Emanuel Coutinho. 2019. Uma Análise sobre o Desempenho de Alunos de Graduação em Disciplinas Iniciais de Programação. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação - SBIE) 30, 1, 1876.
Marcos Lima, Leandro Carvalho, Elaine Oliveira, David Oliveira, e Filipe Pereira. 2021. Uso de atributos de código para classificação da facilidade de questões de codificação. Em Anais do Simpósio Brasileiro de Educação em Computação (On-line). SBC, Porto Alegre, RS, Brasil, 113–122.
Marcelle Pereira Mota, Silvana R. de Brito, Mireille Pinheiro Moreira, e Eloi Luiz Favero. 2009. Ambiente integrado a plataforma moodle para apoio ao desenvolvimento das habilidades iniciais de programação. Em Anais do XX Simpósio Brasileiro de Informática na Educação (Simpósio Brasileiro de Informática na Educação 2009). Florianópolis, SC, Brasil.
Joseph Oliveira, Elaine Oliveira, Leandro Carvalho, e David Fernandes. 2019. Mensagens estendidas de feedback em um juiz online para alunos de introdução à computação: resultados preliminares. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação - SBIE) 30, 1, 329.
Rodrigo B. Paes, Romero Malaquias, Marcio Guimaraes, e Hyggo Almeida. 2013. Ferramenta para a Avaliação de Aprendizado de Alunos em Programação de Computadores. Em Anais do II Congresso Brasileiro de Informática na Educação (Congresso Brasileiro de Informática na Educação 2013) Workshops (Workshops do Congresso Brasileiro de Informática na Educação 2013). Campinas, SP.
Eryck Silva, Ricardo Caceffo, e Rodolfo Azevedo. 2022. Análise dos Tópicos Mais Abordados em Disciplinas de Introdução à Programação em Universidades Federais Brasileiras. Em Anais do II Simpósio Brasileiro de Educação em Computação (Online). SBC, Porto Alegre, RS, Brasil, 29–39.
Marina Silva e Ana Paula Ferreira. 2022. Linguagens visuais para o ensino de programação: uma revisão da literatura com foco em paradigmas de programação. Em Anais do II Simpósio Brasileiro de Educação em Computação (Online). SBC, Porto Alegre, RS, Brasil, 18–28.
Marlos Tacio Silva, Evandro De Barros Costa, Paulo Henrique Barbosa, e Juliana De Carvalho Cavalcante. 2014. Um Arcabouço para Construção de Mecanismos de Análise de Códigos de Programação Introdutória. Em Anais do Simpósio Brasileiro de Informática na Educação. 1083–1092.
Rishabh Singh, Sumit Gulwani, e Armando Solar-Lezama. 2013. Automated Feedback Generation for Introductory Programming Assignments. Em Procceedings of the 34th Association for Computing Machinery SIGPLAN Conference on Programming Language Design and Implementation (Seattle, Washington, USA)(PLDI). New York, USA, 15–26.
Allan A. Sioson. 2013. Experiences on the use of an automatic C++ solution grader system. Em IISA 2013. páginas 1–6.
Zahid Ullah, Adidah Lajis, Mona Jamjoom, Abdulrahman Altalhi, Abdullah Al-Ghamdi, e Farrukh Saleem. 2018. The effect of automatic assessment on novice programming: Strengths and limitations of existing systems. Computer Applications in Engineering Education 26.
Szymon Wasik, Maciej Antczak, Jan Badura, Artur Laskowski, e Tomasz Sternal. 2018. A Survey on Online Judge Systems and Their Applications. Association for Computing Machinery Computer Survey 51, 1, Article 3, 34 páginas.
Publicado
24/04/2023
Como Citar
BARBOSA, Alexandre de A.; COSTA, Evandro de Barros; BRITO, Patrick Henrique.
Juízes Online são suficientes ou precisamos de um VAR?. In: SIMPÓSIO BRASILEIRO DE EDUCAÇÃO EM COMPUTAÇÃO (EDUCOMP), 3. , 2023, Evento Online.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2023
.
p. 386-394.
DOI: https://doi.org/10.5753/educomp.2023.228224.
