Aplicando ChatGPT para Recomendação de Tags para Auxiliar Professores na Correção de Atividades Abertas
Resumo
A seleção eficaz de tags é crucial na automatização do processo de correção de atividades abertas, auxiliando professores no fornecimento de feedbacks aos estudantes. Nesse contexto, essa pesquisa aborda a crescente demanda por ferramentas que auxiliem os educadores na avaliação de respostas escritas, economizando tempo e melhorando a eficiência. Foi avaliado o desempenho do ChatGPT em comparação a abordagens de Processamento de Linguagem Natural (PLN) tradicionais, considerando métricas como precisão, revocação e a medida F1. O ChatGPT apresentou um desempenho inferior ao de alguns algoritmos tradicionais, possuindo ainda custos adicionais.
Referências
Bonthu, S., Rama Sree, S., and Krishna Prasad, M. (2021). Automated short answer grading using deep learning: A survey. In International Cross-Domain Conference for Machine Learning and Knowledge Extraction, pages 61–78. Springer.
Boud, D. and Molloy, E. (2013). Rethinking models of feedback for learning: the challenge of design. Assessment & Evaluation in higher education, 38(6):698–712.
Cutrone, L. A. and Chang, M. (2010). Automarking: automatic assessment of open questions. In 2010 10th IEEE International Conference on Advanced Learning Technologies, pages 143–147. IEEE.
de Lima Dias, A. N. and Pazoti, M. A. (2023). Correção automatizada de questões dissertativas utilizando medidas de similaridade e processamento de linguagem natural. In Colloquium Exactarum. ISSN: 2178-8332, volume 15, pages e234595–e234595.
Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT, pages 4171–4186. doi: 10.18653/v1/N19-1423.
Falcão, T. P., Arêdes, V., de Souza, S. B. J., Fiorentino, G., Neto, J. R., Alves, G., and Mello, R. F. (2023). Tutoria: a software platform to improve feedback in education. Journal on Interactive Systems, 14(1):383–393.
Falcão, T. P., Arêdes, V., Souza, S., Luisi, V., Neto, G. F., Neto, R., Morais, D., Miranda, P. B., and Mello, R. F. (2020). Tutoria: uma plataforma para apoiar boas práticas de feedback no processo de ensino e aprendizagem. In Anais dos Workshops do X Congresso Brasileiro de Informática na Educação, pages 213–220. SBC.
Falcao, T. P., Arêdes, V., Wagner, S. S., Uchoa, J. P. C., Luisi, V., and Mello, R. F. (2022a). What did i get wrong? supporting the feedback process in computer science education. In Anais do XXX Workshop sobre Educação em Computação, pages 239–250. SBC.
Falcao, T. P., Oliveira, V., Souza, S., Fiorentino, G., Neto, J. R., Galdino, J. V., Alves, G., and Mello, R. F. (2022b). Tutoria: Supporting good practices for providing written educational feedback. In Anais do XXXIII Simpósio Brasileiro de Informática na Educação, pages 668–679. SBC.
José, J., Paiva, R., and Bittencourt, I. I. (2015). Avaliação automática de atividades escritas baseada em algoritmo genético e processamento de linguagem natural: Avaliador ortográfico-gramatical. In Anais dos Workshops do Congresso Brasileiro de Informática na Educação, volume 4, page 95.
Kasneci, E., Seßler, K., Küchemann, S., Bannert, M., Dementieva, D., Fischer, F., Gasser, U., Groh, G., Günnemann, S., Hüllermeier, E., et al. (2023). Chatgpt for good? on opportunities and challenges of large language models for education. Learning and individual differences, 103:102274.
Krusche, S. and Seitz, A. (2018). Artemis: An automatic assessment management system for interactive learning. In Proceedings of the 49th ACM Technical Symposium on Computer Science Education, pages 284–289. ACM.
Manning, C. and Schutze, H. (1999). Foundations of statistical natural language processing. MIT press.
Marın, D. R. P. (2004). Automatic evaluation of users’ short essays by using statistical and shallow natural language processing techniques. Advanced Studies Diploma Work, University of Madrid.
Mello, R. F., Neto, R., Fiorentino, G., Alves, G., Arêdes, V., Silva, J. V. G. F., Falcão, T. P., and Gašević, D. (2022). Enhancing instructors’ capability to assess open-response using natural language processing and learning analytics. In European Conference on Technology Enhanced Learning, pages 102–115. Springer.
Neto, J. R., Falcao, T. P., Oliveira, V., Souza, S., Fiorentino, G., Galdino, J. V., Alves, G., and Mello, R. F. (2022). Tutoria: Plataforma para suporte à correção de atividades e envio de feedback personalizado. In Anais do I Workshop de Aplicações Práticas de Learning Analytics em Instituições de Ensino no Brasil, pages 21–29. SBC.
Rahman, M. M. and Watanobe, Y. (2023). Chatgpt for education and research: Opportunities, threats, and strategies. Applied Sciences, 13(9):5783.
Siddiqi, R., Harrison, C. J., and Siddiqi, R. (2010). Improving teaching and learning through automated short-answer marking. IEEE Transactions on Learning Technologies, 3(3):237–249.
Singh, A., Karayev, S., Gutowski, K., and Abbeel, P. (2017). Gradescope: a fast, flexible, and fair system for scalable assessment of handwritten work. In Proceedings of the fourth (2017) acm conference on learning@ scale, pages 81–88.
Topal, M. O., Bas, A., and van Heerden, I. (2021). Exploring transformers in natural language generation: Gpt, bert, and xlnet. arXiv preprint arXiv:2102.08036.
Wang, Y., Qin, J., and Wang, W. (2017). Efficient approximate entity matching using jaro-winkler distance. In International Conference on Web Information Systems Engineering, pages 231–239. Springer.
White, J., Fu, Q., Hays, S., Sandborn, M., Olea, C., Gilbert, H., Elnashar, A., Spencer-Smith, J., and Schmidt, D. C. (2023). A prompt pattern catalog to enhance prompt engineering with chatgpt. arXiv preprint arXiv:2302.11382.
Wiggins, G. (1998). Educative Assessment. Designing Assessments To Inform and Improve Student Performance. ERIC.
Yan, L., Sha, L., Zhao, L., Li, Y., Martinez-Maldonado, R., Chen, G., Li, X., Jin, Y., and Gašević, D. (2023). Practical and ethical challenges of large language models in education: A systematic scoping review. British Journal of Educational Technology.
Yujian, L. and Bo, L. (2007). A normalized levenshtein distance metric. IEEE transactions on pattern analysis and machine intelligence, 29(6):1091–1095.
Boud, D. and Molloy, E. (2013). Rethinking models of feedback for learning: the challenge of design. Assessment & Evaluation in higher education, 38(6):698–712.
Cutrone, L. A. and Chang, M. (2010). Automarking: automatic assessment of open questions. In 2010 10th IEEE International Conference on Advanced Learning Technologies, pages 143–147. IEEE.
de Lima Dias, A. N. and Pazoti, M. A. (2023). Correção automatizada de questões dissertativas utilizando medidas de similaridade e processamento de linguagem natural. In Colloquium Exactarum. ISSN: 2178-8332, volume 15, pages e234595–e234595.
Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT, pages 4171–4186. doi: 10.18653/v1/N19-1423.
Falcão, T. P., Arêdes, V., de Souza, S. B. J., Fiorentino, G., Neto, J. R., Alves, G., and Mello, R. F. (2023). Tutoria: a software platform to improve feedback in education. Journal on Interactive Systems, 14(1):383–393.
Falcão, T. P., Arêdes, V., Souza, S., Luisi, V., Neto, G. F., Neto, R., Morais, D., Miranda, P. B., and Mello, R. F. (2020). Tutoria: uma plataforma para apoiar boas práticas de feedback no processo de ensino e aprendizagem. In Anais dos Workshops do X Congresso Brasileiro de Informática na Educação, pages 213–220. SBC.
Falcao, T. P., Arêdes, V., Wagner, S. S., Uchoa, J. P. C., Luisi, V., and Mello, R. F. (2022a). What did i get wrong? supporting the feedback process in computer science education. In Anais do XXX Workshop sobre Educação em Computação, pages 239–250. SBC.
Falcao, T. P., Oliveira, V., Souza, S., Fiorentino, G., Neto, J. R., Galdino, J. V., Alves, G., and Mello, R. F. (2022b). Tutoria: Supporting good practices for providing written educational feedback. In Anais do XXXIII Simpósio Brasileiro de Informática na Educação, pages 668–679. SBC.
José, J., Paiva, R., and Bittencourt, I. I. (2015). Avaliação automática de atividades escritas baseada em algoritmo genético e processamento de linguagem natural: Avaliador ortográfico-gramatical. In Anais dos Workshops do Congresso Brasileiro de Informática na Educação, volume 4, page 95.
Kasneci, E., Seßler, K., Küchemann, S., Bannert, M., Dementieva, D., Fischer, F., Gasser, U., Groh, G., Günnemann, S., Hüllermeier, E., et al. (2023). Chatgpt for good? on opportunities and challenges of large language models for education. Learning and individual differences, 103:102274.
Krusche, S. and Seitz, A. (2018). Artemis: An automatic assessment management system for interactive learning. In Proceedings of the 49th ACM Technical Symposium on Computer Science Education, pages 284–289. ACM.
Manning, C. and Schutze, H. (1999). Foundations of statistical natural language processing. MIT press.
Marın, D. R. P. (2004). Automatic evaluation of users’ short essays by using statistical and shallow natural language processing techniques. Advanced Studies Diploma Work, University of Madrid.
Mello, R. F., Neto, R., Fiorentino, G., Alves, G., Arêdes, V., Silva, J. V. G. F., Falcão, T. P., and Gašević, D. (2022). Enhancing instructors’ capability to assess open-response using natural language processing and learning analytics. In European Conference on Technology Enhanced Learning, pages 102–115. Springer.
Neto, J. R., Falcao, T. P., Oliveira, V., Souza, S., Fiorentino, G., Galdino, J. V., Alves, G., and Mello, R. F. (2022). Tutoria: Plataforma para suporte à correção de atividades e envio de feedback personalizado. In Anais do I Workshop de Aplicações Práticas de Learning Analytics em Instituições de Ensino no Brasil, pages 21–29. SBC.
Rahman, M. M. and Watanobe, Y. (2023). Chatgpt for education and research: Opportunities, threats, and strategies. Applied Sciences, 13(9):5783.
Siddiqi, R., Harrison, C. J., and Siddiqi, R. (2010). Improving teaching and learning through automated short-answer marking. IEEE Transactions on Learning Technologies, 3(3):237–249.
Singh, A., Karayev, S., Gutowski, K., and Abbeel, P. (2017). Gradescope: a fast, flexible, and fair system for scalable assessment of handwritten work. In Proceedings of the fourth (2017) acm conference on learning@ scale, pages 81–88.
Topal, M. O., Bas, A., and van Heerden, I. (2021). Exploring transformers in natural language generation: Gpt, bert, and xlnet. arXiv preprint arXiv:2102.08036.
Wang, Y., Qin, J., and Wang, W. (2017). Efficient approximate entity matching using jaro-winkler distance. In International Conference on Web Information Systems Engineering, pages 231–239. Springer.
White, J., Fu, Q., Hays, S., Sandborn, M., Olea, C., Gilbert, H., Elnashar, A., Spencer-Smith, J., and Schmidt, D. C. (2023). A prompt pattern catalog to enhance prompt engineering with chatgpt. arXiv preprint arXiv:2302.11382.
Wiggins, G. (1998). Educative Assessment. Designing Assessments To Inform and Improve Student Performance. ERIC.
Yan, L., Sha, L., Zhao, L., Li, Y., Martinez-Maldonado, R., Chen, G., Li, X., Jin, Y., and Gašević, D. (2023). Practical and ethical challenges of large language models in education: A systematic scoping review. British Journal of Educational Technology.
Yujian, L. and Bo, L. (2007). A normalized levenshtein distance metric. IEEE transactions on pattern analysis and machine intelligence, 29(6):1091–1095.
Publicado
06/11/2023
Como Citar
NETO, Rodrigues; ALVES, Gabriel; MELLO, Rafael Ferreira.
Aplicando ChatGPT para Recomendação de Tags para Auxiliar Professores na Correção de Atividades Abertas. In: WORKSHOP DE APLICAÇÕES PRÁTICAS DE LEARNING ANALYTICS EM INSTITUIÇÕES DE ENSINO NO BRASIL (WAPLA), 2. , 2023, Passo Fundo/RS.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2023
.
p. 51-60.
DOI: https://doi.org/10.5753/wapla.2023.236150.
