Comparação de Ferramentas para Análise de Sentimentos Aplicada no Contexto Educacional

• Benjamin G. Moreira UFSC https://orcid.org/0000-0002-0339-4012
• Luiz C. Camargo Católica SC https://orcid.org/0000-0001-7879-9893
• Ricardo J. Pfitscher UFSC https://orcid.org/0000-0003-0539-2237
• Tatiana R. Garcia UFSC https://orcid.org/0009-0001-3571-915X

DOI: https://doi.org/10.5753/stil.2024.245409

Resumo

Este artigo faz parte de um projeto voltado para combater a evasão em disciplinas de programação no ensino superior brasileiro, utilizando análise de sentimentos combinada com métodos psicopedagógicos e técnicas de Processamento de Linguagem Natural (PLN). A presente pesquisa compara a eficácia de três ferramentas automatizadas de extração de sentimentos, duas baseadas em Large Language Models (LLMs) e um analisador léxico, usando uma base de 540 respostas de estudantes.

Palavras-chave: Análise de Sentimento Estudantil, Processamento de Linguagem Natural, Large Language Models

Referências

Atiq, Z. and Loui, M. C. (2022). A qualitative study of emotions experienced by first-year engineering students during programming tasks. ACM Transactions on Computing Education (TOCE), 22(3):1–26. DOI: 10.1145/350769

Bardin, L. (1977). Analise de conteúdo. Lisboa: edição 70.

Bóbó, M. L., Campos, F., Stroele, V., David, J. M. N., Braga, R., and Torrent, T. T. (2022). Using sentiment analysis to identify student emotional state to avoid dropout in elearning. International Journal of Distance Education Technologies (IJDET), 20(1):1–24 DOI: 10.4018/IJDET.305237

Chang, Y., Wang, X., Wang, J., Wu, Y., Yang, L., Zhu, K., Chen, H., Yi, X., Wang, C., Wang, Y., et al. (2024). A survey on evaluation of large language models. ACM Transactions on Intelligent Systems and Technology, 15(3):1–45 DOI: 10.1145/3641289

Coto, M., Mora, S., Grass, B., and Murillo-Morera, J. (2022). Emotions and programming learning: systematic mapping. Computer Science Education, 32(1):30–65. DOI: 10.1080/08993408.2021.1920816

Lazarini, L., Anno, F. S. I., Seno, E. R. M., and Caseli, H. M. (2023). Abordagens baseadas em lexicos para a classificação de sentimentos orientada aos alvos de opinião em comentarios do domínio político. In Anais do XIV Simposio Brasileiro de Tecnologia da Informação e da Linguagem Humana, pages 375–380. SBC. [link] DOI: 10.5753/stil.2023.234206

Medhat, W., Hassan, A., and Korashy, H. (2014). Sentiment analysis algorithms and applications: A survey. Ain Shams engineering journal, 5(4):1093–1113. DOI: 10.1016/j.asej.2014.04.011

Mughal, N., Mujtaba, G., Shaikh, S., Kumar, A., and Daudpota, S. M. (2024). Comparative analysis of deep natural networks and large language models for aspect-based sentiment analysis. IEEE Access, 12:60943–60959. DOI: 10.1109/ACCESS.2024.3386969

Neumann, M. and Linzmayer, R. (2021). Capturing student feedback and emotions in large computing courses: A sentiment analysis approach. In Proceedings of the 52nd ACM Technical Symposium on Computer Science Education, pages 541–547. DOI: 10.1145/3408877.343240

Pfitscher, R., Camargo, L., Moreira, B., Wang, C., Zedral, R., and Garcia, T. (2023). Analise de sentimentos em turmas de programação com vistas ao apoio à permanência estudantil. In Anais do XXXIV Simposio Brasileiro de Informática na Educação , pages 1329–1340, Porto Alegre, RS, Brasil. SBC. DOI: 10.5753/sbie.2023.234753

Rani, S. and Kumar, P. (2017). A sentiment analysis system to improve teaching and learning. Computer, 50(5):36–43. DOI: 10.1109/MC.2017.133

Seno, E. R. M., Anno, F. S. I., Lazarini, L., and Caseli, H. M. (2023). Classificação de polaridade orientada aos alvos de opiniao em comentários sobre debate político em portugues. In Anais do XIV Simposio Brasileiro de Tecnologia da Informação e da Linguagem Humana, pages 84–93. SBC DOI: 10.5753/stil.2023.233938

Wankhade, M., Rao, A. C. S., and Kulkarni, C. (2022). A survey on sentiment analysis methods, applications, and challenges. Artificial Intelligence Review, 55(7):5731–5780. [link]