Multi-Label Emotion Mining in Short Texts

• Ramon N. Mendes UFPA http://orcid.org/0009-0006-3468-9709
• Syanne K. M. Tavares UFPA https://orcid.org/0009-0009-4267-682X
• Luiz Nicollas M. Campos UFPA https://orcid.org/0009-0007-7181-8474
• Fabíola P. O. Araújo UFPA https://orcid.org/0000-0002-8485-5799

DOI: https://doi.org/10.5753/stil.2024.245174

Abstract

This article presents the partial results of the investigation of an approach for recognizing multiple emotions expressed in short texts in Brazilian Portuguese. To this end, we propose the construction of a corpus with tweets collected by the Web Scraper and labeled based on Plutchik's theory of the wheel of emotions. Furthermore, the steps taken in pre-processing the corpus, development and comparative analysis between the SVM and BERT models in detecting emotions in texts generated by an LLM are presented. Evaluations demonstrated that the SVM model achieved almost 20% more accuracy than BERT.

Keywords: Multilabel Classification, Emotion Detection, Text Mining, Natural Language Processing, Machine Learning, Emotion Mining, Emotion Classification, Emotion Recognition in Text, Emotional Intelligence in AI, Multiclass Emotions, Deep Learning

References

Cardozo, L. and Freitas, L. (2021). Análise de sentimentos: Avaliando o desempenho de pré-processamento e de algoritmos de aprendizagem de máquina sobre o dataset tweetsentbr. In Anais do X Brazilian Workshop on Social Network Analysis and Mining, pages 169–174, Porto Alegre, RS, Brasil. SBC.

de Oliveira, M. and de Melo, T. (2021). An empirical study of text features for identifying subjective sentences in portuguese. In Britto, A. and Valdivia Delgado, K., editors, Intelligent Systems, pages 374–388, Cham. Springer International Publishing.

Devlin, J., Chang, M., Lee, K., and Toutanova, K. (2018). BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, abs/1810.04805.

Hammes, L. and Freitas, L. (2021). Utilizando bertimbau para a classificação de emoções em português. In Anais do XIII Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana, pages 56–63, Porto Alegre, RS, Brasil. SBC.

LANDIM, G. P. P. and TRESSO, G. J. (2023). Identificação de sentimentos em textos utilizando o modelo term frequency-inverse document frequency.

Liu, B. (2012). Sentiment analysis and opinion mining. Synthesis Lectures on Human Language Technologies, 5:1–167.

Mantello, P., Ho, M.-T., Nguyen, M.-H., and Vuong, Q.-H. (2023). Machines that feel: behavioral determinants of attitude towards affect recognition technology—upgrading technology acceptance theory with the mindsponge model. Humanities and Social Sciences Communications, 10(1):1–16.

Moreira, B. G., Pfitscher, R. J., Camargo, L. C., and Garcia, T. R. (2024). Análise de sentimentos e emoções com o uso da ferramenta orange datamining: uma avaliação a partir da tradução dos textos do português. Anais do Computer on the Beach, 15:352–354

Paes, V., Araújo, D., Brito, K., and Andrade, E. (2022). Análise de sentimento em tweets relacionados ao desmatamento da floresta amazônica. In Anais do XI Brazilian Workshop on Social Network Analysis and Mining, pages 61–72, Porto Alegre, RS, Brasil. SBC.

Pereira, D. A. (2021). A survey of sentiment analysis in the portuguese language. Artif. Intell. Rev., 54(2):1087–1115.

Pires, S. F. S. (2023). Inteligência artificial e emoções: Quão próximas estão as decisões cibernéticas das humanas? A sociedade do conhecimento e suas tecnologias: estudos em Ciências Exatas e Engenharias: Volume 10.

Santos, A., Becker, K., and Moreira, V. (2014). Um estudo de caso de mineração de emoções em textos multilíngues. In Anais do III Brazilian Workshop on Social Network Analysis and Mining, pages 140–151, Porto Alegre, RS, Brasil. SBC.

Seno, E., Anno, F., Lazarini, L., and Caseli, H. (2023). Classificação de polaridade orientada aos alvos de opinião em comentários sobre debate político em português. In Anais do XIV Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana, pages 84–93, Porto Alegre, RS, Brasil. SBC.

Silva, S. and Faria, E. (2023). Análise de sentimentos expressos no twitter em relação aos candidatos da eleição presidencial de 2022. In Anais do XII Brazilian Workshop on Social Network Analysis and Mining, pages 79–90, Porto Alegre, RS, Brasil. SBC.