Validação e construção de um dicionário léxico para auxiliar a análise de sentimentos em repositórios de projetos de software

• Hiolanda Menezes Universidade Federal da Bahia
• Gláucya Boechat Universidade Federal da Bahia
• Joselito Mota Jr Universidade Federal da Bahia
• Ivan Machado Universidade Federal da Bahia

DOI: https://doi.org/10.5753/vem.2020.14527

Resumo

A análise de sentimentos faz inferência sobre polaridades em palavras que podem representar possíveis emoções. A assertividade dessa classificação é importante para a confiabilidade do resultado esperado. Por esta razão, este trabalho busca investigar, validar e construir um dicionário léxico, no contexto de Engenharia de Software, utilizando como base as palavras, emoticons e expressões idiomáticas da ferramenta SentiStrength-SE. Um experimento com 559 questões respondidas por 48 participantes da área de Computação foi realizado para validação da concordância dos termos léxicos do dicionário. Ao final da coleta dos dados os termos foram reunidos para validação utilizando uma base de dados do Stack Overflow para encontrar os resultados sobre accuracy, precision, recall e F1-score do novo dicionário. O novo dicionário léxico apresenta 79% de acurácia e precisão, com 78% de Recall e F1-score com um intervalo de polaridade menor do que o dicionário original.

Palavras-chave: Engenharia de software, manutenção de software, Análise de Sentimentos, polaridade, dicionário léxico, validação

Referências

Boechat, G., Júnior, J. M., Machado, I., and Mendonça, M. (2019). Análise de sentimentos em discussões de issues reabertas do github. In Anais do VII Workshop on Software Visualization, Evolution and Maintenance (VEM), pages 13–20. SBC.

Calefato, F., Lanubile, F., Maiorano, F., and Novielli, N. (2018). Sentiment Polarity Detection for Software Development. In Proceedings of the 40th International Conference on Software Engineering, ICSE, pages 128–128, NY, USA. ACM.

Islam, M. R. and Zibran, M. F. (2018). SentiStrength-SE: Exploiting domain specificity for improved sentiment analysis in software engineering text. J. of Systems and Software, 145:125 – 146.

Liu, B. (2015). Sentiment Analysis: Mining Opinions, Sentiments, and Emotions. C.U.P.

Menezes, H., Boechat, G., Júnior, J. M., and Machado, I. (2020). Validação e construção de um dicionário léxico para auxiliar a análise de sentimentos em repositórios de projetos de software (material suplementar). Zenodo. http://doi.org/10.5281/zenodo.4029777.

Murgia, A., Tourani, P., Adams, B., and Ortu, M. (2014). Do Developers Feel Emotions? An Exploratory Analysis of Emotions in Software Artifacts. In Proceedings of the 11th Conf. on Mining Software Repositories(MSR), page 262–271, NY, USA. ACM.

Thelwall, M., Buckley, K., Paltoglou, G., Cai, D., and Kappas, A. (2010). Sentiment Strength Detection in Short Informal Text. J. Am. Soc. Inf. Sci. Technol., 61(12):2544–2558.