LLMusic: Modelagem de tópicos em letras de músicas combinando LLM, Engenharia de Prompt e BERTopic

• Jesus Daniel Yepez Rojas Universidade Federal do Rio Grande do Sul (UFRGS)
• Karin Becker Universidade Federal do Rio Grande do Sul (UFRGS) https://orcid.org/0000-0003-4967-1027

DOI: https://doi.org/10.5753/sbbd_estendido.2024.243767

Resumo

Letras de músicas impõem desafios adicionais à modelagem de tópicos, já que o discurso nem sempre é explícito, devendo ser compreendido dentro de seu contexto, sua linguagem figurativa e poética, gírias, etc. Este artigo propõe o LLMusic, uma nova abordagem de modelagem de tópicos que explora o potencial de Grandes Modelos de Linguagem (LLMs) para analisar letras de música. LLMs e prompting são usados para resumir trechos de músicas em temas centrais, em um processo iterativo e não supervisionado aplicado a um corpus representativo do gênero. Esses temas são agrupados em um conjunto enxuto e coerente de tópicos usando BERTopic. Através de prompts zeroshot, pode-se classificar novos trechos de letras com base nesses tópicos. No estudo de caso desenvolvido, LLMusic capturar os fenômenos sociais à base do funk brasileiro, mostrando seu potencial para análise em larga escala.

Palavras-chave: LLMs, engenharia de prompt, modelagem de tópicos, BERTopic

Referências

Betti, L., Abrate, C., and Kaltenbrunner, A. (2023). Large scale analysis of gender bias and sexism in song lyrics. EPJ Data Science, 12(1):10.

Calcina, Erik e Novak, E. (2022). Measuring the similarity of song artists using topic modelling. In Proc. of the 25th Intl. Multiconference Information Society - Data Mining and Data Warehouses (SiKDD), page 103–106.

Devi, M. D. and Saharia, N. (2020). Exploiting topic modelling to classify sentiment from lyrics. In Proc. of the 2nd Intl. Conferemce on Machine Learning, Image Processing, Network Security and Data Sciences (MIND), pages 411–423.

Junior, J. S., Rossi, R., and Lobato, F. (2019). Uma abordagem baseada em letras para a descoberta de conhecimento da música brasileira: o sertanejo como um estudo de caso. In Anais do XVI Encontro Nacional de Inteligência Artificial e Computacional, pages 949–960, Porto Alegre, RS, Brasil. SBC.

Lopes, A. C. and Facina, A. (2012). Cidade do funk: expressões da diáspora negra nas favelas cariocas. Revista do Arquivo Geral da Cidade do Rio de Janeiro, 6:193–206.

Oramas, S., Espinosa-Anke, L., Gómez, F., and Serra, X. (2018). Natural language processing for music knowledge discovery. Journal of New Music Research, 47:365–382.

Pengfei Liu, Weizhe Yuan, J. F. Z. J. H. H. and Neubig, G. (2023). Pre-train, prompt, and predict: A systematic survey ofprompting methods in natural language processing. ACMCom-put., 55(9):35.

Peres, F. C. (2023). Puta ou santa: as relações com mulheres enquanto elemento constituinte das masculinidades do funk brasileiro? In IV Encontro Anual de Antropologia do Mercosul.

Pham, C. M., Hoyle, A., Sun, S., Resnik, P., and Iyyer, M. (2024). Topicgpt: A prompt-based topic modeling framework. DOI: 10.48550/arXiv.2311.01449.

Ramon Pires, Hugo Abonizio, T. S. A. and Nogueira, R. (2023). Sabía: Portuguese large language models. Anais da XII Brazilian Conference on Intelligent Systems, 12(1):15.

Smiler, A. P., Shewmaker, J. W., and Hearon, B. (2017). From “i want to hold your hand” to “promiscuous”: Sexual stereotypes in popular music lyrics, 1960–2008. Sexuality & Culture, 21(4):1083–1105.

Zhang, T., Ladhak, F., Durmus, E., Liang, P., McKeown, K., and Hashimoto, T. B. (2024). Benchmarking Large Language Models for News Summarization. Transactions of the Association for Computational Linguistics, 12:39–57.