Complaint Analysis in Digital Banks: Topic Modeling Based on Large Language Model
Resumo
O avanço no domínio das Fintechs tem impactado significativamente o contexto dos serviços financeiros. Consequentemente, observa-se um crescimento na quantidade de reclamações relacionadas a esse setor. Nesse contexto, o objetivo do presente trabalho é coletar e analisar reclamações relacionadas as Fintechs, utilizando de técnicas de Modelagem de Tópicos aliada aos grandes modelos de língua. Foram analisadas 1.427 reclamações vinculadas aos quatro principais bancos digitais brasileiros, a saber: Nubank, PicPay, Banco-Inter e C6-Bank. Os resultados destacaram que problemas relacionados a cartões de crédito, possuem maior recorrência nos relatos dos consumidores. As informações descobertas podem prover oportunidades as Fintechs em se manter cientes das principais adversidades enfrentadas e percepção dos serviços prestados sob à ótica do cliente.
Palavras-chave:
Inteligência Artificial, Análise de Reclamações, Grande Modelos de Língua
Referências
Das, S., Singh, A., Saha, S., and Maurya, A. (2024). Negative review or complaint? exploring interpretability in financial complaints. IEEE Transactions on Computational Social Systems.
de Mattos, C. A. and Guedes, J. V. (2019). Análise de uma fintech a partir da taxonomia de serviços. Brazilian Journal of Business, 1(2):356–369.
Diniz, B. (2020). O Fenômeno Fintech: Tudo Sobre o Movimento que Está Transformando o Mercado Financeiro no Brasil e no Mundo. Alta Books.
Do Carmo, F. A., Menezes, P. H. C., Barata, B. A. P., Jacob, A. F. L., and Lobato, F. M. F. (2024). Crm market overview: A case study of job vacancies. In Proceedings of the 20th Brazilian Symposium on Information Systems, SBSI ’24, New York, NY, USA. Association for Computing Machinery.
Egger, R. and Yu, J. (2022). A topic modeling comparison between lda, nmf, top2vec, and bertopic to demystify twitter posts. Frontiers in sociology, 7:886498.
Garcia, J., Villavicencio, G., Altimiras, F., Crawford, B., Soto, R., Minatogawa, V., Franco, M., Martínez-Muñoz, D., and Yepes, V. (2022). Machine learning techniques applied to construction: A hybrid bibliometric analysis of advances and future directions. Automation in Construction, 142:104532.
Guerra, S. and Salinas, N. S. C. (2020). Resolução eletrônica de conflitos em agências reguladoras. Revista Direito GV.
Khadija, M. A. and Nurharjadmo, W. (2024). Enhancing indonesian customer complaint analysis: Lda topic modelling with bert embeddings. SINERGI, 28(1):153–162.
Martínez-Plumed, F., Contreras-Ochando, L., Ferri, C., Hernández-Orallo, J., Kull, M., Lachiche, N., Ramírez-Quintana, M. J., and Flach, P. (2019). Crisp-dm twenty years later: From data mining processes to data science trajectories. IEEE transactions on knowledge and data engineering, 33(8):3048–3061.
Ministério da Justiça e Segurança Pública (2024). Consumidor.gov.br - publicações. Acessado em: 21 de agosto de 2024.
Nadali, A., Kakhky, E. N., and Nosratabadi, H. E. (2011). Evaluating the success level of data mining projects based on crisp-dm methodology by a fuzzy expert system. In International Conference on Electronics Computer Technology. IEEE.
Pereira, R. L., dos Santos Nascimento, A. M., Alves, E. N. A., dos Santos Pontes, E., and Trovão, R. (2023). Brasil e índia: um paralelo sobre o uso de fintech. Revista Conecta.
Silva, D. G., Betker, W. B., Gonçalves, D. P., and Dias, U. S. (2024). Modelos transformers para a análise automática de satisfaçao na plataforma consumidor. gov. br. In Workshop de Computação Aplicada em Governo Eletrônico (WCGE). SBC.
Singh, A., Saha, S., Hasanuzzaman, M., and Dey, K. (2022). Multitask learning for complaint identification and sentiment analysis. Cognitive Computation, 14(1).
Vairetti, C., Aránguiz, I., Maldonado, S., Karmy, J. P., and Leal, A. (2024). Analytics-driven complaint prioritisation via deep learning and multicriteria decision-making. European Journal of Operational Research, 312(3):1108–1118.
Voramontri, D. and Klieb, L. (2019). Impact of social media on consumer behaviour. Int. J. Inf. Decis. Sci., 11:209–233.
Wang, H., Prakash, N., Hoang, N. K., Hee, M. S., Naseem, U., and Lee, R. K.-W. (2023). Prompting large language models for topic modeling. In 2023 IEEE International Conference on Big Data (BigData), pages 1236–1241. IEEE.
Wirth, R. and Hipp, J. (2000). Crisp-dm: Towards a standard process model for data mining. In Proceedings of the 4th international conference on the practical applications of knowledge discovery and data mining, volume 1, pages 29–39. Manchester.
de Mattos, C. A. and Guedes, J. V. (2019). Análise de uma fintech a partir da taxonomia de serviços. Brazilian Journal of Business, 1(2):356–369.
Diniz, B. (2020). O Fenômeno Fintech: Tudo Sobre o Movimento que Está Transformando o Mercado Financeiro no Brasil e no Mundo. Alta Books.
Do Carmo, F. A., Menezes, P. H. C., Barata, B. A. P., Jacob, A. F. L., and Lobato, F. M. F. (2024). Crm market overview: A case study of job vacancies. In Proceedings of the 20th Brazilian Symposium on Information Systems, SBSI ’24, New York, NY, USA. Association for Computing Machinery.
Egger, R. and Yu, J. (2022). A topic modeling comparison between lda, nmf, top2vec, and bertopic to demystify twitter posts. Frontiers in sociology, 7:886498.
Garcia, J., Villavicencio, G., Altimiras, F., Crawford, B., Soto, R., Minatogawa, V., Franco, M., Martínez-Muñoz, D., and Yepes, V. (2022). Machine learning techniques applied to construction: A hybrid bibliometric analysis of advances and future directions. Automation in Construction, 142:104532.
Guerra, S. and Salinas, N. S. C. (2020). Resolução eletrônica de conflitos em agências reguladoras. Revista Direito GV.
Khadija, M. A. and Nurharjadmo, W. (2024). Enhancing indonesian customer complaint analysis: Lda topic modelling with bert embeddings. SINERGI, 28(1):153–162.
Martínez-Plumed, F., Contreras-Ochando, L., Ferri, C., Hernández-Orallo, J., Kull, M., Lachiche, N., Ramírez-Quintana, M. J., and Flach, P. (2019). Crisp-dm twenty years later: From data mining processes to data science trajectories. IEEE transactions on knowledge and data engineering, 33(8):3048–3061.
Ministério da Justiça e Segurança Pública (2024). Consumidor.gov.br - publicações. Acessado em: 21 de agosto de 2024.
Nadali, A., Kakhky, E. N., and Nosratabadi, H. E. (2011). Evaluating the success level of data mining projects based on crisp-dm methodology by a fuzzy expert system. In International Conference on Electronics Computer Technology. IEEE.
Pereira, R. L., dos Santos Nascimento, A. M., Alves, E. N. A., dos Santos Pontes, E., and Trovão, R. (2023). Brasil e índia: um paralelo sobre o uso de fintech. Revista Conecta.
Silva, D. G., Betker, W. B., Gonçalves, D. P., and Dias, U. S. (2024). Modelos transformers para a análise automática de satisfaçao na plataforma consumidor. gov. br. In Workshop de Computação Aplicada em Governo Eletrônico (WCGE). SBC.
Singh, A., Saha, S., Hasanuzzaman, M., and Dey, K. (2022). Multitask learning for complaint identification and sentiment analysis. Cognitive Computation, 14(1).
Vairetti, C., Aránguiz, I., Maldonado, S., Karmy, J. P., and Leal, A. (2024). Analytics-driven complaint prioritisation via deep learning and multicriteria decision-making. European Journal of Operational Research, 312(3):1108–1118.
Voramontri, D. and Klieb, L. (2019). Impact of social media on consumer behaviour. Int. J. Inf. Decis. Sci., 11:209–233.
Wang, H., Prakash, N., Hoang, N. K., Hee, M. S., Naseem, U., and Lee, R. K.-W. (2023). Prompting large language models for topic modeling. In 2023 IEEE International Conference on Big Data (BigData), pages 1236–1241. IEEE.
Wirth, R. and Hipp, J. (2000). Crisp-dm: Towards a standard process model for data mining. In Proceedings of the 4th international conference on the practical applications of knowledge discovery and data mining, volume 1, pages 29–39. Manchester.
Publicado
17/11/2024
Como Citar
MENEZES, Pedro C.; CARMO, Fabrício A. do; MARCACINI, Ricardo M.; JACOB JUNIOR, Antonio F. L.; LOBATO, Fábio M. F..
Complaint Analysis in Digital Banks: Topic Modeling Based on Large Language Model. In: ENCONTRO NACIONAL DE INTELIGÊNCIA ARTIFICIAL E COMPUTACIONAL (ENIAC), 21. , 2024, Belém/PA.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2024
.
p. 942-953.
ISSN 2763-9061.
DOI: https://doi.org/10.5753/eniac.2024.245248.
