RAG para Atendimento Acadêmico: Uma Avaliação de Modelos de Embedding Compactos no Contexto Universitário
Resumo
Este trabalho apresenta um chatbot institucional baseado em RAG para suporte acadêmico em português, desenvolvido com foco em baixo custo operacional. A principal contribuição consiste na avaliação comparativa de modelos de embedding open-source compactos, com até 0.6B de parâmetros, e modelos proprietários na recuperação de informação sobre documentos institucionais. A avaliação, realizada com as métricas Recall, MRR e NDCG a partir de perguntas formuladas sobre documentos do contexto acadêmico, indica que modelos open-source compactos podem alcançar desempenho competitivo nesse cenário. Esses resultados apontam seu potencial como alternativas viáveis e de menor custo para aplicações acadêmicas em português.
Palavras-chave:
Retrieval-Augmented Generation, Modelos de Embedding, Chatbot Acadêmico
Referências
Almeida, E. J. C. (2024). Otimização da comunicação institucional na ufcg através da implementação de chatbots: uma estratégia inovadora para melhoria do atendimento ao discente. Relatório técnico (mestrado profissional em administração pública – profiap), Universidade Federal de Campina Grande.
Anibal, E. L. d. A. (2025). Avaliação da usabilidade do chatbot minhaufc. Trabalho de conclusão de curso, Universidade Federal do Ceará.
Bassani, E. (2022). ranx: A blazing-fast python library for ranking evaluation and comparison. In European Conference on Information Retrieval, pages 259–264. Springer.
Bordin, A. C. B., Lunardi, G. M., Piveta, E. K., and Emmendorfer, L. (2025). Unichat: Arquitetura e avaliaçao de um agente rag de baixo custo para o contexto universitário. In Simpósio Brasileiro de Banco de Dados (SBBD), pages 886–892. SBC.
Brehme, L., Ströhle, T., and Breu, R. (2025). Can llms be trusted for evaluating rag systems? a survey of methods and datasets. In 2025 IEEE Swiss Conference on Data Science (SDS), pages 16–23. IEEE.
Cabral, J. P. F. (2025). Chatbot inteligente para acesso a regulamentos acadêmicos: um sistema de recuperação de informações baseado em rag. Trabalho de conclusão de curso, Universidade Federal do Rio Grande do Norte.
Canale, L., Scotta, S., Messina, A., and Farinetti, L. (2025). Bes4rag: A framework for embedding model selection in retrieval-augmented generation. In Proceedings of the Eleventh Italian Conference on Computational Linguistics (CLiC-it 2025), pages 134–142.
Chaves, L. N. A., de Oliveira, M. A., Pereira, M. L. A., Kanda, J. Y., dos Santos, J. V. S., Soares, A. C., and de Sousa, S. R. G. (2024). Explorando a viabilidade de chatbot na comunicação do programa de integridade: o caso da ufam. Peer Review Journals, 16(16):242–261.
Chiang, W.-L., Zheng, L., Sheng, Y., Angelopoulos, A. N., Li, T., Li, D., Zhang, H., Zhu, B., Jordan, M., Gonzalez, J. E., et al. (2024). Chatbot arena: An open platform for evaluating llms by human preference. arXiv preprint arXiv:2403.04132.
Coelho, G. S. d. S. (2024). Chatbot para o serviço de referência da biblioteca setorial berilo borba do centro de ciências sociais aplicadas da universidade federal da paraíba. Trabalho de conclusão de curso, Universidade Federal da Paraíba.
da Cunha, M. V., Silveira, M. R., Sperb, C. B., Santana, B. S., Freitas, L. A., and Corrêa, U. B. (2026). Avaliação end-to-end de um sistema rag para documentos hospitalares em português. In Proceedings of the 17th International Conference on Computational Processing of Portuguese (PROPOR 2026)-Vol. 1, pages 749–758.
da Silva, T. P. (2021). Desenvolvimento de um sistema do tipo chatbot para o curso de sistemas de informação. Trabalho de conclusão de curso, Universidade Federal de Santa Catarina.
de Andrade, G. G., Silva, G. R. S., Júnior, F., Santos, G. A., de Mendonça, F. L. L., and de Sousa Júnior, R. T. (2020). Evatalk: A chatbot system for the brazilian government virtual school. In Proceedings of the 22nd International Conference on Enterprise Information Systems (ICEIS 2020).
de Carvalho, B. G. (2025). Desenvolvimento de um chatbot educacional para apoio aos estudantes do curso de engenharia de software da ufc-campus quixadá. Trabalho de conclusão de curso, Universidade Federal do Ceará.
de Melo, L. B. (2023). Regbot: chatbot para o regulamento de ensino de graduação da universidade federal de campina grande. Trabalho de conclusão de curso, Universidade Federal de Campina Grande.
de Oliveira, A. J. D. (2024). Implementação de um chatbot em uma universidade pública: aprimorando a experiência do atendimento. Dissertação (mestrado profissional em administração), Universidade Federal Fluminense.
de Souza, A. E. B. (2024). Proposta de chatbot inteligente baseado na organização acadêmica do instituto federal de pernambuco. Trabalho de conclusão de curso, Instituto Federal de Pernambuco.
de Souza, W. F. V., Nogueira, I. L., and de Souza, A. V. (2025). Assistente virtual inteligente para instituições educacionais: Aplicação da técnica rag no ifbot. In Workshop sobre as Implicações da Computação na Sociedade (WICS), pages 217–224. SBC.
do Amaral, V. M. R., Silveira, L. E., Rigo, P. D., and Lunardi, G. M. (2025). A rag-powered academic chatbot with ontology-driven factual verification. In Simpósio Brasileiro de Banco de Dados (SBBD), pages 404–414. SBC.
do Nascimento, D. F. G. (2024). Projeto de aplicação chatbot web para o gerenciamento de chamados de atendimento: um estudo de caso na ufpb. Trabalho de conclusão de curso, Universidade Federal da Paraíba.
dos Passos, K. G. F., Silva, L. M., Picalho, A. C., and Fadel, L. M. (2025). Agentes de inteligência artificial aplicados aos serviços de bibliotecas universitárias: Genspark e manusai. XXIII Seminário Nacional de Bibliotecas Universitárias, pages 1–13.
Elias, G. C. (2024). Uma alternativa de comunicação: Como o chatbot pode ser uma opção para a coordenadoria de registros acadêmicos de um campus do ifsp. In Congresso de Inovação, Ciência e Tecnologia do IFSP, volume 15.
Enevoldsen, K., Chung, I., Kerboua, I., Kardos, M., Mathur, A., Stap, D., Gala, J., Siblini, W., Krzemiński, D., Winata, G. I., et al. (2025). Mmteb: Massive multilingual text embedding benchmark. arXiv preprint arXiv:2502.13595.
Es, S., James, J., Anke, L. E., and Schockaert, S. (2024). Ragas: Automated evaluation of retrieval augmented generation. In Proceedings of the 18th conference of the european chapter of the association for computational linguistics: system demonstrations, pages 150–158.
Felipe, R. T. T., Arnoni, T. H., and Ramos, A. M. (2025). Sofiá: Um chatbot baseado em ia para suporte à gestão de estágios em universidades públicas. In Anais do XXIV Congresso Internacional de Gestão Universitária. INPEAU/UFSC.
Gonçalves, W. A., dos Anjos e Santos, M. G. T., Leal, L., Rodrigues, N. S., and de Souza, E. P. (2025). Integração de chatbots com inteligência artificial ao ensino superior: estudo sobre seu desempenho na mediação da aprendizagem individualizada. Educere et Educare, 20(50):151–166.
Layane, L., Machado, G., Morandi, G., Silva, N., Junior, W., and Alves, E. (2025). Chatbot customizável baseado em ia generativa para informação de conteúdos acadêmicos de instituições de ensino superior públicas. In Latin American Symposium on Digital Government (LASDiGov), pages 169–180. SBC.
Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.-t., Rocktäschel, T., et al. (2020). Retrieval-augmented generation for knowledge-intensive nlp tasks. Advances in neural information processing systems, 33:9459–9474.
Medeiros, L. S. F. and de Oliveira, H. T. A. (2025). Comparação de modelos de embeddings e llms para geração aumentada por recuperação em português. In Seminário Integrado de Software e Hardware (SEMISH), pages 429–440. SBC.
Monteiro, A. S. (2023). A transformação digital da comunicação na administração pública: uma análise da viabilidade do uso de um chatbot na secretaria de recursos humanos da universidade federal de campina grande. Dissertação (mestrado profissional em administração pública), Universidade Federal de Campina Grande.
Muennighoff, N., Tazi, N., Magne, L., and Reimers, N. (2023). Mteb: Massive text embedding benchmark. In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics, pages 2014–2037.
Oliveira, S. C. (2025). Chatbot com inteligência artificial como ferramenta de apoio à comunicação acadêmica: Uma proposta para o departamento de ciências da administração da ufsc. Trabalho de conclusão de curso, Universidade Federal de Santa Catarina.
Pantoja, A. S., Nascimento, K. W. S., de Lima Duarte, G., Silva, A. B. A., and de Jesus Martins, Y. (2025). Desenvolvimento de um chatbot inteligente para auxílio de atividades organizacionais durante o período de processos seletivos da ufpa. In Workshop sobre Aspectos Sociais, Humanos e Econômicos de Software (WASHES), pages 143–154. SBC.
Petrin, N. S. M. and Néto, J. C. (2026). Empathiced: Um chatbot educacional com rag e computação afetiva em um contexto de iniciação científica coordenada. ARACÊ, 8(3):e12683–e12683.
Rayzer, L. P. B. and Santos, F. (2025). Um LLM com RAG para as normativas institucionais da UDESC. In Escola Regional de Aprendizado de Máquina e Inteligência Artificial da Região Sul (ERAMIA-RS), pages 224–227. SBC.
Rayzer, L. P. B. and Santos, F. (2026). Explorando o uso de LLMs com RAG para simplificar o acesso às normativas da universidade do estado de santa catarina. Regae: Revista de Gestão e Avaliação Educacional.
Rodrigues, G. B., Beal, F., Marcon, M., Souza, A. C. C., Ortoncelli, A. R., Souza, F. C. M., and Silva, R. A. (2025). Sabiá: Um chatbot de inteligência artificial generativa para suporte no dia a dia do ensino superior. arXiv preprint arXiv:2511.10787.
Saad-Falcon, J., Khattab, O., Potts, C., and Zaharia, M. (2024). Ares: An automated evaluation framework for retrieval-augmented generation systems. In Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, volume 1, pages 338–354.
Silva, A. L. S., da Silva, F. R. P., Lopes, C. H. S., Freire, A. R., da Penha Francisco, L., and de Campos da Silva, G. (2023). A implantação do whatsapp institucional da unicamp: a universidade ao alcance das mãos. In Resumo dos trabalhos do SIMTEC Simpósio dos Profissionais da UNICAMP.
Soares, R. R. P., Cardoso, F. E. A., Costa, N. H. F., and Melo, R. F. d. (2025). Desenvolvimento de um assistente virtual como suporte acadêmico do curso de licenciatura em computação usando ia generativa personalizada e rag. Revista Sítio Novo, 9:e1757.
Spricigo, V. E. (2026). Chatbot RAG personalizado de dados em modelos de linguagem natural generativos. Trabalho de conclusão de curso, Instituto Federal Goiano.
Tan, J., Dou, Z., Wang, W., Wang, M., Chen, W., and Wen, J.-R. (2025). Htmlrag: Html is better than plain text for modeling retrieved knowledge in rag systems. In Proceedings of the ACM on Web Conference 2025, WWW '25, page 1733–1746. Association for Computing Machinery.
Yu, H., Gan, A., Zhang, K., Tong, S., Liu, Q., and Liu, Z. (2025). Evaluation of retrieval-augmented generation: A survey. In Big Data, pages 102–120, Singapore. Springer Nature Singapore.
Anibal, E. L. d. A. (2025). Avaliação da usabilidade do chatbot minhaufc. Trabalho de conclusão de curso, Universidade Federal do Ceará.
Bassani, E. (2022). ranx: A blazing-fast python library for ranking evaluation and comparison. In European Conference on Information Retrieval, pages 259–264. Springer.
Bordin, A. C. B., Lunardi, G. M., Piveta, E. K., and Emmendorfer, L. (2025). Unichat: Arquitetura e avaliaçao de um agente rag de baixo custo para o contexto universitário. In Simpósio Brasileiro de Banco de Dados (SBBD), pages 886–892. SBC.
Brehme, L., Ströhle, T., and Breu, R. (2025). Can llms be trusted for evaluating rag systems? a survey of methods and datasets. In 2025 IEEE Swiss Conference on Data Science (SDS), pages 16–23. IEEE.
Cabral, J. P. F. (2025). Chatbot inteligente para acesso a regulamentos acadêmicos: um sistema de recuperação de informações baseado em rag. Trabalho de conclusão de curso, Universidade Federal do Rio Grande do Norte.
Canale, L., Scotta, S., Messina, A., and Farinetti, L. (2025). Bes4rag: A framework for embedding model selection in retrieval-augmented generation. In Proceedings of the Eleventh Italian Conference on Computational Linguistics (CLiC-it 2025), pages 134–142.
Chaves, L. N. A., de Oliveira, M. A., Pereira, M. L. A., Kanda, J. Y., dos Santos, J. V. S., Soares, A. C., and de Sousa, S. R. G. (2024). Explorando a viabilidade de chatbot na comunicação do programa de integridade: o caso da ufam. Peer Review Journals, 16(16):242–261.
Chiang, W.-L., Zheng, L., Sheng, Y., Angelopoulos, A. N., Li, T., Li, D., Zhang, H., Zhu, B., Jordan, M., Gonzalez, J. E., et al. (2024). Chatbot arena: An open platform for evaluating llms by human preference. arXiv preprint arXiv:2403.04132.
Coelho, G. S. d. S. (2024). Chatbot para o serviço de referência da biblioteca setorial berilo borba do centro de ciências sociais aplicadas da universidade federal da paraíba. Trabalho de conclusão de curso, Universidade Federal da Paraíba.
da Cunha, M. V., Silveira, M. R., Sperb, C. B., Santana, B. S., Freitas, L. A., and Corrêa, U. B. (2026). Avaliação end-to-end de um sistema rag para documentos hospitalares em português. In Proceedings of the 17th International Conference on Computational Processing of Portuguese (PROPOR 2026)-Vol. 1, pages 749–758.
da Silva, T. P. (2021). Desenvolvimento de um sistema do tipo chatbot para o curso de sistemas de informação. Trabalho de conclusão de curso, Universidade Federal de Santa Catarina.
de Andrade, G. G., Silva, G. R. S., Júnior, F., Santos, G. A., de Mendonça, F. L. L., and de Sousa Júnior, R. T. (2020). Evatalk: A chatbot system for the brazilian government virtual school. In Proceedings of the 22nd International Conference on Enterprise Information Systems (ICEIS 2020).
de Carvalho, B. G. (2025). Desenvolvimento de um chatbot educacional para apoio aos estudantes do curso de engenharia de software da ufc-campus quixadá. Trabalho de conclusão de curso, Universidade Federal do Ceará.
de Melo, L. B. (2023). Regbot: chatbot para o regulamento de ensino de graduação da universidade federal de campina grande. Trabalho de conclusão de curso, Universidade Federal de Campina Grande.
de Oliveira, A. J. D. (2024). Implementação de um chatbot em uma universidade pública: aprimorando a experiência do atendimento. Dissertação (mestrado profissional em administração), Universidade Federal Fluminense.
de Souza, A. E. B. (2024). Proposta de chatbot inteligente baseado na organização acadêmica do instituto federal de pernambuco. Trabalho de conclusão de curso, Instituto Federal de Pernambuco.
de Souza, W. F. V., Nogueira, I. L., and de Souza, A. V. (2025). Assistente virtual inteligente para instituições educacionais: Aplicação da técnica rag no ifbot. In Workshop sobre as Implicações da Computação na Sociedade (WICS), pages 217–224. SBC.
do Amaral, V. M. R., Silveira, L. E., Rigo, P. D., and Lunardi, G. M. (2025). A rag-powered academic chatbot with ontology-driven factual verification. In Simpósio Brasileiro de Banco de Dados (SBBD), pages 404–414. SBC.
do Nascimento, D. F. G. (2024). Projeto de aplicação chatbot web para o gerenciamento de chamados de atendimento: um estudo de caso na ufpb. Trabalho de conclusão de curso, Universidade Federal da Paraíba.
dos Passos, K. G. F., Silva, L. M., Picalho, A. C., and Fadel, L. M. (2025). Agentes de inteligência artificial aplicados aos serviços de bibliotecas universitárias: Genspark e manusai. XXIII Seminário Nacional de Bibliotecas Universitárias, pages 1–13.
Elias, G. C. (2024). Uma alternativa de comunicação: Como o chatbot pode ser uma opção para a coordenadoria de registros acadêmicos de um campus do ifsp. In Congresso de Inovação, Ciência e Tecnologia do IFSP, volume 15.
Enevoldsen, K., Chung, I., Kerboua, I., Kardos, M., Mathur, A., Stap, D., Gala, J., Siblini, W., Krzemiński, D., Winata, G. I., et al. (2025). Mmteb: Massive multilingual text embedding benchmark. arXiv preprint arXiv:2502.13595.
Es, S., James, J., Anke, L. E., and Schockaert, S. (2024). Ragas: Automated evaluation of retrieval augmented generation. In Proceedings of the 18th conference of the european chapter of the association for computational linguistics: system demonstrations, pages 150–158.
Felipe, R. T. T., Arnoni, T. H., and Ramos, A. M. (2025). Sofiá: Um chatbot baseado em ia para suporte à gestão de estágios em universidades públicas. In Anais do XXIV Congresso Internacional de Gestão Universitária. INPEAU/UFSC.
Gonçalves, W. A., dos Anjos e Santos, M. G. T., Leal, L., Rodrigues, N. S., and de Souza, E. P. (2025). Integração de chatbots com inteligência artificial ao ensino superior: estudo sobre seu desempenho na mediação da aprendizagem individualizada. Educere et Educare, 20(50):151–166.
Layane, L., Machado, G., Morandi, G., Silva, N., Junior, W., and Alves, E. (2025). Chatbot customizável baseado em ia generativa para informação de conteúdos acadêmicos de instituições de ensino superior públicas. In Latin American Symposium on Digital Government (LASDiGov), pages 169–180. SBC.
Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.-t., Rocktäschel, T., et al. (2020). Retrieval-augmented generation for knowledge-intensive nlp tasks. Advances in neural information processing systems, 33:9459–9474.
Medeiros, L. S. F. and de Oliveira, H. T. A. (2025). Comparação de modelos de embeddings e llms para geração aumentada por recuperação em português. In Seminário Integrado de Software e Hardware (SEMISH), pages 429–440. SBC.
Monteiro, A. S. (2023). A transformação digital da comunicação na administração pública: uma análise da viabilidade do uso de um chatbot na secretaria de recursos humanos da universidade federal de campina grande. Dissertação (mestrado profissional em administração pública), Universidade Federal de Campina Grande.
Muennighoff, N., Tazi, N., Magne, L., and Reimers, N. (2023). Mteb: Massive text embedding benchmark. In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics, pages 2014–2037.
Oliveira, S. C. (2025). Chatbot com inteligência artificial como ferramenta de apoio à comunicação acadêmica: Uma proposta para o departamento de ciências da administração da ufsc. Trabalho de conclusão de curso, Universidade Federal de Santa Catarina.
Pantoja, A. S., Nascimento, K. W. S., de Lima Duarte, G., Silva, A. B. A., and de Jesus Martins, Y. (2025). Desenvolvimento de um chatbot inteligente para auxílio de atividades organizacionais durante o período de processos seletivos da ufpa. In Workshop sobre Aspectos Sociais, Humanos e Econômicos de Software (WASHES), pages 143–154. SBC.
Petrin, N. S. M. and Néto, J. C. (2026). Empathiced: Um chatbot educacional com rag e computação afetiva em um contexto de iniciação científica coordenada. ARACÊ, 8(3):e12683–e12683.
Rayzer, L. P. B. and Santos, F. (2025). Um LLM com RAG para as normativas institucionais da UDESC. In Escola Regional de Aprendizado de Máquina e Inteligência Artificial da Região Sul (ERAMIA-RS), pages 224–227. SBC.
Rayzer, L. P. B. and Santos, F. (2026). Explorando o uso de LLMs com RAG para simplificar o acesso às normativas da universidade do estado de santa catarina. Regae: Revista de Gestão e Avaliação Educacional.
Rodrigues, G. B., Beal, F., Marcon, M., Souza, A. C. C., Ortoncelli, A. R., Souza, F. C. M., and Silva, R. A. (2025). Sabiá: Um chatbot de inteligência artificial generativa para suporte no dia a dia do ensino superior. arXiv preprint arXiv:2511.10787.
Saad-Falcon, J., Khattab, O., Potts, C., and Zaharia, M. (2024). Ares: An automated evaluation framework for retrieval-augmented generation systems. In Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, volume 1, pages 338–354.
Silva, A. L. S., da Silva, F. R. P., Lopes, C. H. S., Freire, A. R., da Penha Francisco, L., and de Campos da Silva, G. (2023). A implantação do whatsapp institucional da unicamp: a universidade ao alcance das mãos. In Resumo dos trabalhos do SIMTEC Simpósio dos Profissionais da UNICAMP.
Soares, R. R. P., Cardoso, F. E. A., Costa, N. H. F., and Melo, R. F. d. (2025). Desenvolvimento de um assistente virtual como suporte acadêmico do curso de licenciatura em computação usando ia generativa personalizada e rag. Revista Sítio Novo, 9:e1757.
Spricigo, V. E. (2026). Chatbot RAG personalizado de dados em modelos de linguagem natural generativos. Trabalho de conclusão de curso, Instituto Federal Goiano.
Tan, J., Dou, Z., Wang, W., Wang, M., Chen, W., and Wen, J.-R. (2025). Htmlrag: Html is better than plain text for modeling retrieved knowledge in rag systems. In Proceedings of the ACM on Web Conference 2025, WWW '25, page 1733–1746. Association for Computing Machinery.
Yu, H., Gan, A., Zhang, K., Tong, S., Liu, Q., and Liu, Z. (2025). Evaluation of retrieval-augmented generation: A survey. In Big Data, pages 102–120, Singapore. Springer Nature Singapore.
Publicado
05/10/2026
Como Citar
DE SOUSA, Mateus Henrique Ferreira; SOARES, André Castelo Branco.
RAG para Atendimento Acadêmico: Uma Avaliação de Modelos de Embedding Compactos no Contexto Universitário. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 37. , 2026, Goiânia/GO.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2026
.
p. 1701-1716.
DOI: https://doi.org/10.5753/sbie.2026.28059.
