A RAG-Powered Academic Chatbot with Ontology-Driven Factual Verification
Resumo
This paper presents an academic chatbot developed to support services at UFSM, with a Retrieval-Augmented Generation (RAG) architecture. The system uses PyPDF2 for processing official documents, LangChain and FAISS for vector retrieval, and Zephyr 7B for response generation. To ensure factual accuracy, our ontology enables automated fact-checking via SPARQL queries. The chatbot is integrated into Telegram with structured conversation flows tailored for Computer Engineering students as case study. Experimental results show gains in factual accuracy through ontology-based verification, reducing hallucinations and increasing system reliability.
Palavras-chave:
Retrieval-augmented generation, Large Language Model, Ontology, Chatbot, Evaluation
Referências
Barbosa, M., Nakamura, W. T., Valle, P. H. D., Guerino, G. C., Finger, A. F., Lunardi, G. M., and Silva, W. (2022a). Ux of chatbots: An exploratory study on acceptance of user experience evaluation methods. In ICEIS (2), pages 355–363.
Barbosa, M., Valle, P., Nakamura, W., Guerino, G., Finger, A., Lunardi, G., and Silva, W. (2022b). Um estudo exploratório sobre métodos de avaliação de user experience em chatbots. In Anais da VI Escola Regional de Engenharia de Software, Porto Alegre, RS, Brasil. SBC.
Bax, M. P. and de Assis Gonçalves, J. E. (2019). Grafos de conhecimento para preparação e reutilização de dados científicos.
Brito, F. N. (2017). Desenvolvimento de um chatterbot para a página web de um curso de nível superior. Trabalho de conclusão de curso (graduação em engenharia de software), Universidade Federal do Ceará, Campus de Quixadá, Quixadá, Brasil.
de O. Figueiredo, L., Lopes, A. M. Z., Validorio, V. C., and Mussio, S. C. (2023). Desafios e impactos do uso da inteligência artificial na educação. Educação Online, 18(44):e18234408.
Fontanari, J. V. A. (2022). Guribo: Chatterbot para auxílio à secretaria acadêmica do campus alegrete. Trabalho de conclusão de curso (bacharel em engenharia de software), Universidade Federal do Pampa.
Jégou, H., Douze, M., and Johnson, J. (2025). Faiss: Facebook ai similarity search. [link].
Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.-t., Rocktäschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive nlp tasks. In International Conference on Neural Information Processing Systems (NeurIPS), pages 9459–9474.
Lichtnow, D., Fleischmann, A. M. P., do Nascimento, L. V., Machado, G. M., and de Oliveira, J. P. M. (2025). Pipeline for ontology construction using a large language model: A smart campus use case. In International Conference on Enterprise Information Systems, ICEIS, pages 4–6.
Monteiro, G. S. (2021). Helena: um chatbot para auxílio dos discentes do decom em trâmites universitários. Monografia (graduação em ciências da computação), Universidade Federal de Ouro Preto, Instituto de Ciências Exatas e Biológicas, Ouro Preto, Brasil.
Santhanam, K., Khattab, O., Saad-Falcon, J., Potts, C., and Zaharia, M. (2022). Colbertv2: Effective and efficient retrieval via lightweight late interaction. arXiv preprint arXiv:2112.01488.
Silva, J. W. F. d. (2022). Um framework baseado em conhecimento de senso comum para sistemas de perguntas e respostas sobre grafo de conhecimento.
Silva, L. (2023). Chatbot polímata: Um chatbot de código aberto para apoio acadêmico na unifap. Trabalho de conclusão de curso (bacharelado em computação), Universidade Federal do Amapá, Macapá, Brasil.
Soares, T. S., Costa, R. L. H., Soares, E., Calderon, I., Lunardi, G. M., Valle, P. H. D., Guedes, G. T., and Silva, W. (2025). Machine learning-assisted tools for user experience evaluation: A systematic mapping study. Simpósio Brasileiro de Sistemas de Informaçao (SBSI), pages 379–388.
Souza Filho, J. R. A. d. S. (2024). Dubi: um framework para avaliação automática de chatbots.
Tunstall, L., Beeching, E., Lambert, N., Rajani, N., Rasul, K., Belkada, Y., Huang, S., von Werra, L., Fourrier, C., Habib, N., Sarrazin, N., Sanseviero, O., Rush, A. M., and Wolf, T. (2023). Zephyr: Direct distillation of lm alignment.
Barbosa, M., Valle, P., Nakamura, W., Guerino, G., Finger, A., Lunardi, G., and Silva, W. (2022b). Um estudo exploratório sobre métodos de avaliação de user experience em chatbots. In Anais da VI Escola Regional de Engenharia de Software, Porto Alegre, RS, Brasil. SBC.
Bax, M. P. and de Assis Gonçalves, J. E. (2019). Grafos de conhecimento para preparação e reutilização de dados científicos.
Brito, F. N. (2017). Desenvolvimento de um chatterbot para a página web de um curso de nível superior. Trabalho de conclusão de curso (graduação em engenharia de software), Universidade Federal do Ceará, Campus de Quixadá, Quixadá, Brasil.
de O. Figueiredo, L., Lopes, A. M. Z., Validorio, V. C., and Mussio, S. C. (2023). Desafios e impactos do uso da inteligência artificial na educação. Educação Online, 18(44):e18234408.
Fontanari, J. V. A. (2022). Guribo: Chatterbot para auxílio à secretaria acadêmica do campus alegrete. Trabalho de conclusão de curso (bacharel em engenharia de software), Universidade Federal do Pampa.
Jégou, H., Douze, M., and Johnson, J. (2025). Faiss: Facebook ai similarity search. [link].
Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.-t., Rocktäschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive nlp tasks. In International Conference on Neural Information Processing Systems (NeurIPS), pages 9459–9474.
Lichtnow, D., Fleischmann, A. M. P., do Nascimento, L. V., Machado, G. M., and de Oliveira, J. P. M. (2025). Pipeline for ontology construction using a large language model: A smart campus use case. In International Conference on Enterprise Information Systems, ICEIS, pages 4–6.
Monteiro, G. S. (2021). Helena: um chatbot para auxílio dos discentes do decom em trâmites universitários. Monografia (graduação em ciências da computação), Universidade Federal de Ouro Preto, Instituto de Ciências Exatas e Biológicas, Ouro Preto, Brasil.
Santhanam, K., Khattab, O., Saad-Falcon, J., Potts, C., and Zaharia, M. (2022). Colbertv2: Effective and efficient retrieval via lightweight late interaction. arXiv preprint arXiv:2112.01488.
Silva, J. W. F. d. (2022). Um framework baseado em conhecimento de senso comum para sistemas de perguntas e respostas sobre grafo de conhecimento.
Silva, L. (2023). Chatbot polímata: Um chatbot de código aberto para apoio acadêmico na unifap. Trabalho de conclusão de curso (bacharelado em computação), Universidade Federal do Amapá, Macapá, Brasil.
Soares, T. S., Costa, R. L. H., Soares, E., Calderon, I., Lunardi, G. M., Valle, P. H. D., Guedes, G. T., and Silva, W. (2025). Machine learning-assisted tools for user experience evaluation: A systematic mapping study. Simpósio Brasileiro de Sistemas de Informaçao (SBSI), pages 379–388.
Souza Filho, J. R. A. d. S. (2024). Dubi: um framework para avaliação automática de chatbots.
Tunstall, L., Beeching, E., Lambert, N., Rajani, N., Rasul, K., Belkada, Y., Huang, S., von Werra, L., Fourrier, C., Habib, N., Sarrazin, N., Sanseviero, O., Rush, A. M., and Wolf, T. (2023). Zephyr: Direct distillation of lm alignment.
Publicado
29/09/2025
Como Citar
DO AMARAL, Vitor Mateus R.; SILVEIRA, Luiza Espinosa; RIGO, Paula D.; LUNARDI, Gabriel M..
A RAG-Powered Academic Chatbot with Ontology-Driven Factual Verification. In: LLMS, ANÁLISE DE GRAFOS E ONTOLOGIAS (LAGO) - SIMPÓSIO BRASILEIRO DE BANCO DE DADOS (SBBD), 40. , 2025, Fortaleza/CE.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2025
.
p. 404-414.
DOI: https://doi.org/10.5753/sbbd_estendido.2025.247988.
