Beyond Vector Search: Comparing Classical RAG with Hybrid GraphRAG for Climate Science Q&A
Resumo
Sistemas de recuperação aumentada por geração (RAG) tradicionais tratam documentos de forma isolada, falhando em capturar relações hierárquicas entre conceitos em corpora científicos complexos. Essa limitação compromete a qualidade das respostas em domínios especializados como climatologia, onde dependências conceituais frequentes atravessam múltiplos artigos. Propusemos uma arquitetura híbrida que integra busca vetorial com GraphRAG, detecção de comunidades Leiden e re-ranking via cross-encoder, alcançando ganhos de 160% em relevância contextual e 177% em recall contextual em relação ao RAG clássico. Esses resultados demonstram que a unificação de recuperação local e global supera significativamente o isolamento de trechos textuais, abrindo caminhos para sistemas de Q&A mais eficazes em acervos científicos dispersos.
Referências
da Silva Ferreira, D. B., de Souza, E. B., and de Moraes, B. C. (2013). Ciclo horário da precipitação no leste da amazônia durante o período chuvoso. Revista Brasileira de Climatologia, 13.
de Bodas Terassi, P. M., Pontes, P. R. M., Xavier, A. C. F., Cavalcante, R. B. L., de Oliveira Serrão, E. A., Sobral, B. S., de Oliveira-Júnior, J. F., de Melo, A. M. Q., and Baratto, J. (2023). A comprehensive analysis of regional disaggregation coefficients and intensity-duration-frequency curves for the itacaiúnas watershed in the eastern brazilian amazon: Pm de bodas terassi et al. Theoretical and Applied Climatology, 154(3):863–880.
Edge, D., Trinh, H., Cheng, N., Bradley, J., Chao, A., Mody, A., Truitt, S., Metropolitansky, D., Ness, R. O., and Larson, J. (2024). From local to global: A graph rag approach to query-focused summarization. arXiv preprint arXiv:2404.16130.
Han, H., Ma, L., Wang, Y., Shomer, H., Lei, Y., Qi, Z., Guo, K., Hua, Z., Long, B., Liu, H., et al. (2025). Rag vs. graphrag: A systematic evaluation and key insights. arXiv preprint arXiv:2502.11371.
Laban, P., Fabbri, A. R., Xiong, C., and Wu, C.-S. Summary of a haystack: a challenge to long-context llms and rag systems (2024). URL [link].
Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.-t., Rocktäschel, T., et al. (2020). Retrieval-augmented generation for knowledge-intensive nlp tasks. Advances in neural information processing systems, 33:9459–9474.
Lopes, M. N. G., De Souza, E. B., and da Silva Ferreira, D. B. (2013). Climatologia regional da precipitação no estado do pará. Revista Brasileira de Climatologia, 12.
Pontes, P. R., Cavalcante, R. B., Sahoo, P. K., da Silva Júnior, R. O., da Silva, M. S., Dall’Agnol, R., and Siqueira, J. O. (2019). The role of protected and deforested areas in the hydrological processes of itacaiúnas river basin, eastern amazonia. Journal of Environmental Management, 235:489–499.
Pradeep, R., Thakur, N., Upadhyay, S., Campos, D., Craswell, N., Soboroff, I., Dang, H. T., and Lin, J. (2025). The great nugget recall: Automating fact extraction and rag evaluation with large language models. In Proceedings of the 48th International ACM SIGIR Conference on Research and Development in Information Retrieval, pages 180–190.
Sequeda, J., Allemang, D., and Jacob, B. (2024). A benchmark to understand the role of knowledge graphs on large language model’s accuracy for question answering on enterprise sql databases. In Proceedings of the 7th Joint Workshop on Graph Data Management Experiences & Systems (GRADES) and Network Data Analytics (NDA), pages 1–12.
Setty, S., Thakkar, H., Lee, A., Chung, E., and Vidra, N. (2024). Improving retrieval for rag based question answering models on financial documents. arXiv preprint arXiv:2404.07221.
