Impact of Hybrid Routing on Curriculum-Aware Multi-Collection RAG Architectures

• Flaviano M. S. Junior UFCG
• Luiz H. C. da Silva UFCG
• José N. S. Combé UFCG
• José T. S. de Oliveira UFCG
• Marcus M. Bezerra UFCG
• Sérgio N. Silva UFCG

DOI: https://doi.org/10.5753/eniac.2026.31253

Resumo

Sistemas de Geração Aumentada por Recuperação (RAG) geralmente utilizam um índice único e plano, desconsiderando a estrutura curricular do conteúdo educacional. Este trabalho investiga o impacto do roteamento híbrido em uma arquitetura RAG multi-coleção para a disciplina de Circuitos Lógicos. O corpus é organizado em três coleções curriculares, e comparam-se quatro variantes do mesmo pipeline: roteamento por embedding (R1), por palavras-chave (R2), híbrido embedding+palavras-chave (R3) e recuperação sem roteamento em coleção única (R4). O roteador híbrido calcula um escore ponderado que combina similaridade cosseno entre o embedding da consulta e o perfil curricular de cada estágio com uma pontuação de sobreposição de palavras-chave. A avaliação emprega 45 perguntas anotadas e avaliadas com RAGAS. Os resultados mostram que o roteamento híbrido (R3) melhora a faithfulness em relação ao índice plano sem roteamento (R4) (0,878 vs. 0,855) e alcança a maior correção de resposta entre as variantes avaliadas (0,645). O roteamento puramente léxico obtém os maiores valores de faithfulness (0,898) e revocação de contexto (0,873), indicando que a terminologia técnica canônica favorece o sinal lexical neste benchmark. De modo geral, os resultados sugerem que o roteamento curricular, especialmente na forma híbrida, melhora o embasamento factual e evidencia compromissos entre sinais semânticos e léxicos em sistemas RAG educacionais.

Referências

Abdelghani, R., Wang, Y.-H., Yuan, X., Wang, T., Lucas, P., Sauzéon, H., and Oudeyer, P.-Y. (2024). GPT-3-driven pedagogical agents to train children’s curious question-asking skills. International Journal of Artificial Intelligence in Education, 34:483–518.

Alexandro, D., Delgado, R., and Ogg, V. (2011). Sistemas digitais. Slides de monitoria da disciplina de Sistemas Digitais, Centro de Informática (CIn), Universidade Federal de Pernambuco (UFPE). Aulas sobre Álgebra Booleana, Multiplexadores, Demultiplexadores e Circuitos Aritméticos.

Bertini, L. (2017). Circuitos digitais. Notas de aula da disciplina RCM 00011 – Circuitos Digitais, Universidade Federal Fluminense (UFF). Capítulos 1–8.

Cambuim, L. ([s.d.]). Aula 2: Conversão de bases e aritmética computacional. Notas de aula da disciplina Arquitetura e Organização de Computadores. Centro de Informática (CIn), Universidade Federal de Pernambuco (UFPE). Aula 02. Acesso em: jun. 2026.

Chen, J., Xiao, S., Zhang, P., Luo, K., Lian, D., and Liu, Z. (2024). M3-embedding: Multi-linguality, multi-functionality, multi-granularity text embeddings through self-knowledge distillation. In Findings of the Association for Computational Linguistics: ACL 2024, pages 2318–2335, Bangkok, Thailand. Association for Computational Linguistics.

Cormack, G. V., Clarke, C. L. A., and Büttcher, S. (2009). Reciprocal rank fusion outperforms condorcet and individual rank learning methods. In Proceedings of the 32nd International ACM SIGIR Conference on Research and Development in Information Retrieval, pages 758–759. ACM.

Es, S., James, J., Espinosa-Anke, L., and Schockaert, S. (2024). RAGAS: Automated evaluation of retrieval augmented generation. In Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics (EACL) - System Demonstrations, pages 150–158.

Floyd, T. L. (2007). Sistemas Digitais: Fundamentos e Aplicações. Bookman, Porto Alegre, 9 edition.

Friedman, M. (1937). The use of ranks to avoid the assumption of normality implicit in the analysis of variance. Journal of the American Statistical Association, 32(200):675–701.

Furtado, D. A. ([s.d.]). Sistemas digitais: Módulos 9 e 10. Apresentação de slides da disciplina Sistemas Digitais. Graduação em Sistemas de Informação, Faculdade de Computação, Universidade Federal de Uberlândia (UFU). Módulo 9: Multiplexadores e Demultiplexadores; Módulo 10: Circuitos Sequenciais: Latches e Flip-Flops. Acesso em: jun. 2026.

Gao, Y., Xiong, Y., Gao, X., Jia, K., Pan, J., Bi, Y., Dai, Y., Sun, J., Wang, M., and Wang, H. (2023). Retrieval-augmented generation for large language models: A survey. arXiv preprint arXiv:2312.10997.

Güntzel, J. L. ([s.d.]). Introdução a sistemas digitais: Álgebra booleana e circuitos lógicos. Apostila da disciplina INE 5406 - Introdução a Sistemas Digitais. Departamento de Informática e Estatística (INE), Universidade Federal de Santa Catarina (UFSC). Álgebra Booleana e Circuitos Lógicos. Acesso em: jun. 2026.

Hexsel, R. A. ([s.d.]). Capítulo 8: Circuitos sequenciais síncronos. Notas de aula da disciplina CI 068 - Circuitos Digitais. Departamento de Informática, Universidade Federal do Paraná (UFPR). Capítulo 8. Acesso em: jun. 2026.

Higuti, R. T. ([s.d.]). ELE 1065 - circuitos digitais I: Lógica booleana. Notas de aula da disciplina ELE 1065 Circuitos Digitais I.Departamento de Engenharia Elétrica, Faculdade de Engenharia de Ilha Solteira (FEIS),Universidade Estadual Paulista “Júlio de Mesquita Filho” (UNESP). Lógica Booleana. Acesso em: jun. 2026.

Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., Ishii, E., Bang, Y., Madotto, A., and Fung, P. (2023). Survey of hallucination in natural language generation. ACM Computing Surveys, 55(12):1–38.

Karpukhin, V., Oguz, B., Min, S., Lewis, P., Wu, L., Edunov, S., Chen, D., and Yih, W.-t. (2020). Dense passage retrieval for open-domain question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 6769–6781, Online. Association for Computational Linguistics.

Kerschbaumer, R. (2023). Sistemas digitais. Apostila didática. Instituto Federal Catarinense (IFC) - Campus Luzerna.

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., tau Yih, W., Rocktäschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. In Advances in Neural Information Processing Systems (NeurIPS), volume 33, pages 9459–9474.

Lian, Y. (2025). Machine assistant with reliable knowledge: Enhancing student learning via rag-based retrieval. arXiv preprint arXiv:2506.23026.

Liu, Z., Agrawal, P., Singhal, S., Madaan, V., Kumar, M., and Verma, P. K. (2025). LPI-Tutor: An LLM-based personalized intelligent tutoring system using RAG and prompt engineering. PeerJ Computer Science, 11:e2991.

Lobo, V. (2005). Circuitos sequenciais síncronos. Folhas de estudo da disciplina Hardware e Software. Departamento de Armas e Electrónica, Escola Naval de Portugal / NOVA IMS - Universidade Nova de Lisboa.

Lu, J. and Li, J. (2025). A novel framework for educational q&a: Leveraging rag and code interpreters for knowledge retrieval and logical computation. PloS one, 20(12):e0337361.

Modran, H., Bogdan, I. C., Ursuţiu, D., Samoila, C., and Modran, P. L. (2024). LLM intelligent agent tutoring in higher education courses using a RAG approach. Preprints.

Robertson, S. and Zaragoza, H. (2009). The probabilistic relevance framework: Bm25 and beyond. Foundations and Trends® in Information Retrieval, 4(1-2):1–174.

Tocci, R. J. and Widmer, N. S. (2003). Sistemas Digitais: Princípios e Aplicações. Prentice Hall, São Paulo, 8 edition.