Além da Busca por Palavras-Chave: Um Sistema de Perguntas e Respostas para Exploração Semântica do Acervo do SBIE

  • Alexya Silva Universidade Federal de Juiz de Fora (UFJF)
  • Marcelo Machado Universidade Federal de Juiz de Fora (UFJF)

Resumo


Os anais do Simpósio Brasileiro de Informática na Educação (SBIE) constituem uma importante fonte de conhecimento científico, mas seu acesso ainda depende de buscas por palavras-chave, limitando a exploração semântica do acervo. Neste trabalho, apresentamos o sbie-qa, um sistema de perguntas e respostas baseado em Retrieval-Augmented Generation (RAG) para exploração dos anais do SBIE por meio de consultas em linguagem natural. Em uma avaliação exploratória, o sistema recuperou o artigo-ouro em 64,3% das perguntas e produziu respostas satisfatórias ou parcialmente satisfatórias para a maioria das consultas. Os resultados indicam que a abordagem complementa a busca por palavras-chave, embora ainda apresente desafios relacionados à recuperação documental e à geração de respostas.
Palavras-chave: Retrieval-Augmented Generation, Busca Semântica, Sistema de Perguntas e Respostas

Referências

Almeida, E., Feitosa, J., and Brega, J. (2024). Desenvolvimento de um jogo sério para ensino sobre os desafios de acessibilidade no contexto urbano. In Anais do XXXV Simpósio Brasileiro de Informática na Educação, pages 2673–2682, Porto Alegre, RS, Brasil. SBC.

Ammar, W., Groeneveld, D., Bhagavatula, C., Beltagy, I., Crawford, M., Downey, D., Dunkelberger, J., Elgohary, A., Feldman, S., Ha, V., et al. (2018). Construction of the literature graph in semantic scholar. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 3 (Industry Papers), pages 84–91.

Asai, A., He, J., Shao, R., Shi, W., Singh, A., Chang, J. C., Lo, K., Soldaini, L., Feldman, S., D'arcy, M., Wadden, D., Latzke, M., Tian, M., Ji, P., Hu, S., Hu, Y., Hu, Z., Dasigi, P., Goyal, N., Zettlemoyer, L., Smith, N. A., Beltagy, I., and Hajishirzi, H. (2024). OpenScholar: Synthesizing scientific literature with retrieval-augmented LMs. arXiv preprint arXiv:2411.10922.

Belkin, N. J. (1980). Anomalous states of knowledge as a basis for information retrieval. Canadian journal of information science, 5(1):133–143.

Brown, D. (2020). rank bm25: A collection of BM25 algorithms in python. [link]. Acesso em: 2026.

Chen, J., Xiao, S., Zhang, P., Luo, K., Lian, D., and Liu, Z. (2024). Bge m3-embedding: Multi-lingual, multi-functionality, multi-granularity text embeddings through self-knowledge distillation. arXiv preprint arXiv:2402.03216, 4(5).

Collins-Thompson, K., Hansen, P., and Hauff, C. (2017). Search as Learning (Dagstuhl Seminar 17092). Dagstuhl Reports, 7(2):135–162.

Fan, W., Ding, Y., Ning, L., Wang, S., Li, H., Yin, D., Chua, T.-S., and Li, Q. (2024). A survey on rag meeting llms: Towards retrieval-augmented large language models. In Proceedings of the 30th ACM SIGKDD conference on knowledge discovery and data mining, pages 6491–6501.

Gao, L., Ma, X., Lin, J., and Callan, J. (2023a). Precise zero-shot dense retrieval without relevance labels. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1762–1777.

Gao, Y., Xiong, Y., Gao, X., Jia, K., Pan, J., Bi, Y., Dai, Y., Sun, J., Guo, Q., Wang, M., and Wang, H. (2023b). Retrieval-augmented generation for large language models: A survey. arXiv preprint arXiv:2312.10997.

Gimenez, P., Machado, M., Pinelli, C., and Siqueira, S. (2020). Investigating the learning perspective of Searching as Learning, a review of the state of the art. In Anais do XXXI Simpósio Brasileiro de Informática na Educação, pages 302–311, Porto Alegre, RS, Brasil. SBC.

Gormley, C. and Tong, Z. (2015). Elasticsearch: the definitive guide: a distributed real-time search and analytics engine. "O'Reilly Media, Inc.".

Guo, J., Fan, Y., Pang, L., Yang, L., Ai, Q., Zamani, H., Wu, C., Croft, W. B., and Cheng, X. (2020). A deep look into neural ranking models for information retrieval. Information Processing & Management, 57(6):102067.

Hambarde, K. A. et al. (2023). Information retrieval: Recent advances and beyond. IEEE Access, 11:14800–14839.

Huang, L., Yu, W., Ma, W., Zhong, W., Feng, Z., Wang, H., Chen, Q., Peng, W., Feng, X., Qin, B., et al. (2025). A survey on hallucination in large language models: Principles, taxonomy, challenges, and open questions. ACM Transactions on Information Systems, 43(2):1–55.

Júnior, C. B., Dorça, F., Andrade, A., and Assis, L. (2020). Avanços na recomendação personalizada de objetos de aprendizagem através da utilização de meta-heurísticas clássicas associadas aos problemas de cobertura de conjuntos e de máxima cobertura: Uma análise experimental. In Anais do XXXI Simpósio Brasileiro de Informática na Educação, pages 1383–1392, Porto Alegre, RS, Brasil. SBC.

Júnior, C. B., Dorça, F., Assis, L., and Vivas, A. (2023). Solving the individualized instructional content delivery problem using ontology and metaheuristics on the set covering problem: An experimental analysis. In Anais do XXXIV Simpósio Brasileiro de Informática na Educação, pages 1202–1214, Porto Alegre, RS, Brasil. SBC.

Karpukhin, V., Oguz, B., Min, S., Lewis, P., Wu, L., Edunov, S., Chen, D., and Yih, W.-t. (2020). Dense passage retrieval for open-domain question answering. In Proceedings of the 2020 conference on empirical methods in natural language processing (EMNLP), pages 6769–6781.

Kiepura, A., Lam, J., Gu, N., and Hahnloser, R. (2025). Literature discovery with natural language queries. In Proceedings of the Fifth Workshop on Scholarly Document Processing (SDP 2025), pages 83–95.

Klock, A. C., Gasparini, I., Kemczinski, A., Hounsell, M., and Isotani, S. (2015). One man's trash is another man's treasure: um mapeamento sistemático sobre as características individuais na gamificação de ambientes virtuais de aprendizagem. In Anais do XXVI Simpósio Brasileiro de Informática na Educação, pages 539–548, Porto Alegre, RS, Brasil. SBC.

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., tau Yih, W., Rocktäschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. In Advances in Neural Information Processing Systems (NeurIPS), volume 33, pages 9459–9474.

Liu, N. F., Lin, K., Hewitt, J., Paranjape, A., Bevilacqua, M., Petroni, F., and Liang, P. (2024). Lost in the middle: How language models use long contexts. Transactions of the Association for Computational Linguistics, 12:157–173.

Ma, X., Gong, Y., He, P., Zhao, H., and Duan, N. (2023). Query rewriting in retrieval-augmented large language models. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 5303–5315.

Machado, M., Gimenez, P., and Siqueira, S. (2020). Raising the Dimensions and Variables for Searching as a Learning Process: A Systematic Mapping of the Literature. In Anais do XXXI Simpósio Brasileiro de Informática na Educação, pages 1393–1402, Porto Alegre, RS, Brasil. SBC.

Machado, M., Pinelli, C., and Siqueira, S. (2019). A evoluçao da área de busca como um processo de aprendizagem com base em um mapeamento sistemático. In Anais dos Workshops do Congresso Brasileiro de Informática na Educaçao, volume 8, page 833.

Machado, M., Souza, J., and Siqueira, S. (2024). Identifying Confirmation Bias in a Search as Learning Task: A Study on The Use of Artificial Intelligence in Education. In Anais do XXXV Simpósio Brasileiro de Informática na Educação, pages 1208–1221, Porto Alegre, RS, Brasil. SBC.

McCandless, M., Hatcher, E., Gospodnetić, O., and Gospodnetić, O. (2010). Lucene in action, volume 2. Manning Greenwich.

Nicholson, J. M., Mordaunt, M., Lopez, P., Uppala, A., Rosati, D., Rodrigues, N. P., Grabitz, P., and Rife, S. C. (2021). scite: A smart citation index that displays the context of citations and classifies their intent using deep learning. Quantitative science studies, 2(3):882–898.

Nogueira, R. and Cho, K. (2019). Passage re-ranking with BERT. arXiv preprint arXiv:1901.04085.

Pereira, W., Filho, G. C., and Aguiar, Y. (2019). Diretrizes para o desenvolvimento de serious games: Um mapeamento sistemático da literatura. In Anais do XXX Simpósio Brasileiro de Informática na Educação, pages 714–722, Porto Alegre, RS, Brasil. SBC.

Primo, J., Amaral, J., Carvalho, K., Horbylon, C., and Nascimento, T. (2024). Safari escolar: Uma aventura em busca dos animais com realidade aumentada. In Anais do XXXV Simpósio Brasileiro de Informática na Educação, pages 2836–2845, Porto Alegre, RS, Brasil. SBC.

Procaci, T. B., Siqueira, S. W., Pinhati, F., and Nunes, B. P. (2015). Estudo exploratório das produções e colaborações entre pesquisadores em informática na educação: uma análise de publicações do simpósio brasileiro de informática na educação de 2001 a 2013. In Simpósio Brasileiro de Informática na Educação (SBIE), pages 1323–1332. SBC.

Rahman, S. S., Islam, M. A., Alam, M. M., Zeba, M., Rahman, M. A., Chowa, S. S., Raiaan, M. A. K., and Azam, S. (2026). Hallucination to truth: a review of fact-checking and factuality evaluation in large language models. Artificial Intelligence Review.

Reimers, N. and Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 3982–3992, Hong Kong, China. Association for Computational Linguistics.

Rieh, S. Y., Collins-Thompson, K., Hansen, P., and Lee, H.-J. (2016). Towards searching as a learning process: A review of current perspectives and future directions. Journal of Information Science, 42(1):19–34.

Robertson, S. and Zaragoza, H. (2009). The probabilistic relevance framework: BM25 and beyond. Foundations and Trends in Information Retrieval, 3(4):333–389.

Schütze, H., Manning, C. D., and Raghavan, P. (2008). Introduction to information retrieval, volume 39. Cambridge University Press Cambridge.

Semaan, G. S., Corrêa, D. A., Ribas, S. G., Dembogurski, B. J., Silva, E. F., de Moura Brito, J. A., and Ochi, L. S. (2019). Um panorama geral das contribuições e das redes de colaboração do sbie. In Simpósio Brasileiro de Informática na Educação (SBIE), pages 1361–1370. SBC.

Silva, J., David, J. M., Barrére, E., and de Souza, J. (2021). Uma ontologia para auxílio em ambientes colaborativos para busca de informações. In Anais do XXXII Simpósio Brasileiro de Informática na Educação, pages 737–748, Porto Alegre, RS, Brasil. SBC.

Silva, J., Neto, A., Rosado, B., Machado, M., Souza, J., and Siqueira, S. (2025). A framework for search as learning experiments: Design, implementation, and usability insights. In Anais do XXXVI Simpósio Brasileiro de Informática na Educação, pages 305–316, Porto Alegre, RS, Brasil. SBC.

Silva, J. L. and Nunes, I. (2015). Mineração de dados educacionais como apoio para a classificação de alunos do ensino médio. In Anais do XXVI Simpósio Brasileiro de Informática na Educação, pages 1112–1121, Porto Alegre, RS, Brasil. SBC.

Souza, N. C., de Sales, A. B., and Palmeira, E. G. (2024). pysol: Uma proposta python para automação de busca na sbc openlib. Anais do Computer on the Beach, 15:283–289.

Teixeira, C., Tibau, M., and Siqueira, S. W. (2019). Google, se reordene e me ajude a aprender: Critérios de relevância para reordenar resultados de busca como um processo de aprendizagem. In Anais do XXX Simpósio Brasileiro de Informática na Educação, pages 576–585, Porto Alegre, RS, Brasil. SBC.

Urgo, K. and Arguello, J. (2025). Search as learning. Foundations and Trends® in Information Retrieval, 19(4):365–556.

Vakkari, P. (2016). Searching as learning: A systematization based on literature. Journal of Information Science, 42(1):7–18.

White, R. W. (2016). Interactions with search systems. Cambridge University Press.

Whitfield, S. and Hofmann, M. A. (2023). Elicit: Ai literature review research assistant. Public Services Quarterly, 19(3):201–207.

Zhao, W. X., Liu, J., Ren, R., and Wen, J.-R. (2024). Dense text retrieval based on pretrained language models: A survey. ACM Transactions on Information Systems, 42(4):1–60.
Publicado
05/10/2026
SILVA, Alexya; MACHADO, Marcelo. Além da Busca por Palavras-Chave: Um Sistema de Perguntas e Respostas para Exploração Semântica do Acervo do SBIE. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 37. , 2026, Goiânia/GO. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2026 . p. 2161-2176. DOI: https://doi.org/10.5753/sbie.2026.28254.