Relato de Experiência: Arquitetura de Testes e Validação Semântica para um Sistema RAG no Setor Público
Resumo
Contexto: Sistemas RAG introduzem não-determinismo que invalida oráculos de igualdade tradicionais. Método: Este relato descreve a arquitetura de testes de um assistente RAG para saneamento básico, combinando Playwright, IAM (Identity and Access Management) e validação semântica por cosseno (limiar 0,85) com guardrails determinísticos. Resultados: Em 3 meses de CI, 53 casos de teste atingiram 96,22% de aprovação, detectando 2 regressões reais após atualizações regulatórias. Conclusão: A arquitetura demonstra que oráculos híbridos (similaridade + conformidade) são viáveis para RAG em ambientes regulatórios, embora a manutenção do golden dataset exija versionamento paralelo à base de conhecimento.
Palavras-chave:
Testes Automatizados, Qualidade de Software, Sistemas RAG, Oráculos Semânticos, Integração Contínua
Referências
Gilbert Adu. 2024. Artificial Intelligence in Software Testing: Test scenario and case generation with an AI model (gpt-3.5-turbo) using Prompt engineering, Finetuning and Retrieval augmented generation techniques. Master’s thesis. Itä-Suomen yliopisto.
Gauthier Guinet, Behrooz Omidvar-Tehrani, Anoop Deoras, and Laurent Callot. 2024. Automated evaluation of retrieval-augmented language models with taskspecific exam generation. arXiv abs/2405.13622 (2024), 1–20.
Ziran Min and Christof J Budnik. 2025. Verification and validation of llm-rag for industrial automation. In 2025 IEEE International Conference on Artificial Intelligence Testing (AITest). IEEE, IEEE, 50–53.
Sooraj Ramachandran. 2025. Evaluating AI Responses: A Step-by-Step Approach for Test Automation. The Eastasouth Journal of Information System and Computer Science 2, 03 (2025), 381–390.
Jon Saad-Falcon, Omar Khattab, Christopher Potts, and Matei Zaharia. 2024. Ares: An automated evaluation framework for retrieval-augmented generation systems. In Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers). Association for Computational Linguistics, Online, 338–354.
Yang Wang, Alberto Garcia Hernandez, Roman Kyslyi, and Nicholas Kersting. 2024. Evaluating quality of answers for retrieval-augmented generation: A strong llm is all you need. arXiv abs/2406.18064 (2024), 1–20.
Gauthier Guinet, Behrooz Omidvar-Tehrani, Anoop Deoras, and Laurent Callot. 2024. Automated evaluation of retrieval-augmented language models with taskspecific exam generation. arXiv abs/2405.13622 (2024), 1–20.
Ziran Min and Christof J Budnik. 2025. Verification and validation of llm-rag for industrial automation. In 2025 IEEE International Conference on Artificial Intelligence Testing (AITest). IEEE, IEEE, 50–53.
Sooraj Ramachandran. 2025. Evaluating AI Responses: A Step-by-Step Approach for Test Automation. The Eastasouth Journal of Information System and Computer Science 2, 03 (2025), 381–390.
Jon Saad-Falcon, Omar Khattab, Christopher Potts, and Matei Zaharia. 2024. Ares: An automated evaluation framework for retrieval-augmented generation systems. In Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers). Association for Computational Linguistics, Online, 338–354.
Yang Wang, Alberto Garcia Hernandez, Roman Kyslyi, and Nicholas Kersting. 2024. Evaluating quality of answers for retrieval-augmented generation: A strong llm is all you need. arXiv abs/2406.18064 (2024), 1–20.
Publicado
08/09/2026
Como Citar
OLIVEIRA, Icaro S. de; OLIVEIRA, Felipe F. Rodrigues de; SANTOS, Ismayle S..
Relato de Experiência: Arquitetura de Testes e Validação Semântica para um Sistema RAG no Setor Público. In: SIMPÓSIO BRASILEIRO DE TESTES DE SOFTWARE SISTEMÁTICO E AUTOMATIZADO (SAST), 11. , 2026, São Paulo/SP.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2026
.
p. 268-270.
DOI: https://doi.org/10.5753/sast.2026.26881.
