Avaliação de Aplicações de Geração Aumentada de Recuperação por meio de Feedback Implícito - Albuquerque, Alessandro Marinho de; Wensing, Igor May; Joppi Filho, Nelson Luiz; Dorneles, Carina (Anais Estendidos do Simpósio Brasileiro de Banco de Dados (SBBD); 2024: Anais Estendidos do XXXIX Simpósio Brasileiro de Bancos de DadosDO - 10.5753/sbbd_estendido.2024.243903, 2024)
Em um cenário de evolução dos últimos anos dos modelos grandes de linguagem, com o surgimento de um nicho de mercado específico, aplicações corporativas começaram a surgir e se tornar estratégicas. Contudo, em cenários corporativos, a necessidade de avaliar os resultados dessas aplicações se torna crítica. Como saber se um modelo é melhor que outro? Como saber se o prompt ou a pergunta pode ser melhorado? Como realizar o diagnóstico de erros? Este artigo aborda uma nova proposta de feedback implícito em arquiteturas de Geração Aumentada de Recuperação (RAG). Os resultados demonstram potencial da proposta aplicado no VigIA, uma aplicação RAG que detecta irregularidades em documentos públicos.