Comparação de Modelos de Embeddings e LLMs para Geração Aumentada por Recuperação em Português - Medeiros, Luiz Sabiano Ferreira; Oliveira, Hilário Tomaz Alves de (Anais do Seminário Integrado de Software e Hardware (SEMISH); 2025: Anais do LII Seminário Integrado de Software e Hardware, 2025)
Os modelos de linguagem de larga escala (LLMs) representam um avanço para a área de processamento de linguagem natural, impulsionando o desempenho em tarefas como geração de texto e resposta a perguntas. No entanto, eles enfrentam desafios como alucinações e falta de acesso a informações atualizadas. A técnica de geração aumentada por recuperação (RAG) busca mitigar esses problemas ao integrar recuperação de informações externas à geração de texto, melhorando a precisão e a atualidade das respostas. Este trabalho realizou uma investigação de diversos modelos embeddings e LLMs de código aberto e proprietários aplicados à técnica RAG considerando três bases de dados contendo documentos escritos em português do Brasil. Os resultados experimentais demonstraram que os modelos Multilingual E5 large e Gemma 2 9B obtiveram o melhor desempenho dentre os modelos avaliados com base em diferentes medidas de avaliação.