Fairness Evaluation in Large Language Models: An Analysis of Intrinsic Metrics - Sena, Lucas B.; Machado, Javam C. (Anais Estendidos do Simpósio Brasileiro de Banco de Dados (SBBD), 2025)
Grandes e médios Modelos de Linguagem (GML e MML) são fundamentais em aplicações de Processamento de Linguagem Natural (PLN), mas ainda apresentam desafios na avaliação de fairness, detecção e mitigação de vieses. Este trabalho compara métricas de avaliação de viés, como SEAT, Adapted WEAT e CEAT, em modelos como BERT e LLaMA-2, e explora a seleção automática de atributos por LLMs. Os resultados mostram que atributos gerados automaticamente potencializam a detecção de vieses e que métricas alternativas à similaridade do cosseno influenciam significativamente os resultados. O CEAT se destaca na captura de vieses interseccionais, contribuindo para o desenvolvimento de métodos mais robustos para avaliação de fairness.