Um Estudo Sobre Métricas de Avaliação para Sumarização de Acórdãos - Feltrin, Gustavo Rufino; Vianna, Daniela; da Silva, Altigran (Anais do Simpósio Brasileiro de Banco de Dados (SBBD); 2023: Anais do XXXVIII Simpósio Brasileiro de Bancos de Dados, 2023)
Várias métricas de avaliação para geração de texto foram propostas nos últimos anos. No entanto, muitas questões surgiram sobre o quão bem elas podem avaliar a acurácia e a qualidade do texto gerado. Neste trabalho, estudamos como algumas das métricas de geração de texto mais populares se comportam ao lidar com a tarefa de sumarização de texto no domínio jurídico em Português. Mais especificamente, avaliamos cinco métricas -- ROUGE, BERTScore, BARTScore, BLEURT e MoverScore --, usando um dataset contendo 892 acórdãos do Superior Tribunal de Justiça. Cada item do dataset é composto por um acórdão, que é o documento jurídico original, e uma ementa, que corresponde a um resumo manualmente gerado do documento jurídico original. Nosso estudo revelou que, para o domínio jurídico brasileiro, nenhuma das métricas avaliadas foi capaz de mensurar totalmente a qualidade dos resumos gerados manualmente quando comparados com seus documentos originais, e que, dentre as métricas avaliadas, ROUGE e BERTScore apresentaram os resultados mais promissores.