Geração Automática de Perguntas em Português do Brasil Usando os Modelos PTT5 e FLAN-T5 - braga, Tiago Felipe V.; Coutinho, Bruno Cardoso; de Oliveira, Hilário Tomaz Alves (Anais do Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL); 2024: Anais do XV Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana, 2024)
Este artigo apresenta uma análise comparativa dos modelos neurais pré-treinados do PTT5 e FLAN-T5 para a geração automática de perguntas em português do Brasil. Para isso, foram utilizados dois conjuntos de dados, PIRA e FairyTaleQA, para avaliar a capacidade desses modelos de gerar perguntas a partir de dois cenários: (i) considerando apenas o contexto e (ii) usando o contexto e a resposta esperada. As medidas do ROUGE-L e do BERTScore foram usadas para avaliar as perguntas geradas, além de uma análise baseada no GPT-4o. Os resultados demonstram que o modelo PTT5 Large apresentou consistentemente desempenho superior aos demais modelos, gerando 93,06% de perguntas válidas no PIRA e 82,32% no FairyTaleQA na avaliação baseada no GPT-4o.