Portuguese Fake News Classification with BERT models - Pires, Vinícius Baião; Guerreiro e Silva, Daniel (Anais do Encontro Nacional de Inteligência Artificial e Computacional (ENIAC), 2024)
O fenômeno das notícias falsas é motivo notório de preocupação, devido aos potenciais malefícios que estas causam na vida em sociedade. A classificação automática de notícias falsas (fake news) é um problema que vem sendo abordado no contexto do aprendizado de máquina há certo tempo, mas, mesmo assim, ainda não há tantos trabalhos a respeito realizados na língua portuguesa. Em paralelo, desenvolveu-se a partir dos anos 2020 o emprego de modelos Transformer com dados textuais e, neste contexto, há o modelo BERT (Bidirectional Encoders Representations for Transformers) e a sua variante que foi especificamente pré-treinada para tarefas em língua portuguesa: o BERTimbau. Este trabalho, daí, propõe treinar os dois modelos supracitados, juntos à variante multilingual do BERT, mBERT, na tarefa de classificação de notícias falsas, a partir de diversos conjuntos de dados propostos na literatura, com o objetivo de verificar os potenciais ganhos do emprego de um modelo de linguagem especificamente treinado para o Português. Os resultados obtidos indicam uma superioridade do BERTimbau sobre o BERT e sobre o mBERT na referida tarefa, com uma melhoria média de 2,37% e 1,07%, respectivamente, para os valores de F1-score.