Fine-tuned model evaluation on Transformer Fragments for Identifying Idiomatic Expressions in Portuguese - Oliveira, Ricardo Gomes de; Santos, Laila Pereira Mota; Sousa, Lílian Teixeira de; Santos, Marcos Adriano Pereira dos; Claro, Daniela Barreiro; Araújo, Rerisson Cavalcante de (Anais do Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL), 2025)
O presente trabalho aborda o desafio da identificação de Expressões Idiomáticas (EIs) em língua portuguesa, um problema cujo principal desafio está na não composicionalidade semântica e ambiguidade dessas estruturas. A escassez de dados anotados e limitações dos modelos em capturar a idiomaticidade motivaram a construção de um corpus anotado e a proposta de um método que se baseia no uso de fragmentos de Transformer para identificação das EIs em sentenças. O método utiliza pesos de atenção do modelo BERTimbau, focando em uma cabeça específica sensível a relações sintáticas relevantes em EIs e integra heurísticas linguísticas para penalizar usos literais. Os resultados demonstram alta precisão do método (1.0) sem falsos positivos, e uma revocação de 66,7%, resultado em uma pontuação de F1 de 0.8. Além disso o trabalho compara os resultados com métodos já utilizados na literatura de outros modelos de arquitetura BERT ajustados.