Analisando o Fine-Tuning para Transferência de Conhecimento entre Línguas: um estudo para a Língua Portuguesa - Hughes, Yuri; Souza, Marlo (Anais do Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL), 2025)
Grandes Modelos de Linguagem (LLMs) desempenham um papel central no cenário moderno de PLN, devido aos seus consistentes bons resultados em muitas tarefas na literatura. No entanto, o treinamento desses modelos envolve altos custos associados. Devido à escassez de dados necessários para tarefas em idiomas com poucos recursos, a literatura tem proposto o uso de tecnologia multiĺıngue combinada com técnicas de transferência de conhecimento entre ĺınguas. Esta pesquisa explora o fine-tuning de modelos para transferência de conhecimento entre ĺınguas para o português, em diversas tarefas, avaliando os trade-offs entre quantidade de dados, recursos computacionais, tempo de treinamento e desempenho do modelo.