Analisando o Fine-Tuning para Transferência de Conhecimento entre Línguas: um estudo para a Língua Portuguesa - Hughes, Yuri; Souza, Marlo (Anais do Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL); 2025: Anais do XVI Simpósio Brasileiro de Tecnologia da Informação e da Linguagem HumanaDO - 10.5753/stil.2025.37873, 2025)
Grandes Modelos de Linguagem (LLMs) desempenham um papel central no cenário moderno de PLN, devido aos seus consistentes bons resultados em muitas tarefas na literatura. No entanto, o treinamento desses modelos envolve altos custos associados. Devido à escassez de dados necessários para tarefas em idiomas com poucos recursos, a literatura tem proposto o uso de tecnologia multiĺıngue combinada com técnicas de transferência de conhecimento entre ĺınguas. Esta pesquisa explora o fine-tuning de modelos para transferência de conhecimento entre ĺınguas para o português, em diversas tarefas, avaliando os trade-offs entre quantidade de dados, recursos computacionais, tempo de treinamento e desempenho do modelo.