Tucano em Question Answering: Exploração das capacidades do modelo no dataset FairytaleQA

• Allan D. Ehlert UFPel
• Larissa A. de Freitas UFPel
• Ulisses B. Corrêa UFPel

DOI: https://doi.org/10.5753/eramiars.2025.16756

Resumo

Modelos de Lingugaem de Grande Escala (LLMs) têm demonstrado capacidades notáveis em diversas tarefas de Processamento de Lingugaem Natural (PLN), incluindo a Geração Automática de Respostas (QA). Para ajudar a reduzir a lacuna entre idiomas de alto e baixo recurso, foi desenvolvida a série Tucano, composta por modelos decoder-transformers treinados em português. Este estudo avalia o desempenho desses modelos no dataset FairytaleQA-Translated e compara os resultados com datasets previamente testados. Nossos achados destacam o potencial de modelos menores e mais eficientes para QA em português e contribuem para o avanço da pesquisa em idiomas de baixo recurso.

Referências

Chang, Y., Wang, X., Wang, J., Wu, Y., Yang, L., Zhu, K., Chen, H., Yi, X., Wang, C., Wang, Y., Ye, W., Zhang, Y., Chang, Y., Yu, P. S., Yang, Q., and Xie, X. (2023). A survey on evaluation of large language models.

Corrêa, N. K., Sen, A., Falk, S., and Fatimah, S. (2025). Tucano: Advancing neural text generation for portuguese. Patterns, page 101325.

da Rocha Junqueira, J., Freitas, L., and Corrêa, U. B. (2024). Transformer models for brazilian portuguese question generation: An experimental study. The International FLAIRS Conference Proceedings, 37.

Da Rocha Junqueira, J., Lopes, P., Da S. M., C. L., Silva, F. L. V., Carvalho, E. A., Freitas, L., and Brisolara, U. (2024). Sabiá in action: An investigation of its abilities in aspect-based sentiment analysis, hate speech detection, irony detection, and question-answering. In 2024 International Joint Conference on Neural Networks (IJCNN), pages 1–8.

Leite, B., Osório, T. F., and Cardoso, H. L. (2024). Fairytaleqa translated: Enabling educational question and answer generation in less-resourced languages.

Overwijk, A., Xiong, C., Liu, X., VandenBerg, C., and Callan, J. (2022). Clueweb22: 10 billion web documents with visual and semantic information.

Pires, R., Abonizio, H., Almeida, T. S., and Nogueira, R. (2023). [inline-graphic not available: see fulltext] sabiá: Portuguese large language models. In Intelligent Systems: 12th Brazilian Conference, BRACIS 2023, Belo Horizonte, Brazil, September 25–29, 2023, Proceedings, Part III, page 226–240, Berlin, Heidelberg. Springer-Verlag.

Rajpurkar, P., Zhang, J., Lopyrev, K., and Liang, P. (2016). Squad: 100,000+ questions for machine comprehension of text.

Rodrigues, J., Gomes, L., Silva, J., Branco, A., Santos, R., Cardoso, H. L., and Osório, T. (2023). Advancing Neural Encoding of Portuguese with Transformer Albertina PT-*, page 441–453. Springer Nature Switzerland.

Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., and Fedus, W. (2022). Emergent abilities of large language models.