Integração de Conhecimento Linguístico Estruturado em LLMs para a Tarefa de Sumarização Extrativa

• Carlos Vitor Cardoso da Silva UFPA
• Paula Christina Figueira Cardoso UFPA

DOI: https://doi.org/10.5753/stil.2026.29816

Resumo

Este trabalho investiga a integração da Rhetorical Structure Theory (RST) em LLMs (Gemma 3, Llama 3.2, Ministral) para sumarização extrativa. Avaliamos doze configurações (zero/one-shot, formatos plain/RST) contra o baseline de Ono et al. e sumários humanos do corpus CSTNews. O baseline de Ono manteve-se competitivo (ROUGE-L = 0,428), não sendo superado pela melhor configuração LLM (Ministral/zero-shot/RST, ROUGE-L = 0,422). O formato RST produziu efeitos divergentes e dependentes do modelo nas métricas ROUGE e BERTScore, com impacto variável na qualidade da extração.

Referências

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., et al. (2020). Language models are few-shot learners. Advances in neural information processing systems, 33:1877–1901.

Cardoso, P. C., Maziero, E. G., Jorge, M. L. C., Seno, E. M., Di Felippo, A., Rino, L. H. M., Nunes, M. G. V., and Pardo, T. A. (2011). CSTnews-a discourse-annotated corpus for single and multi-document summarization of news texts in brazilian portuguese. In Proceedings of the 3rd RST Brazilian Meeting, pages 88–105. sn.

Cardoso, P. C. F. et al. (2014). Exploração de métodos de sumarização automática multi-documento com base em conhecimento semântico-discursivo. São Carlos, SP.

de Camargo, H. A., Paiola, P. H., Garcia, G. L., and Papa, J. P. (2025). Abstractive Summarization with LLMs for texts in brazilian portuguese. Journal of the Brazilian Computer Society, 31(1):1030–1048.

Lin, C.-Y. (2004). Rouge: A package for automatic evaluation of summaries. In Text summarization branches out, pages 74–81.

Mann, W. C. and Thompson, S. A. (1987). Rhetorical Structure Theory: A theory of text organization. Technical report, University of Southern California, Information Sciences Institute Los Angeles.

Martins, C. B., Pardo, T. A. S., Espina, A. P., and Rino, L. H. M. (2001). Introdução à sumarização automática. Relatório Técnico RT-DC, 2(1):35.

Nenkova, A. and McKeown, K. (2012). A survey of text summarization techniques. In Mining text data, pages 43–76. Springer.

Ono, K., Sumita, K., and Miike, S. (1994). Abstract generation based on rhetorical structure extraction. In COLING 1994 Volume 1: The 15th International Conference on Computational Linguistics.

Sarmento, M. A. and de Oliveira, H. T. (2024). Sumarização automática de artigos de notícias em português: Da extração à abstração com abordagens clássicas e modelos de neurais. In Proceedings of the 15th Brazilian Symposium in Information and Human Language Technology, pages 105–114.

Taboada, M. and Mann, W. C. (2006). Applications of Rhetorical Structure Theory. Discourse studies, 8(4):567–588.

Uzêda, V. R., Pardo, T. A. S., and Nunes, M. D. G. V. (2010). A comprehensive comparative evaluation of RST-based summarization methods. ACM Transactions on Speech and Language Processing (TSLP), 6(4):1–20.

Zhang, H., Yu, P. S., and Zhang, J. (2025). A systematic survey of text summarization: From statistical methods to large language models. ACM Computing Surveys, 57(11):1–41.

Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., and Artzi, Y. (2019). Bertscore: Evaluating text generation with bert. arXiv preprint arXiv:1904.09675.