Avaliação Automatizada de Coerência e Coesão Textual com Modelos Transformers
Resumo
Este estudo investiga o uso de Inteligência Artificial para avaliar automaticamente a coerência (Competência 3) e coesão (Competência 4) em redações dissertativo-argumentativas. Utilizando o Essay-BR Corpus (textos padrão ENEM), aplicou-se fine-tuning no modelo Transformer BERTimbau para prever as notas destas competências de forma isolada. A concordância com avaliadores humanos, aferida pelo Kappa Quadrático Ponderado (QWK), revelou resultados competitivos, destacando-se a avaliação da coesão (QWK=0,7856). Essa análise sugere o potencial prático do modelo como ferramenta de apoio à atividade de correção de textos, visando auxiliar o trabalho docente e oferecendo reflexões para o avanço do Processamento de Linguagem Natural aplicado à Informática na Educação brasileira.
Palavras-chave:
Processamento de Linguagem Natural, Correção Automática, Transformers, Coerência e Coesão, Informática na Educação
Referências
BARZILAY, R. and LAPATA, M. (2005). Modeling local coherence: An entity-based approach. In Proceedings of the 43rd Annual Meetin of the Association for Computational Linguistics (ACL'05), pages 141–148, AnnArbor, Michigan. Association for Computational Linguistics.
BURSTEIN, J., CHODOROW, M., and LEACOCK, C. (2010). Automated essay scoring: A review of the research and a look to the future. Technical report, Educational Testing Service (ETS) Research Report.
CHUNG, G. Y., ELLIS, G., HUTCHINSON, B., and WHITELAW, C. (2009). Using the web for language independent spellchecking and autocorrection. In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pages 890–899, Singapura.
Conceição, R. I. S. (2004). Correção de texto: um desafio para o professor de português. Trabalhos em Linguística Aplicada, 43(2):323–344.
ELSNER, M. and CHARNIAK, E. (2011). Extending the entity grid with entity-specific features. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pages 125–129, Portland, Oregon, USA. Association for Computational Linguistics.
FREIRE, P. (1979). Educação e Mudança. Editora Paz e Terra, Rio de Janeiro, 12 edition.
Gao, Y. and Wang, X. (2024). Automated essay scoring with large language models: A systematic review. Educational Technology & Society, 27(2).
INEP (2020). A redação no Enem 2020: cartilha do participante. Brasil. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Brasília, DF.
LAI, A. and TETREAULT, J. (2018). Discourse coherence in the wild: A dataset, evaluation and methods. In Proceedings of the 19th Annual SIGdial Meeting on Discourse and Dialogue, pages 214–223, Melbourne, Australia. Association for Computational Linguistics.
LAPATA, M. (2003). Probabilistic text structuring: Experiments with sentence ordering. In Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, pages 545–552, Sapporo, Japan. Association for Computational Linguistics.
Li, J. and Jurafsky, D. (2017). Neural net models of open-domain discourse coherence. In Palmer, M., Hwa, R., and Riedel, S., editors, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 198–209, Copenhagen, Denmark. Association for Computational Linguistics.
LIN, Z., NG, H. T., and KAN, M.-Y. (2011). Automatically evaluating text coherence using discourse relations. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pages 997–1006, Portland, Oregon, USA. Association for Computational Linguistics.
LINSINGEN, I. V. (2017). Perspectiva educacional cts: aspectos de um campo em consolidação na américa latina. Ciência e Ensino, 1(especial).
Marcuschi, L. A. (2008). Produção textual, análise de gêneros e compreensão. Parábola Editorial, São Paulo.
Marinho, J., Anchiêta, R., and Moura, R. (2022). Essay-br: a brazilian corpus to automatic essay scoring task. Journal of Information and Data Management.
MELLO, R. F., WENCESLAU, M., CORDEIRO, T., ISOTANI, S., and BITTENCOURT, I. I. (2023). Automated thematic coherence scoring of student essays written in portuguese. In Anais do Simpósio Brasileiro de Informática na Educação (SBIE), page 26737.
MENEGASSI, R. J. and GASPAROTTO, D. M. (2016). Revisão textual-interativa: aspectos metodológicos. Revista Domínios da Linguagem, 10(3).
NAU, J., FILHO, A. H., PASSERO, G., and CAVACO, V. (2017). Uma ferramenta para identificar desvios de linguagem na língua portuguesa. In Anais do 11º Simpósio Brasileiro de Tecnologia da Informação e Linguagem Humana, pages 12–16, Uberlândia. Sociedade Brasileira de Computação.
Pinho, C. M. d. A., Gaspar, M. A., and Sassi, R. J. (2022). Aplicação de técnicas de inteligência artificial para classificação de fuga ao tema em redações. SciELO Preprints. Postado em 25 abr. 2022.
RODRIGUES, C., BRITO, D. M., ALMEIDA, P. E. G., XAVIER, P., and CUSTÓDIO, P. (2020). Importância da avaliação textual-interativa na escrita de graduandos que cursaram a disciplinas on-line "oficina de língua portuguesa: leitura e produções de texto. Miguilim, 9(3).
RODRIGUES, G. H. P. (2023). Desenvolvimento de um corretor automático e interface web para avaliação de redações do enem com redes neurais profundas. Monografia de Graduação.
RUIZ, E. D. (2010). Como corrigir redações na escola: uma proposta textual-interativa. Contexto, São Paulo.
SERAFINI, M. T. (1989). Como escrever textos. Globo, São Paulo. Trad. Maria Augusta Bastos de Mattos.
Shermis, M. D. (2014). State-of-the-art automated essay scoring: Competition, results, and future directions from a united states demonstration. Assessing Writing, 20:53–76.
SILVA, M. C. S., GONÇALVES, M. B., RÊGO, S. B., and DINIZ, M. I. (2013). O trabalho docente no processo de correção textual. In Anais. V Forum Nacional de Pedagogia, Vitória da Conquista – BA.
SOMASUNDARAN, S., BURSTEIN, J., and CHODOROW, M. (2014). Lexical chaining for measuring discourse coherence quality in test-taker essays. In Proceedings of COLING 2014, 25th International Conference on Computational Linguistics, Dublin, Ireland.
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). Attention is all you need. In NIPS 2017: Proceedings of the 31st International Conference on Neural Information Processing Systems, pages 5998–6008, Long Beach, CA, USA.
BURSTEIN, J., CHODOROW, M., and LEACOCK, C. (2010). Automated essay scoring: A review of the research and a look to the future. Technical report, Educational Testing Service (ETS) Research Report.
CHUNG, G. Y., ELLIS, G., HUTCHINSON, B., and WHITELAW, C. (2009). Using the web for language independent spellchecking and autocorrection. In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pages 890–899, Singapura.
Conceição, R. I. S. (2004). Correção de texto: um desafio para o professor de português. Trabalhos em Linguística Aplicada, 43(2):323–344.
ELSNER, M. and CHARNIAK, E. (2011). Extending the entity grid with entity-specific features. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pages 125–129, Portland, Oregon, USA. Association for Computational Linguistics.
FREIRE, P. (1979). Educação e Mudança. Editora Paz e Terra, Rio de Janeiro, 12 edition.
Gao, Y. and Wang, X. (2024). Automated essay scoring with large language models: A systematic review. Educational Technology & Society, 27(2).
INEP (2020). A redação no Enem 2020: cartilha do participante. Brasil. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Brasília, DF.
LAI, A. and TETREAULT, J. (2018). Discourse coherence in the wild: A dataset, evaluation and methods. In Proceedings of the 19th Annual SIGdial Meeting on Discourse and Dialogue, pages 214–223, Melbourne, Australia. Association for Computational Linguistics.
LAPATA, M. (2003). Probabilistic text structuring: Experiments with sentence ordering. In Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, pages 545–552, Sapporo, Japan. Association for Computational Linguistics.
Li, J. and Jurafsky, D. (2017). Neural net models of open-domain discourse coherence. In Palmer, M., Hwa, R., and Riedel, S., editors, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 198–209, Copenhagen, Denmark. Association for Computational Linguistics.
LIN, Z., NG, H. T., and KAN, M.-Y. (2011). Automatically evaluating text coherence using discourse relations. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pages 997–1006, Portland, Oregon, USA. Association for Computational Linguistics.
LINSINGEN, I. V. (2017). Perspectiva educacional cts: aspectos de um campo em consolidação na américa latina. Ciência e Ensino, 1(especial).
Marcuschi, L. A. (2008). Produção textual, análise de gêneros e compreensão. Parábola Editorial, São Paulo.
Marinho, J., Anchiêta, R., and Moura, R. (2022). Essay-br: a brazilian corpus to automatic essay scoring task. Journal of Information and Data Management.
MELLO, R. F., WENCESLAU, M., CORDEIRO, T., ISOTANI, S., and BITTENCOURT, I. I. (2023). Automated thematic coherence scoring of student essays written in portuguese. In Anais do Simpósio Brasileiro de Informática na Educação (SBIE), page 26737.
MENEGASSI, R. J. and GASPAROTTO, D. M. (2016). Revisão textual-interativa: aspectos metodológicos. Revista Domínios da Linguagem, 10(3).
NAU, J., FILHO, A. H., PASSERO, G., and CAVACO, V. (2017). Uma ferramenta para identificar desvios de linguagem na língua portuguesa. In Anais do 11º Simpósio Brasileiro de Tecnologia da Informação e Linguagem Humana, pages 12–16, Uberlândia. Sociedade Brasileira de Computação.
Pinho, C. M. d. A., Gaspar, M. A., and Sassi, R. J. (2022). Aplicação de técnicas de inteligência artificial para classificação de fuga ao tema em redações. SciELO Preprints. Postado em 25 abr. 2022.
RODRIGUES, C., BRITO, D. M., ALMEIDA, P. E. G., XAVIER, P., and CUSTÓDIO, P. (2020). Importância da avaliação textual-interativa na escrita de graduandos que cursaram a disciplinas on-line "oficina de língua portuguesa: leitura e produções de texto. Miguilim, 9(3).
RODRIGUES, G. H. P. (2023). Desenvolvimento de um corretor automático e interface web para avaliação de redações do enem com redes neurais profundas. Monografia de Graduação.
RUIZ, E. D. (2010). Como corrigir redações na escola: uma proposta textual-interativa. Contexto, São Paulo.
SERAFINI, M. T. (1989). Como escrever textos. Globo, São Paulo. Trad. Maria Augusta Bastos de Mattos.
Shermis, M. D. (2014). State-of-the-art automated essay scoring: Competition, results, and future directions from a united states demonstration. Assessing Writing, 20:53–76.
SILVA, M. C. S., GONÇALVES, M. B., RÊGO, S. B., and DINIZ, M. I. (2013). O trabalho docente no processo de correção textual. In Anais. V Forum Nacional de Pedagogia, Vitória da Conquista – BA.
SOMASUNDARAN, S., BURSTEIN, J., and CHODOROW, M. (2014). Lexical chaining for measuring discourse coherence quality in test-taker essays. In Proceedings of COLING 2014, 25th International Conference on Computational Linguistics, Dublin, Ireland.
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). Attention is all you need. In NIPS 2017: Proceedings of the 31st International Conference on Neural Information Processing Systems, pages 5998–6008, Long Beach, CA, USA.
Publicado
05/10/2026
Como Citar
LUNA, Ryan Camargo; TEIXEIRA, Lovania Roehrig; NEVES, Caroline Vieira; FÁVERO, Eliane de Bortoli; CASANOVA, Dalcimar.
Avaliação Automatizada de Coerência e Coesão Textual com Modelos Transformers. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 37. , 2026, Goiânia/GO.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2026
.
p. 145-159.
DOI: https://doi.org/10.5753/sbie.2026.26790.
