CLaRiCe: A neural approach to automatic correction of essays

• João Tavares Federal University of Alagoas
• Luiz Rodrigues Federal University of Alagoas https://orcid.org/0000-0003-0343-3701
• Diego Dermeval Federal University of Alagoas / Harvard University https://orcid.org/0000-0002-8415-6955

DOI: https://doi.org/10.5753/sbie.2024.242576

Abstract

Writing is an important skill that we acquire when starting our studies, being used on several occasions for acquisition, representation, evaluation of knowledge, as carried out in evaluation media such as ENEM, and entertainment as in the literary environment. Several previous works explored the automatic correction of essay-argumentative texts, but did not carry out an in-depth analysis and comparison of the use of neural models. Carrying out experiments with the Extended Essay-BR database demonstrated that convolutional models excel in the regression task, reaching an Mean Absolute Error that varies from 15.24 to 21.48 among the five skills, providing a model capable of performing a good simultaneous correction of 5 skills.

Keywords: Automatic Essay Grading, Natural Language Processing, BERT, ENEM

References

Akiba, T., Sano, S., Yanase, T., Ohta, T., and Koyama, M. (2019). Optuna: A next-generation hyperparameter optimization framework. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.

Barbosa, A., and Campelo, C. (2020). Processamento de linguagem natural em artefatos textuais educacionais: Um mapeamento sistemático no contexto brasileiro. Anais do XXXI Simpósio Brasileiro de Informática na Educação, 1433–1442. Porto Alegre, RS, Brasil: SBC.

Barbosa, G., Batista, H., Miranda, P., Santos, J., Isotani, S., Cordeiro, T., Bittencourt, I. I., and Mello, R. F. (2022). Aprendizagem de máquina para classificação de tipos textuais: Estudo de caso em textos escritos em português brasileiro. Anais do XXXIII Simpósio Brasileiro de Informática na Educação, 920–931. Porto Alegre, RS, Brasil: SBC.

Filho, M. S., Nascimento, A., Miranda, P., Rodrigues, L., Cordeiro, T., Isotani, S., Bittencourt, I., and Mello, R. (2023). Automated formal register scoring of student narrative essays written in Portuguese. Anais do II Workshop de Aplicações Práticas de Learning Analytics em Instituições de Ensino no Brasil, 1–11. Porto Alegre, RS, Brasil: SBC.

Freitas, E., Falcão, T. P., and Mello, R. F. (2020). Desmistificando a adoção de learning analytics: Um guia conciso sobre ferramentas e instrumentos. Sociedade Brasileira de Computação.

Marinho, J., Anchiêta, R., and Moura, R. (2021). Essay-BR: A Brazilian corpus of essays. Anais do III Dataset Showcase Workshop, 53–64. Porto Alegre, RS, Brasil: SBC.

Mockus, J., Tiesis, V., and Zilinskas, A. (1978). The application of Bayesian methods for seeking the extremum. Towards Global Optimization, 2(117-129).

Oliveira, H., Miranda, P., Isotani, S., Santos, J., Cordeiro, T., Bittencourt, I. I., and Mello, R. F. (2022). Estimando coesão textual em redações no contexto do ENEM utilizando modelos de aprendizado de máquina. Anais do XXXIII Simpósio Brasileiro de Informática na Educação, 883–894. Porto Alegre, RS, Brasil: SBC.

Rosa, B. A., and Mello, R. F. (2022). Análise automatizada de coesão em redações do ensino fundamental por meio de técnicas de processamento de linguagem natural. Anais Estendidos do XI Congresso Brasileiro de Informática na Educação, 144–149. Porto Alegre, RS, Brasil: SBC.

Souza, F., Nogueira, R., and Lotufo, R. (2020). BERTimbau: Pretrained BERT models for Brazilian Portuguese. 9th Brazilian Conference on Intelligent Systems (BRACIS), Rio Grande do Sul, Brazil, October 20-23.

Watanabe, S. (2023). Tree-structured Parzen estimator: Understanding its algorithm components and their roles for better empirical performance.