Automatic Essay Grading in Portuguese: a systematic mapping of literature
Abstract
Language proficiency is a skill that must be worked on throughout a person's life and, in Brazil, ENEM is an exam that evaluates this skill through written proposals. There are many challenges for teachers to work efficiently with this type of textual evaluation in the classroom and automatic assessment is one option to assist this process. In this context, a systematic literature mapping was carried out in order to get an overview of the state of the art on automatic essays evaluation for Portuguese. We have found out that there is much to be explored in the area, such as to deal with many linguistic aspects related to the competences evaluated by ENEM.
Keywords:
Automatic Essay Grading, Natural Language Processing, Machine Learning, ENEM
References
Amorim, E. e Veloso, A. (2017). “A Multi-Aspect Analysis of Automatic Essay Scoring for Brazilian Portuguese”. In: Proceedings of the Student Research Workshop at the 15th Conference of the European Chapter of the Association for Computational Linguistics. Valência, Espanha.
Bazelato, B. S. e Amorim, E. C. F. (2013). “A Bayesian Classifier to Automatic Correction of Portuguese Essays.” In: Conferência Internacional sobre Informática na Educação (TISE), 2013, V. 18, p. 779–782, Porto Alegre, RS, Brasil.
Budgen, D., Turner, M., Brereton, P., e Kitchenham, B. A. (2008). “Using mapping studies in software engineering”. In PPIG, volume 8, p. 195–204.
Carvalho, M. R. V. (2018). “Perfil do professor da educação básica.” Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Brasília, Brasil.
Figueira, A. S., Silva, A. G., Melo, B. M. e Lino, A. P. e Lobato, F. R. L. e Favero, E. L. (2013) “Module of evaluation automatic essay questions on virtual learning environment LabSQL”. In: 8th Iberian Conference on Information Systems and Technologies (CISTI), 2013, p. 510–514, Lisboa, Portugal.
Filho, A. H., Prado, H. A., Ferneda, E. e Nau, J. (2018) “An approach to evaluate adherence to the theme and the argumentative structure of essays”. In: International Conference on Knowledge Based and Intelligent Information and Engineering Systems. (KES) 2018, p. 788–797, Belgrado, Sérvia.
Fonseca, E., Medeiros, I., Kamikawachi, D. e Bokan, A. (2018) “Automatically Grading Brazilian Student Essays”. In: Computational Processing of the Portuguese Language. (PROPOR), 2018, p. 170–179, Canela, RS, Brasil.
Freitas, S. A. A., Canedo, E. D., Frinhani, C. L., Vidotti, M. F. e Silva, M. C. (2017) “Evaluation of an Automatic Essay Correction System Used as an Assessment Tool”. In: Universal Access in Human–Computer Interaction: Human and Technological Environments. (UAHCI), 2017, p. 210–222, Vancouver, Canadá.
Frinhani, C. L., Freitas, S. A. A., Fernandesy, M. V. e Canedo, E. D. (2016) “An automatic essay correction for an active learning environment”. In: IEEE/ACS 13th International Conference of Computer Systems and Applications (AICCSA), 2016, Agadir, Marrocos.
INEP (2019) “A Redação no ENEM 2019 – Cartilha do Participante”. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Brasília, DF, Brasil.
Júnior, C. R. C. A. e Oliveira, E. (2016) “Proposta de um sistema de avaliação automática de redações do ENEM”. Workpedia 2016 - Workshop de Pesquisa e Desenvolvimento em IA, Inteligência Coletiva e Ciência de Dados, Niterói, RJ, Brasil.
Júnior, C. R. C. A., Spalenza, M. A. e Oliveira, E. (2017) “Proposta de um Sistema de Avaliação Automática de Redações do ENEM Utilizando Técnicas de Aprendizagem de Máquina e Processamento de Linguagem Natural”. In: Proceedings of Computer on the Beach 2017, p. 474–483, Florianopólis, SC, Brasil.
Passero, G., Ferreira, R., Haendchen Filho, A., Dazzi, R. L. S. (2017) “Off-Topic Essay Detection: A Systematic Review”. Anais do XXVIII Simpósio Brasileiro de Informática na Educação.
Santos, J., Paiva, R. e Bittencourt, I. I. (2016). “Avaliação Léxico-Sintática de Atividades Escritas em Algoritmo Genético e Processamento de Linguagem Natural: Um Experimento no ENEM”. In: Revista Brasileira de Informática na Educação. V. 24, N. 2, Sociedade Brasileira de Computação.
Vicari, R. M. (2019) “Inteligência Artificial aplicada à Educação”. In: Informática na Educação: técnicas e tecnologias computacionais. Organizado por Pimentel, Mariano; Sampaio, Fábio F.; Santos, Edméa O, Sociedade Brasileira de Computação, Porto Alegre, http://ieducacao.ceie-br.org/inteligenciaartificial/.
Weigle, S. C. (2013) “English as a Second Language Writing and Automated Essay Evaluation”. In: Handbook of Automated Essay Evaluation, Current Applications and New Directions, editado por Mark D. Shermis e Jill Burstein, Routledge, https://www.routledgehandbooks.com/doi/10.4324/9780203122761.ch3.
Zupanc, K. e Bosnic, Z. (2015). “Advances in the field of automated essay evaluation.” Informatica, vol. 39, n. 4, p. 383–395, Eslovênia.
Bazelato, B. S. e Amorim, E. C. F. (2013). “A Bayesian Classifier to Automatic Correction of Portuguese Essays.” In: Conferência Internacional sobre Informática na Educação (TISE), 2013, V. 18, p. 779–782, Porto Alegre, RS, Brasil.
Budgen, D., Turner, M., Brereton, P., e Kitchenham, B. A. (2008). “Using mapping studies in software engineering”. In PPIG, volume 8, p. 195–204.
Carvalho, M. R. V. (2018). “Perfil do professor da educação básica.” Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Brasília, Brasil.
Figueira, A. S., Silva, A. G., Melo, B. M. e Lino, A. P. e Lobato, F. R. L. e Favero, E. L. (2013) “Module of evaluation automatic essay questions on virtual learning environment LabSQL”. In: 8th Iberian Conference on Information Systems and Technologies (CISTI), 2013, p. 510–514, Lisboa, Portugal.
Filho, A. H., Prado, H. A., Ferneda, E. e Nau, J. (2018) “An approach to evaluate adherence to the theme and the argumentative structure of essays”. In: International Conference on Knowledge Based and Intelligent Information and Engineering Systems. (KES) 2018, p. 788–797, Belgrado, Sérvia.
Fonseca, E., Medeiros, I., Kamikawachi, D. e Bokan, A. (2018) “Automatically Grading Brazilian Student Essays”. In: Computational Processing of the Portuguese Language. (PROPOR), 2018, p. 170–179, Canela, RS, Brasil.
Freitas, S. A. A., Canedo, E. D., Frinhani, C. L., Vidotti, M. F. e Silva, M. C. (2017) “Evaluation of an Automatic Essay Correction System Used as an Assessment Tool”. In: Universal Access in Human–Computer Interaction: Human and Technological Environments. (UAHCI), 2017, p. 210–222, Vancouver, Canadá.
Frinhani, C. L., Freitas, S. A. A., Fernandesy, M. V. e Canedo, E. D. (2016) “An automatic essay correction for an active learning environment”. In: IEEE/ACS 13th International Conference of Computer Systems and Applications (AICCSA), 2016, Agadir, Marrocos.
INEP (2019) “A Redação no ENEM 2019 – Cartilha do Participante”. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Brasília, DF, Brasil.
Júnior, C. R. C. A. e Oliveira, E. (2016) “Proposta de um sistema de avaliação automática de redações do ENEM”. Workpedia 2016 - Workshop de Pesquisa e Desenvolvimento em IA, Inteligência Coletiva e Ciência de Dados, Niterói, RJ, Brasil.
Júnior, C. R. C. A., Spalenza, M. A. e Oliveira, E. (2017) “Proposta de um Sistema de Avaliação Automática de Redações do ENEM Utilizando Técnicas de Aprendizagem de Máquina e Processamento de Linguagem Natural”. In: Proceedings of Computer on the Beach 2017, p. 474–483, Florianopólis, SC, Brasil.
Passero, G., Ferreira, R., Haendchen Filho, A., Dazzi, R. L. S. (2017) “Off-Topic Essay Detection: A Systematic Review”. Anais do XXVIII Simpósio Brasileiro de Informática na Educação.
Santos, J., Paiva, R. e Bittencourt, I. I. (2016). “Avaliação Léxico-Sintática de Atividades Escritas em Algoritmo Genético e Processamento de Linguagem Natural: Um Experimento no ENEM”. In: Revista Brasileira de Informática na Educação. V. 24, N. 2, Sociedade Brasileira de Computação.
Vicari, R. M. (2019) “Inteligência Artificial aplicada à Educação”. In: Informática na Educação: técnicas e tecnologias computacionais. Organizado por Pimentel, Mariano; Sampaio, Fábio F.; Santos, Edméa O, Sociedade Brasileira de Computação, Porto Alegre, http://ieducacao.ceie-br.org/inteligenciaartificial/.
Weigle, S. C. (2013) “English as a Second Language Writing and Automated Essay Evaluation”. In: Handbook of Automated Essay Evaluation, Current Applications and New Directions, editado por Mark D. Shermis e Jill Burstein, Routledge, https://www.routledgehandbooks.com/doi/10.4324/9780203122761.ch3.
Zupanc, K. e Bosnic, Z. (2015). “Advances in the field of automated essay evaluation.” Informatica, vol. 39, n. 4, p. 383–395, Eslovênia.
Published
2020-11-24
How to Cite
COSTA, Luciana; OLIVEIRA, Elaine Harada Teixeira de; CASTRO JÚNIOR, Alberto.
Automatic Essay Grading in Portuguese: a systematic mapping of literature. In: BRAZILIAN SYMPOSIUM ON COMPUTERS IN EDUCATION (SBIE), 31. , 2020, Online.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2020
.
p. 1403-1412.
DOI: https://doi.org/10.5753/cbie.sbie.2020.1403.
