Bloom's Taxonomy-Based Approach for Assisting Formulation and Automatic Short Answer Grading
Resumo
This paper presents an approach to enhance automatic short answer grading accuracy by using Bloom’s Taxonomy as a reference for questions formulation. We sought to address the semantic aspects related to the answer by using WordNet and Latent Semantic Analysis models, which supported automatic short answer grading with size ranging from a single sentence to a short paragraph. The responses for three questions answered by high school students were graded automatically resulting in a high correlation with teacher grading (0.82, 0.91, 0.80). Another discovery is that automatic correction might vary according to the type of question, the application context and that the representativeness and concision of the expected response.
Palavras-chave:
automatic grading, short answer, Blooms Taxonomy, WordNet, Latent Semantic Analysis
Referências
Andrade, D.; Campos, M. (2010). Análise do processo cognitivo na construção das figuras de Lissajous. Revista Brasileira de Ensino de Física, v. 27, n. 4, p. 587-591, 2010.
Athanassiou, N.; McNett, J. M.; Harvey, C. (2003). Critical Thinking in the Management Classroom: Bloom's Taxonomy as a Learning Tool. Journal of Management Education, 27(5), 533-555.
Bloom, B. S. et al. (1973). Taxonomia de objetivos educacionais. Porto Alegre: Globo.
BNCC. (2017). Base Nacional Comum Curricular. Ministério da Educação, 2017.
Burrows, S.; Gurevych, I.; Stein, B. (2015). The eras and trends of automatic short answer grading. International Journal of Artificial Intelligence in Education, v. 25.
Duquesne University (2017). Strengths and Dangers of Essay Questions for Exams. Disponível em: [link]
Fellbaum, C. (1998). WordNet: An electronic lexical database. Language, Speech, and Communication. MIT Press, Cambridge, USA.
Ferraz, A. P. C.; Belhot, R. V. (2010). Taxonomia de Bloom: revisão teórica e apresentação das adequações do instrumento para definição de objetivos instrucionais. Gestão e Produção, São Carlos, v.17, n.2, p. 421-431.
Haendchen Filho, A.; Prado, H. A.; Ferneda, Edilson; Nau, J. (2018). An approach to evaluate adherence to the theme and the argumentative structure of essays. In: Knowledge-Based and Intelligent Information & Engineering Systems, Proceedings of the 22nd International Conference, KES-2018, Belgrade, Serbia. London: Elsevier. v. 126, p. 788-797.
Kleinke, M.U. (2008). Tipos de prova (objetivas e discursivas): a interdisciplinaridade como elemento articulador. XXXII SAESUNN – Seminário de Acesso ao Ensino Superior das Universidades do Norte e Nordeste, 2008.
Landauer, T. K.; Dumais, S. T. (1997). A Solution to Plato's Problem: The Latent Semantic Analysis Theory of Acquisition, Induction, and Representation of Knowledge. Psychological Review, 104(2), 211-240.
Mohler, M.; Mihalcea, R. (2009). Text-to-text semantic similarity for automatic short answer grading. In Proceedings of the 12th Conference of the European Chapter of the Association for Computational Linguistics (EACL-2009), Stroudsburg, PA, USA, 567-575.
Passero, G.; Haendchen Filho, A.; Dazzi, R. (2016). Avaliação do Uso de Métodos Baseados em LSA e WordNet para Correção de Questões Discursivas. Proceedings of the XXVII Brazilian Symposium on Computers in Education (SBIE 2016), pp. 1136-1145.
Pedersen, T.; Patwardhan, S.; Michelizzi, J. (2004). WordNet::Similarity: Measuring the Relatedness of Concepts. In Demonstration Papers at HLT-NAACL 2004. HLT-NAACL Demonstrations ’04. Association for Computational Linguistics.
Peduzzi, Pedro. Mais de 50% dos alunos do 3o ano tem nível insuficiente em leitura e matemática. Repórter da Agência Brasil. Brasília. 2017. Disponível em: [link] Acesso em jun de 2018.
Widdows, D.; Ferraro, K. (2008). Semantic Vectors: a Scalable Open Source Package and Online Technology Management Application. LREC’08 Proceedings of the Sixth International Conference on Language Resources and Evaluation, n. January 2008.
Salles, S. de Britto (2010). Questoes discursivas: Cinco cuidados para uma boa resposta, [link], Junho/2017.
Santana Junior, J. J. B.; Pereira, D. M. V. G.; Lopes, J. E. (2008). Análise das habilidades cognitivas requeridas na Administração Pública Federal fundamentados na visão da Taxonomia de Bloom. Revista Contabilidade & Finanças, v. 19, n. 46, p.108-121.
Santos, Carlos Alves dos. Avaliação Automática de Questões Discursivas Usando LSA/ dos Santos. Tese (Doutorado) – Universidade Federal do Pará – UFPa Instituto de Tecnologia Programa de Pós-Graduação em Engenharia Elétrica. 2016.
UFBA (2011). Questões Discursivas em História: Interpretação e Comandos. Disponível em: [link], 2017.
Ziai, R.; Ott, N.; Meurers, D. (2012). Short Answer Assessment: Establishing Links Between Research Strands. Proceedings of the Seventh Workshop on Building Educational Applications Using NLP. Association for Computational Linguistics.
Athanassiou, N.; McNett, J. M.; Harvey, C. (2003). Critical Thinking in the Management Classroom: Bloom's Taxonomy as a Learning Tool. Journal of Management Education, 27(5), 533-555.
Bloom, B. S. et al. (1973). Taxonomia de objetivos educacionais. Porto Alegre: Globo.
BNCC. (2017). Base Nacional Comum Curricular. Ministério da Educação, 2017.
Burrows, S.; Gurevych, I.; Stein, B. (2015). The eras and trends of automatic short answer grading. International Journal of Artificial Intelligence in Education, v. 25.
Duquesne University (2017). Strengths and Dangers of Essay Questions for Exams. Disponível em: [link]
Fellbaum, C. (1998). WordNet: An electronic lexical database. Language, Speech, and Communication. MIT Press, Cambridge, USA.
Ferraz, A. P. C.; Belhot, R. V. (2010). Taxonomia de Bloom: revisão teórica e apresentação das adequações do instrumento para definição de objetivos instrucionais. Gestão e Produção, São Carlos, v.17, n.2, p. 421-431.
Haendchen Filho, A.; Prado, H. A.; Ferneda, Edilson; Nau, J. (2018). An approach to evaluate adherence to the theme and the argumentative structure of essays. In: Knowledge-Based and Intelligent Information & Engineering Systems, Proceedings of the 22nd International Conference, KES-2018, Belgrade, Serbia. London: Elsevier. v. 126, p. 788-797.
Kleinke, M.U. (2008). Tipos de prova (objetivas e discursivas): a interdisciplinaridade como elemento articulador. XXXII SAESUNN – Seminário de Acesso ao Ensino Superior das Universidades do Norte e Nordeste, 2008.
Landauer, T. K.; Dumais, S. T. (1997). A Solution to Plato's Problem: The Latent Semantic Analysis Theory of Acquisition, Induction, and Representation of Knowledge. Psychological Review, 104(2), 211-240.
Mohler, M.; Mihalcea, R. (2009). Text-to-text semantic similarity for automatic short answer grading. In Proceedings of the 12th Conference of the European Chapter of the Association for Computational Linguistics (EACL-2009), Stroudsburg, PA, USA, 567-575.
Passero, G.; Haendchen Filho, A.; Dazzi, R. (2016). Avaliação do Uso de Métodos Baseados em LSA e WordNet para Correção de Questões Discursivas. Proceedings of the XXVII Brazilian Symposium on Computers in Education (SBIE 2016), pp. 1136-1145.
Pedersen, T.; Patwardhan, S.; Michelizzi, J. (2004). WordNet::Similarity: Measuring the Relatedness of Concepts. In Demonstration Papers at HLT-NAACL 2004. HLT-NAACL Demonstrations ’04. Association for Computational Linguistics.
Peduzzi, Pedro. Mais de 50% dos alunos do 3o ano tem nível insuficiente em leitura e matemática. Repórter da Agência Brasil. Brasília. 2017. Disponível em: [link] Acesso em jun de 2018.
Widdows, D.; Ferraro, K. (2008). Semantic Vectors: a Scalable Open Source Package and Online Technology Management Application. LREC’08 Proceedings of the Sixth International Conference on Language Resources and Evaluation, n. January 2008.
Salles, S. de Britto (2010). Questoes discursivas: Cinco cuidados para uma boa resposta, [link], Junho/2017.
Santana Junior, J. J. B.; Pereira, D. M. V. G.; Lopes, J. E. (2008). Análise das habilidades cognitivas requeridas na Administração Pública Federal fundamentados na visão da Taxonomia de Bloom. Revista Contabilidade & Finanças, v. 19, n. 46, p.108-121.
Santos, Carlos Alves dos. Avaliação Automática de Questões Discursivas Usando LSA/ dos Santos. Tese (Doutorado) – Universidade Federal do Pará – UFPa Instituto de Tecnologia Programa de Pós-Graduação em Engenharia Elétrica. 2016.
UFBA (2011). Questões Discursivas em História: Interpretação e Comandos. Disponível em: [link], 2017.
Ziai, R.; Ott, N.; Meurers, D. (2012). Short Answer Assessment: Establishing Links Between Research Strands. Proceedings of the Seventh Workshop on Building Educational Applications Using NLP. Association for Computational Linguistics.
Publicado
29/10/2018
Como Citar
HAENDCHEN FILHO, Aluizio; TOMAZONI, Eliane Kormann; PAZA, Rosana; PEREGO, Rogério; RAABE, Andre Luis Alice.
Bloom's Taxonomy-Based Approach for Assisting Formulation and Automatic Short Answer Grading. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 29. , 2018, Fortaleza/CE.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2018
.
p. 238-247.
DOI: https://doi.org/10.5753/cbie.sbie.2018.238.
