Aplicação das técnicas de processamento de linguagem natural Cosine Similarity e Word Movers Distance para auxiliar na correção de questões discursivas em um Tutor Inteligente
Resumo
A avaliação dos alunos por meio de questões discursivas é uma das formas mais tradicionais do sistema de ensino, mas sua correção não é uma tarefa trivial. Em turmas com um número elevado de alunos essa tarefa ocupa boa parte do tempo de trabalho do professor. Este problema se agrava quando falamos de um Sistema Tutor Inteligente (STI) onde o número de alunos pode crescer consideravelmente e, automaticamente, o número de questões discursivas para correção cresce a cada exercício proposto para a turma. Realizando estudos na área de Processamento de Linguagem Natural (PLN) e utilizando as medidas de similaridade Cosine similarity e Word Mover’s Distance, foi proposta uma solução para a criação de um sistema de correção automática de questões discursivas. Foram realizados testes para avaliar a eficiência de cada uma das medidas de similaridade sendo que a Cosine Similarity se destacou, uma vez escolhida para integrar a solução implementada no MAZK STI. Nos testes realizados, dentro do STI, o sistema de correção automática do MAZK obteve um erro relativo de 15% e uma acurácia de 88,7%, resultados interessantes e animadores.
Palavras-chave:
MAZK STI, Processamento de Linguagem Natural, Sistema Tutor Inteligente, questões discursivas
Referências
ALVARENGA, João Paulo Reis. Avaliação de métodos de transferência de aprendizado
aplicados a problemas de processamento de linguagem natural em textos da língua portuguesa.
2019.
BURROWS, Steven; GUREVYCH, Iryna; STEIN, Benno. The eras and trends of automatic short
answer grading. International Journal of Artificial Intelligence in Education, v. 25, n. 1, p. 60-
117, 2015.
CORDEIRO, Bernardo Cardoso. BERT E WORD2VEC: UMA ANÁLISE INFERENCIAL E
COMPUTACIONAL NA CLASSIFICACAO DE TEXTOS COM REDES NEURAIS
CONVOLUCIONAIS. 2019. Tese de Doutorado. Universidade Federal do Rio de Janeiro.
PASSERO, Guilherme; HAENDCHEN FILHO, Aluizio; DAZZI, Rudimar. Avaliaçao do uso de
métodos baseados em lsa e wordnet para correçao de questoes discursivas. In: Brazilian
Symposium on Computers in Education (Simpósio Brasileiro de Informática na EducaçãoSBIE). 2016. p. 1136.
POZZEBON, Eliane. Um modelo para suporte ao aprendizado em grupo em sistemas tutores
inteligentes. Tese de doutorado do PGEEL, UFSC, 2008.
RUBNER, Yossi; TOMASI, Carlo; GUIBAS, Leonidas J. A metric for distributions with
applications to image databases. In: Sixth International Conference on Computer Vision
(IEEE Cat. No. 98CH36271). IEEE, 1998. p. 59-66.
RUSSELL, Matthew A. Mining the social web: Analyzing data from Facebook, Twitter,
LinkedIn, and other social media sites. " O'Reilly Media, Inc.", 2011.
SILVA, M. d AO. Pré-Processamento em Mineração de Dados como método de suporte à
modelagem algorítmica. 2014. Tese de Doutorado. Curso de Pós-Graduação em Modelagem
Computacional de Sistemas da Universidade Federal do Tocantins, Palmas.
TERESO, Marco. ANÁLISE DE SENTIMENTO A COMPANHIAS AÉREAS NORTE
AMERICANAS. ISLA Multidisciplinary e-Journal, v. 2, n. 1, p. 52-65, 2019.
VIEIRA, Renata; LOPES, Lucelene. PROCESSAMENTO DE LINGUAGEM NATURAL E O
TRATAMENTO COMPUTACIONAL DE LINGUAGENS CIENTÍFICAS. EM
CORPORA, p. 183, 2010.
VILLAÇA, Rodolfo da Silva et al. Hamming DHTe HCube: arquiteturas distribuídas para busca
por similaridade. 2013.
aplicados a problemas de processamento de linguagem natural em textos da língua portuguesa.
2019.
BURROWS, Steven; GUREVYCH, Iryna; STEIN, Benno. The eras and trends of automatic short
answer grading. International Journal of Artificial Intelligence in Education, v. 25, n. 1, p. 60-
117, 2015.
CORDEIRO, Bernardo Cardoso. BERT E WORD2VEC: UMA ANÁLISE INFERENCIAL E
COMPUTACIONAL NA CLASSIFICACAO DE TEXTOS COM REDES NEURAIS
CONVOLUCIONAIS. 2019. Tese de Doutorado. Universidade Federal do Rio de Janeiro.
PASSERO, Guilherme; HAENDCHEN FILHO, Aluizio; DAZZI, Rudimar. Avaliaçao do uso de
métodos baseados em lsa e wordnet para correçao de questoes discursivas. In: Brazilian
Symposium on Computers in Education (Simpósio Brasileiro de Informática na EducaçãoSBIE). 2016. p. 1136.
POZZEBON, Eliane. Um modelo para suporte ao aprendizado em grupo em sistemas tutores
inteligentes. Tese de doutorado do PGEEL, UFSC, 2008.
RUBNER, Yossi; TOMASI, Carlo; GUIBAS, Leonidas J. A metric for distributions with
applications to image databases. In: Sixth International Conference on Computer Vision
(IEEE Cat. No. 98CH36271). IEEE, 1998. p. 59-66.
RUSSELL, Matthew A. Mining the social web: Analyzing data from Facebook, Twitter,
LinkedIn, and other social media sites. " O'Reilly Media, Inc.", 2011.
SILVA, M. d AO. Pré-Processamento em Mineração de Dados como método de suporte à
modelagem algorítmica. 2014. Tese de Doutorado. Curso de Pós-Graduação em Modelagem
Computacional de Sistemas da Universidade Federal do Tocantins, Palmas.
TERESO, Marco. ANÁLISE DE SENTIMENTO A COMPANHIAS AÉREAS NORTE
AMERICANAS. ISLA Multidisciplinary e-Journal, v. 2, n. 1, p. 52-65, 2019.
VIEIRA, Renata; LOPES, Lucelene. PROCESSAMENTO DE LINGUAGEM NATURAL E O
TRATAMENTO COMPUTACIONAL DE LINGUAGENS CIENTÍFICAS. EM
CORPORA, p. 183, 2010.
VILLAÇA, Rodolfo da Silva et al. Hamming DHTe HCube: arquiteturas distribuídas para busca
por similaridade. 2013.
Publicado
24/11/2020
Como Citar
OLIVEIRA, Douglas de; POZZEBON, Eliane; SANTOS, Tatiana.
Aplicação das técnicas de processamento de linguagem natural Cosine Similarity e Word Movers Distance para auxiliar na correção de questões discursivas em um Tutor Inteligente. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 31. , 2020, Online.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2020
.
p. 1243-1252.
DOI: https://doi.org/10.5753/cbie.sbie.2020.1243.
