Aplicação das técnicas de processamento de linguagem natural Cosine Similarity e Word Movers Distance para auxiliar na correção de questões discursivas em um Tutor Inteligente

  • Douglas de Oliveira Universidade Federal de Santa Catarina
  • Eliane Pozzebon Universidade Federal de Santa Catarina https://orcid.org/0000-0002-4237-6589
  • Tatiana Santos Universidade Federal de Santa Catarina

Resumo


A avaliação dos alunos por meio de questões discursivas é uma das formas mais tradicionais do sistema de ensino, mas sua correção não é uma tarefa trivial. Em turmas com um número elevado de alunos essa tarefa ocupa boa parte do tempo de trabalho do professor. Este problema se agrava quando falamos de um Sistema Tutor Inteligente (STI) onde o número de alunos pode crescer consideravelmente e, automaticamente, o número de questões discursivas para correção cresce a cada exercício proposto para a turma. Realizando estudos na área de Processamento de Linguagem Natural (PLN) e utilizando as medidas de similaridade Cosine similarity e Word Mover’s Distance, foi proposta uma solução para a criação de um sistema de correção automática de questões discursivas. Foram realizados testes para avaliar a eficiência de cada uma das medidas de similaridade sendo que a Cosine Similarity se destacou, uma vez escolhida para integrar a solução implementada no MAZK STI. Nos testes realizados, dentro do STI, o sistema de correção automática do MAZK obteve um erro relativo de 15% e uma acurácia de 88,7%, resultados interessantes e animadores.
Palavras-chave: MAZK STI, Processamento de Linguagem Natural, Sistema Tutor Inteligente, questões discursivas

Referências

ALVARENGA, João Paulo Reis. Avaliação de métodos de transferência de aprendizado


aplicados a problemas de processamento de linguagem natural em textos da língua portuguesa.


2019.


BURROWS, Steven; GUREVYCH, Iryna; STEIN, Benno. The eras and trends of automatic short


answer grading. International Journal of Artificial Intelligence in Education, v. 25, n. 1, p. 60-


117, 2015.


CORDEIRO, Bernardo Cardoso. BERT E WORD2VEC: UMA ANÁLISE INFERENCIAL E


COMPUTACIONAL NA CLASSIFICACAO DE TEXTOS COM REDES NEURAIS


CONVOLUCIONAIS. 2019. Tese de Doutorado. Universidade Federal do Rio de Janeiro.


PASSERO, Guilherme; HAENDCHEN FILHO, Aluizio; DAZZI, Rudimar. Avaliaçao do uso de


métodos baseados em lsa e wordnet para correçao de questoes discursivas. In: Brazilian


Symposium on Computers in Education (Simpósio Brasileiro de Informática na EducaçãoSBIE). 2016. p. 1136.


POZZEBON, Eliane. Um modelo para suporte ao aprendizado em grupo em sistemas tutores


inteligentes. Tese de doutorado do PGEEL, UFSC, 2008.


RUBNER, Yossi; TOMASI, Carlo; GUIBAS, Leonidas J. A metric for distributions with


applications to image databases. In: Sixth International Conference on Computer Vision


(IEEE Cat. No. 98CH36271). IEEE, 1998. p. 59-66.


RUSSELL, Matthew A. Mining the social web: Analyzing data from Facebook, Twitter,


LinkedIn, and other social media sites. " O'Reilly Media, Inc.", 2011.


SILVA, M. d AO. Pré-Processamento em Mineração de Dados como método de suporte à


modelagem algorítmica. 2014. Tese de Doutorado. Curso de Pós-Graduação em Modelagem


Computacional de Sistemas da Universidade Federal do Tocantins, Palmas.


TERESO, Marco. ANÁLISE DE SENTIMENTO A COMPANHIAS AÉREAS NORTE


AMERICANAS. ISLA Multidisciplinary e-Journal, v. 2, n. 1, p. 52-65, 2019.


VIEIRA, Renata; LOPES, Lucelene. PROCESSAMENTO DE LINGUAGEM NATURAL E O


TRATAMENTO COMPUTACIONAL DE LINGUAGENS CIENTÍFICAS. EM


CORPORA, p. 183, 2010.


VILLAÇA, Rodolfo da Silva et al. Hamming DHTe HCube: arquiteturas distribuídas para busca


por similaridade. 2013.
Publicado
24/11/2020
OLIVEIRA, Douglas de; POZZEBON, Eliane; SANTOS, Tatiana. Aplicação das técnicas de processamento de linguagem natural Cosine Similarity e Word Movers Distance para auxiliar na correção de questões discursivas em um Tutor Inteligente. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 31. , 2020, Online. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2020 . p. 1243-1252. DOI: https://doi.org/10.5753/cbie.sbie.2020.1243.