Recomendação de Problemas em Juízes Onlines Utilizando Técnicas de Processamento de Linguagem Natural e Análise Dirigida aos Dados

  • Hermino Barbosa de Freitas Júnior Universidade Federal de Roraima
  • Filipe Dwan Pereira Universidade Federal de Roraima

Resumo


Usuários regularmente apresentam dificuldades para encontrar problemas adequados em juízes online devido ao grande volume de exercícios disponíveis nesses sistemas. Nesse sentido, este estudo propõe e avalia três métodos para recomendação automática de problemas em juízes online, onde as recomendações são realizadas a partir de um problema alvo, resolvido anteriormente pelo aluno. O primeiro método de recomendação utiliza técnicas de processamento de linguagem natural nos enunciados dos exercícios para recomendar itens semanticamente similares e potencialmente do mesmo tópico do problema alvo. O segundo método (baseado no comportamento) usa os logs gerados a partir da interação do aluno com a IDE do juiz online para recomendar problemas que requerem um esforço similar ao do problema alvo. Por fim, foi utilizado como baseline um método com padrão estocástico, que recomenda problemas aleatoriamente a partir de listas de exercícios feitas por instrutores. Para validar os métodos, um total de 324 recomendações foram avaliadas por 15 alunos e 3 professores de programação, utilizando uma abordagem duplamente cega. As recomendações do método baseado no comportamento emétodo baseado no enunciado foram mais adequadas aos alunos em termo de esforço empregado e sucesso obtido (maior taxa de acerto e menor taxa de erro e desistência). Por fim, além dos benefícios aos alunos, acredita-se que os métodos de recomendação podem ser usados para auxiliar professores a criarem listas de exercícios.

Palavras-chave: Sistemas de Recomendação, Filtragem Colaborativa, Aprendizagem de Máquina, Juízes Online, Processamento de Linguagem Natural

Referências

Júnior, H. B. F., Pereira, F. D., Oliveira, E. H. T., Fernandes, D. B. F., Carvalho, L. S. G. (2020). Recomendação Automática de Problemas em Juízes Online Usando Processamento de Linguagem Natural e Análise Dirigida aos Dados. In Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação-SBIE).
Publicado
24/11/2020
FREITAS JÚNIOR, Hermino Barbosa de; PEREIRA, Filipe Dwan. Recomendação de Problemas em Juízes Onlines Utilizando Técnicas de Processamento de Linguagem Natural e Análise Dirigida aos Dados. In: CONCURSO ALEXANDRE DIRENE (CTD-IE) - TRABALHOS DE CONCLUSÃO DE CURSO - CONGRESSO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (CBIE), 9. , 2020, Online. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2020 . p. 94-94. DOI: https://doi.org/10.5753/cbie.wcbie.2020.94.