Recomendação de Problemas em Juízes Onlines Utilizando Técnicas de Processamento de Linguagem Natural e Análise Dirigida aos Dados
Resumo
Usuários regularmente apresentam dificuldades para encontrar problemas adequados em juízes online devido ao grande volume de exercícios disponíveis nesses sistemas. Nesse sentido, este estudo propõe e avalia três métodos para recomendação automática de problemas em juízes online, onde as recomendações são realizadas a partir de um problema alvo, resolvido anteriormente pelo aluno. O primeiro método de recomendação utiliza técnicas de processamento de linguagem natural nos enunciados dos exercícios para recomendar itens semanticamente similares e potencialmente do mesmo tópico do problema alvo. O segundo método (baseado no comportamento) usa os logs gerados a partir da interação do aluno com a IDE do juiz online para recomendar problemas que requerem um esforço similar ao do problema alvo. Por fim, foi utilizado como baseline um método com padrão estocástico, que recomenda problemas aleatoriamente a partir de listas de exercícios feitas por instrutores. Para validar os métodos, um total de 324 recomendações foram avaliadas por 15 alunos e 3 professores de programação, utilizando uma abordagem duplamente cega. As recomendações do método baseado no comportamento emétodo baseado no enunciado foram mais adequadas aos alunos em termo de esforço empregado e sucesso obtido (maior taxa de acerto e menor taxa de erro e desistência). Por fim, além dos benefícios aos alunos, acredita-se que os métodos de recomendação podem ser usados para auxiliar professores a criarem listas de exercícios.
