Investigating the Use of Intelligent Tutors Based on Large Language Models: Automated generation of Business Process Management questions using the Revised Bloom's Taxonomy - Rockembach, Guilherme Rego; Thom, Lucineia Heloisa (Anais do Simpósio Brasileiro de Informática na Educação (SBIE); 2024: Anais do XXXV Simpósio Brasileiro de Informática na Educação, 2024)
A construção artefatos avaliativos é uma tarefa complexa, pois gerar avaliações adequadas de forma manual exige um profundo conhecimento, tanto da área a ser avaliada quando dos processos cognitivos envolvidos no aprendizado. A utilização de Large Language Models (LLMs) como base de funcionamento de Sistemas Tutores Inteligentes pode auxiliar nesta tarefa. Este trabalho experimenta os LLMs GPT-3.5-Turbo e LLama-2 como fonte de geração automática de perguntas avaliativas. O experimento foi realizado utilizando técnicas de Engenharia de Prompts na geração de perguntas da disciplina de Business Process Management (BPM). A partir do experimento foi possível observar que ambos os modelos são capazes de gerar perguntas adequadas ao contexto de BPM. Foi identificado também que, quando recebeu o contexto e o modelo da pergunta a ser gerada, o modelo Llama-2 produziu questões mais apropriadas ao nível cognitivo desejado, enquanto que o modelo GPT-3.5-Turbo recebendo apenas o contexto foi possível observar resposta similar.