Aplicação de um método LSA na avaliação automática de respostas discursivas

• João Carlos Alves dos Santos UFPA
• Tácio Ribeiro UFPA
• Eloi Favero UFPA
• Joaquim Queiroz UFPA

Resumo

Para atender necessidades dos ambientes virtuais de ensino, este trabalho apresenta a aplicação da Análise Semântica Latente (LSA) para estimar as pontuações obtidas em respostas a questões discursivas, pois ainda não se tem um método com acurácia aceitável para uso prático. Foi desenvolvido um modelo baseado em LSA formado por seis etapas: pré-processamento, normalização, ponderação, decomposição a valores singulares, classificação e ajustes do modelo. Como resultado, obteve-se um estudo sobre o ajuste de parâmetros do método (LSA) para uso prático em avaliações automáticas de respostas discursivas e o melhor resultado obtido foi uma acurácia de 87,35%.

Referências

Deerwester, S., Dumais, S. T., Furnas, G. W., Landauer, T. K., and Harshman, R. (1990).

Indexing by latent semantic analysis. JOURNAL OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE, 41:391–407.

Lifchitz, A., Jhean-Larose, S., and Denhière, G. (2009). Effect of tuned parameters on an lsa multiple choice questions answering model. Behavior Research Methods, 41:1201–1209.

Nakov, P. (2000). Chapter 15: Getting better results with latent semantic indexing. In In Proceedings of the Students Prenetations at ESSLLI-2000.

Valenti, S., Neri, F., and Cucchiarelli, R. (2003). An overview of current research on automated essay grading. Journal of Information Technology Education, 2:2003.

Wild, F., Stahl, C., Stermsek, G., Penya, Y., and Neumann, G. (2005). Factors influencing effectiveness in automated essay scoring with lsa. In Proceeding of the 2005 conference on Artificial Intelligence in Education: Supporting Learning through Intelligent and Socially Informed Technology.