Reconhecimento Automático de Representações de Rúbricas em Agrupamentos de Soluções de Exercícios de Programação

• Márcia G. de Oliveira Instituto Federal do Espírito Santo (IFES)
• Leonardo Leal Reblin Universidade Federal do Espírito Santo (UFES)
• Mateus Batista de Souza Universidade Federal do Espírito Santo (UFES)
• Elias Oliveira Universidade Federal do Espírito Santo (UFES)

DOI: https://doi.org/10.5753/cbie.sbie.2016.1106

Resumo

A avaliação de exercícios de programação é um processo complexo porque para cada exercício que um professor aplica é comum haver várias possibilidades de soluções. Como nem sempre o professor conhece todas as possíveis soluções de um exercício, é sempre um desafio para ele justificar todos os critérios de sua avaliação. Com o objetivo de apoiar o processo de avaliação de programação, este trabalho propõe uma estratégia baseada em técnicas de clustering e de Análise de Componentes Principais (PCA) para reconhecer, a partir de soluções desenvolvidas por alunos, exemplos de soluções que representem, em um esquema de rúbricas, os escores atribuídos por um professor. Os resultados dos experimentos em soluções reais de exercícios de programação indicam que o nosso método reconhece soluções com escores altos, médios e baixos demandando pouco esforço de avaliação de professores.

Palavras-chave: Clustering, PCA, Programação, Rúbricas

Referências

Jonsson, A. and Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational research review, 2(2): 130–144.

Karypis, G. (2003). CLUTO-A Clustering Toolkit. Dept. of Computer Science, University of Minnesota.

Kwon, H. and Jo, M. (2005). Design and implementation of the automatic rubric generation system for the neis based performance assessment using data mining technology. Journal Of the Korean Association of information Education, 9(1): 113–126.

Lindenbaum, M., Markovitch, S., and Rusakov, D. (2004). Selective sampling for nearest neighbor classifiers. Machine Learning, 54(2): 125–152.

Oliveira, E., Basoni, H., Saúde, M.R., and Ciarelli, P. (2014). Combining clustering and classification approaches for reducing the effort of automatic tweets classification. In Proceedings of the International Conference on Knowledge Discovery and Information Retrieval (IC3K2014), pages 465–472.

Oliveira, M., Leal, L., and Oliveira, E. (2016). Sistema de Apoio à Avaliação de Atividades de Programação por Reconhecimento Automático de Modelos de Soluções. In XXIV Workshop sobre Educação em Computação (WEI)-CSBC2016, Porto Alegre, RS. SBC.

Oliveira, M., Monroy, N., Daher, P., and Oliveira, E. (2015a). Representação da diversidade de componentes latentes em exercícios de programação para classificação de perfis. In IV Congresso Brasileiro de Informática na Educação (CBIE 2015), Maceió. Anais do SBIE 2015.

Oliveira, M., Nogueira, M.A., and Oliveira, E. (2015b). Sistema de Apoio à Prática Assistida de Programação por Execução em Massa e Análise de Programas. In XXIII Workshop sobre Educação em Computação (WEI)-CSBC 2015, Recife, PE. SBC.

Olmos, R., Jorge-Botana, G., Luzón, J.M., Martín-Cordero, J., and León, J. (2016). Transforming LSA space dimensions into a rubric for an automatic assessment and feedback system. Information Processing & Management, 52(3): 359–373.

Perlman, C. (2003). Performance assessment: Designing appropriate performance tasks and scoring rubrics.

Tuia, D., Pasolli, E., and Emery, W. (2011). Using active learning to adapt remote sensing image classifiers. Remote Sensing of Environment, 115(9): 2232–2242.

Wall, M.E., Rechtsteiner, A., and Rocha, L.M. (2003). Singular value decomposition and principal component analysis. In A practical approach to microarray data analysis, pages 91–109. Springer.