Adaptação de um método preditivo para inferir o desempenho de alunos de programação
Resumo
O objetivo deste trabalho é avaliar a capacidade de generalização de um método para prever o desempenho de alunos de CS1 em um juiz online. Para alcançar esse objetivo, apresentamos uma adaptação do método para um conjunto de dados gerado em um contexto educacional diferente daquele em que o método foi originalmente avaliado. Como resultado, observamos que o método de previsão, usando o novo conjunto de dados, alcançou uma precisão de 82% na tarefa de prever o desempenho do aluno o mais cedo possível. Este trabalho tem por objetivo avaliar a capacidade de generalização de um método de previsão de desempenho de alunos de turmas de Introdução à Programação de Computadores (IPC) em ambientes de correção automática de código (ACAC). Para tanto, é apresentado um processo de adaptação do método a uma base de dados gerada a partir de um contexto educacional diferente daquele em que o método foi avaliado originalmente. Como resultado, observou-se que o método de previsão, adaptado à nova base, atingiu uma acurácia de 82% na tarefa de detecção precoce de alunos com altas chances de reprovação.
Palavras-chave:
método preditivo, desempenho de alunos, programação, juiz online, correção automática de código
Referências
Ahadi, A., Vihavainen, A., and Lister, R. (2016). On the number of attempts students made on some online programming exercises during semester and their subsequent performance on final exam questions. ACM Conference on Innovation and Technology in Computer Science Education, pages 218–223.
Alamri, A., Alshehri, M., Cristea, A., Pereira, F. D., Oliveira, E., Shi, L., and Stewart, C. (2019). Predicting moocs dropout using only two easily obtainable features from the first week’s activities. pages 163–173. Springer.
Auvinen, T. (2015). Harmful study habits in online learning environments with automatic assessment. 2015 International Conference on Learning and Teaching in Computing and Engineering, pages 50–57.
Dwan, F., Oliveira, E., and Fernandes, D. (2017). Predição de zona de aprendizagem de alunos de introdução à programação em ambientes de correção automática de código. Simpósio Brasileiro de Informática na Educação - SBIE, 28(1):1507.
Estey, A. and Coady, Y. (2016). Can interaction patterns with supplemental study tools predict outcomes in cs1? Proceedings of the 2016 ACM Conference on Innovation and Technology in Computer Science Education - ITiCSE’16, pages 236–241.
Estey, A., Keuning, H., and Coady, Y. (2017). Automatically classifying students in need of support by detecting changes in programming behaviour. Proceedings of the 2017 ACM SIGCSE Technical Symposium on Computer Science Education.
Ihantola, P., Vihavainen, A., Ahadi, A., Butler, M., Börstler, J., Edwards, S. H., Isohanni, E., Korhonen, A., Petersen, A., Rivers, K., Rubio, M., Sheard, J., Skupas, B., Spacco, J., Szabo, C., and Toll, D. (2015). Educational data mining and learning analytics in programming: Literature review and case studies. ACM. Proceedings of the 2015 ITiCSE on Working Group Reports, pages 41–63.
Kodinariya, T. M. and Makwana, P. R. (2013). Review on determining number of cluster in k-means clustering. International Journal, 1(6):90–95.
Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., Vanderplas, J., Passos, A., Cournapeau, D., Brucher, M., Perrot, M., and Duchesnay, E. (2011). Scikit-learn: Machine learning in python. Journal of Machine Learning Research, 12:2825–2830.
Pereira, F. D. (2018). Uso de um método preditivo para inferir a zona de aprendizagem de alunos de programação em um ambiente de correção automática de código. Dissertação (Mestrado em Ciência da Computação) – Instituto de Computação, Universidade Federal do Amazonas. Manaus.
Pereira, F. D., Oliveira, E., Cristea, A., Fernandes, D., Silva, L., Aguiar, G., Alamri, A., and Alshehri, M. (2019). Early dropout prediction for programming courses supported by online judges. pages 67–72. Springer.
Watson, C. and Li, F. W. (2014). Failure rates in introductory programming revisited. Proceedings of the 2014 Conference on Innovation & Technology in Computer Science Education, pages 39–44.
Alamri, A., Alshehri, M., Cristea, A., Pereira, F. D., Oliveira, E., Shi, L., and Stewart, C. (2019). Predicting moocs dropout using only two easily obtainable features from the first week’s activities. pages 163–173. Springer.
Auvinen, T. (2015). Harmful study habits in online learning environments with automatic assessment. 2015 International Conference on Learning and Teaching in Computing and Engineering, pages 50–57.
Dwan, F., Oliveira, E., and Fernandes, D. (2017). Predição de zona de aprendizagem de alunos de introdução à programação em ambientes de correção automática de código. Simpósio Brasileiro de Informática na Educação - SBIE, 28(1):1507.
Estey, A. and Coady, Y. (2016). Can interaction patterns with supplemental study tools predict outcomes in cs1? Proceedings of the 2016 ACM Conference on Innovation and Technology in Computer Science Education - ITiCSE’16, pages 236–241.
Estey, A., Keuning, H., and Coady, Y. (2017). Automatically classifying students in need of support by detecting changes in programming behaviour. Proceedings of the 2017 ACM SIGCSE Technical Symposium on Computer Science Education.
Ihantola, P., Vihavainen, A., Ahadi, A., Butler, M., Börstler, J., Edwards, S. H., Isohanni, E., Korhonen, A., Petersen, A., Rivers, K., Rubio, M., Sheard, J., Skupas, B., Spacco, J., Szabo, C., and Toll, D. (2015). Educational data mining and learning analytics in programming: Literature review and case studies. ACM. Proceedings of the 2015 ITiCSE on Working Group Reports, pages 41–63.
Kodinariya, T. M. and Makwana, P. R. (2013). Review on determining number of cluster in k-means clustering. International Journal, 1(6):90–95.
Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., Vanderplas, J., Passos, A., Cournapeau, D., Brucher, M., Perrot, M., and Duchesnay, E. (2011). Scikit-learn: Machine learning in python. Journal of Machine Learning Research, 12:2825–2830.
Pereira, F. D. (2018). Uso de um método preditivo para inferir a zona de aprendizagem de alunos de programação em um ambiente de correção automática de código. Dissertação (Mestrado em Ciência da Computação) – Instituto de Computação, Universidade Federal do Amazonas. Manaus.
Pereira, F. D., Oliveira, E., Cristea, A., Fernandes, D., Silva, L., Aguiar, G., Alamri, A., and Alshehri, M. (2019). Early dropout prediction for programming courses supported by online judges. pages 67–72. Springer.
Watson, C. and Li, F. W. (2014). Failure rates in introductory programming revisited. Proceedings of the 2014 Conference on Innovation & Technology in Computer Science Education, pages 39–44.
Publicado
11/11/2019
Como Citar
FONSECA, Samuel C.; OLIVEIRA, Elaine H. T.; PEREIRA, Filipe D.; DE OLIVEIRA, David Fernandes; CARVALHO, Leandro S. G..
Adaptação de um método preditivo para inferir o desempenho de alunos de programação. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 30. , 2019, Brasília/DF.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2019
.
p. 1651-1660.
DOI: https://doi.org/10.5753/cbie.sbie.2019.1651.
