Dynamic construction of explainable and fair learning analytics models applied to the monitoring of undergraduate students.

• Tarcísio Barbosa Federal Rural University of Pernambuco (UFRPE)
• Nathan Freitas Federal Rural University of Pernambuco (UFRPE)
• Lhaíslla Cavalcanti Federal Rural University of Pernambuco (UFRPE) https://orcid.org/0009-0000-4836-2738
• Maria da Conceicao Moraes Batista Federal Rural University of Pernambuco (UFRPE) https://orcid.org/0000-0002-8838-2503
• Roberta Gouveia Federal Rural University of Pernambuco (UFRPE)
• Gabriel Alves Federal Rural University of Pernambuco (UFRPE) https://orcid.org/0000-0002-2249-7818

DOI: https://doi.org/10.5753/sbie.2024.242655

Abstract

With the growing use of AI in various fields, there is an urgent need for metrics and tools that assist in building explainable, transparent, and ethical models, particularly within the educational context. Thus, it is not sufficient for a model to merely perform well; it is essential to understand how it classifies individuals and to identify potential biases in this classification. This paper proposes a system that aids in this process, aiming to identify the risk of student dropout in higher education. It uses students' attributes to build classification models that are both explainable and fair. In addition to providing charts that clarify how the student was classified, performance metrics are also presented across different groups, such as gender or race, to detect algorithmic biases.

Keywords: Learning Analytics, Machine Learning, Explainable Artificial Intelligence, Artificial Intelligence Ethics, Artificial Intelligence in Education, Education, Student Dropout

References

Barbosa, G., de Miranda, P., Mello, R., and Silva, R. (2019). Sequenciamento de algoritmos de amostragem para aumentar o desempenho de classificadores em conjuntos de dados desequilibrados. In Anais do XVI Encontro Nacional de Inteligência Artificial e Computacional, pages 413–423. SBC.

Carvalho, C. S., Mattos, J. C., and Aguiar, M. S. (2023). Avaliação da interpretabilidade de modelos por meio da clusterização de explicações no contexto da predição de evasão no ensino superior. In Anais do XXXIV Simpósio Brasileiro de Informática na Educação, pages 1191–1201. SBC.

de Mesquita, J. L., de Sousa, R. R., Nascimento, S. M., and de Souza, T. F. (2021). Academic analytics como apoio ao sucesso na graduação: uma revisão sistemática da literatura academic analytics to support undergraduate success: a systematic review of the literature. Brazilian Journal of Development, 7(10):99882–99897.

Filho, H., Brito, F. W., Vinuto, T. S., and Leal, B. C. (2020). Análise de classificadores para predição de evasão dos campi de uma instituição de ensino federal. In Anais do XXXI Simpósio Brasileiro de Informática na Educação, pages 1132–1141. SBC.

Gunning, D., Stefik, M., Choi, J., Miller, T., Stumpf, S., and Yang, G.-Z. (2019). Xai—explainable artificial intelligence. Science robotics, 4(37):eaay7120.

Han, J., Kamber, M., and Pei, J. (2011). Data Mining: Concepts and Techniques. Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 3rd edition.

Khosravi, H., Shum, S. B., Chen, G., Conati, C., Tsai, Y.-S., Kay, J., Knight, S., Martinez-Maldonado, R., Sadiq, S., and Gaševíc, D. (2022). Explainable artificial intelligence in education. Computers and Education: Artificial Intelligence, 3:100074.

Lundberg, S. M. and Lee, S.-I. (2017). A unified approach to interpreting model predictions. Advances in neural information processing systems, 30.

Marques, E., Cavalcanti, L., Barbosa, T., and Alves, G. (2023). Sabia: Uma plataforma para auxiliar a gestão baseada em evidências nas instituições de ensino superior. In Anais do II Workshop de Aplicações Práticas de Learning Analytics em Instituições de Ensino no Brasil, pages 71–80, Porto Alegre, RS, Brasil. SBC.

MEC (2014). Documento orientador para a superação da evasão e retenção na rede federal de educação profissional, científica e tecnológica.

Monard, M. C. and Baranauskas, J. A. (2003). Conceitos sobre aprendizado de máquina. Sistemas inteligentes-Fundamentos e aplicações, 1(1):32.

Neto, M. V. G., Vasconcelos, G. C., and Zanchettin, C. (2021). Mineração de dados aplicada à predição do desempenho de escolas e técnicas de interpretabilidade dos modelos. In Anais do XXXII Simpósio Brasileiro de Informática na Educação, pages 773–782. SBC.

Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., et al. (2011). Scikit-learn: Machine learning in python. the Journal of machine Learning research, 12:2825–2830.

Ruback, L., Carvalho, D., and Avila, S. (2022). Mitigando vieses no aprendizado de máquina: Uma análise sociotécnica mitigating bias in machine learning: A sociotechnical analysis.

Silva, L. G. d. L. (2024). O impacto da nova matriz curricular da licenciatura em computação no desempenho dos discentes. B.S. thesis, Brasil.

Van Hulse, J., Khoshgoftaar, T. M., and Napolitano, A. (2007). Experimental perspectives on learning from imbalanced data. In Proceedings of the 24th international conference on Machine learning, pages 935–942.

Wirth, R. and Hipp, J. (2000). Crisp-dm: Towards a standard process model for data mining. In Proceedings of the 4th international conference on the practical applications of knowledge discovery and data mining, volume 1, pages 29–39. Manchester.

Zapparolli, L., Stiubiener, I., Braga, J., and Pimentel, E. (2017). Aplicando técnicas de business intelligence e learning analytics em ambientes virtuais de aprendizagem. Simpósio Brasileiro de Informática na Educação, 28(1):536–545.