Construção dinâmica de modelos de learning analytics explicáveis e justos aplicados ao acompanhamento de estudantes de graduação
Resumo
Com a crescente utilização da IA em diferentes áreas do conhecimento, urge a adoção de métricas e ferramentas que auxiliem na construção de modelos explicáveis, transparentes e éticos, especialmente no contexto educacional. Assim, não é suficiente que um modelo possua um bom desempenho, mas é necessário saber como o modelo está classificando um indivíduo e identificar possíveis vieses na classificação. Esse trabalho propõe um sistema que auxilia nessa atividade, a fim de identificar o risco de evasão dos estudantes no ensino superior. Os atributos dos discentes são utilizados para construir modelos de classificação explicáveis e justos. Assim, além de gráficos que explicam como o estudante foi classificado, as métricas de desempenho também são apresentadas por grupos como gênero ou raça a fim de identificar vieses algorítmicos.
Palavras-chave:
Learning Analytics, Aprendizado de Máquina, Inteligência Artificial Explicável, Ética na Inteligência Artificial, Inteligência Artificial na Educação, Educação, Evasão Estudantil
Referências
Barbosa, G., de Miranda, P., Mello, R., and Silva, R. (2019). Sequenciamento de algoritmos de amostragem para aumentar o desempenho de classificadores em conjuntos de dados desequilibrados. In Anais do XVI Encontro Nacional de Inteligência Artificial e Computacional, pages 413–423. SBC.
Carvalho, C. S., Mattos, J. C., and Aguiar, M. S. (2023). Avaliação da interpretabilidade de modelos por meio da clusterização de explicações no contexto da predição de evasão no ensino superior. In Anais do XXXIV Simpósio Brasileiro de Informática na Educação, pages 1191–1201. SBC.
de Mesquita, J. L., de Sousa, R. R., Nascimento, S. M., and de Souza, T. F. (2021). Academic analytics como apoio ao sucesso na graduação: uma revisão sistemática da literatura academic analytics to support undergraduate success: a systematic review of the literature. Brazilian Journal of Development, 7(10):99882–99897.
Filho, H., Brito, F. W., Vinuto, T. S., and Leal, B. C. (2020). Análise de classificadores para predição de evasão dos campi de uma instituição de ensino federal. In Anais do XXXI Simpósio Brasileiro de Informática na Educação, pages 1132–1141. SBC.
Gunning, D., Stefik, M., Choi, J., Miller, T., Stumpf, S., and Yang, G.-Z. (2019). Xai—explainable artificial intelligence. Science robotics, 4(37):eaay7120.
Han, J., Kamber, M., and Pei, J. (2011). Data Mining: Concepts and Techniques. Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 3rd edition.
Khosravi, H., Shum, S. B., Chen, G., Conati, C., Tsai, Y.-S., Kay, J., Knight, S., Martinez-Maldonado, R., Sadiq, S., and Gaševíc, D. (2022). Explainable artificial intelligence in education. Computers and Education: Artificial Intelligence, 3:100074.
Lundberg, S. M. and Lee, S.-I. (2017). A unified approach to interpreting model predictions. Advances in neural information processing systems, 30.
Marques, E., Cavalcanti, L., Barbosa, T., and Alves, G. (2023). Sabia: Uma plataforma para auxiliar a gestão baseada em evidências nas instituições de ensino superior. In Anais do II Workshop de Aplicações Práticas de Learning Analytics em Instituições de Ensino no Brasil, pages 71–80, Porto Alegre, RS, Brasil. SBC.
MEC (2014). Documento orientador para a superação da evasão e retenção na rede federal de educação profissional, científica e tecnológica.
Monard, M. C. and Baranauskas, J. A. (2003). Conceitos sobre aprendizado de máquina. Sistemas inteligentes-Fundamentos e aplicações, 1(1):32.
Neto, M. V. G., Vasconcelos, G. C., and Zanchettin, C. (2021). Mineração de dados aplicada à predição do desempenho de escolas e técnicas de interpretabilidade dos modelos. In Anais do XXXII Simpósio Brasileiro de Informática na Educação, pages 773–782. SBC.
Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., et al. (2011). Scikit-learn: Machine learning in python. the Journal of machine Learning research, 12:2825–2830.
Ruback, L., Carvalho, D., and Avila, S. (2022). Mitigando vieses no aprendizado de máquina: Uma análise sociotécnica mitigating bias in machine learning: A sociotechnical analysis.
Silva, L. G. d. L. (2024). O impacto da nova matriz curricular da licenciatura em computação no desempenho dos discentes. B.S. thesis, Brasil.
Van Hulse, J., Khoshgoftaar, T. M., and Napolitano, A. (2007). Experimental perspectives on learning from imbalanced data. In Proceedings of the 24th international conference on Machine learning, pages 935–942.
Wirth, R. and Hipp, J. (2000). Crisp-dm: Towards a standard process model for data mining. In Proceedings of the 4th international conference on the practical applications of knowledge discovery and data mining, volume 1, pages 29–39. Manchester.
Zapparolli, L., Stiubiener, I., Braga, J., and Pimentel, E. (2017). Aplicando técnicas de business intelligence e learning analytics em ambientes virtuais de aprendizagem. Simpósio Brasileiro de Informática na Educação, 28(1):536–545.
Carvalho, C. S., Mattos, J. C., and Aguiar, M. S. (2023). Avaliação da interpretabilidade de modelos por meio da clusterização de explicações no contexto da predição de evasão no ensino superior. In Anais do XXXIV Simpósio Brasileiro de Informática na Educação, pages 1191–1201. SBC.
de Mesquita, J. L., de Sousa, R. R., Nascimento, S. M., and de Souza, T. F. (2021). Academic analytics como apoio ao sucesso na graduação: uma revisão sistemática da literatura academic analytics to support undergraduate success: a systematic review of the literature. Brazilian Journal of Development, 7(10):99882–99897.
Filho, H., Brito, F. W., Vinuto, T. S., and Leal, B. C. (2020). Análise de classificadores para predição de evasão dos campi de uma instituição de ensino federal. In Anais do XXXI Simpósio Brasileiro de Informática na Educação, pages 1132–1141. SBC.
Gunning, D., Stefik, M., Choi, J., Miller, T., Stumpf, S., and Yang, G.-Z. (2019). Xai—explainable artificial intelligence. Science robotics, 4(37):eaay7120.
Han, J., Kamber, M., and Pei, J. (2011). Data Mining: Concepts and Techniques. Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 3rd edition.
Khosravi, H., Shum, S. B., Chen, G., Conati, C., Tsai, Y.-S., Kay, J., Knight, S., Martinez-Maldonado, R., Sadiq, S., and Gaševíc, D. (2022). Explainable artificial intelligence in education. Computers and Education: Artificial Intelligence, 3:100074.
Lundberg, S. M. and Lee, S.-I. (2017). A unified approach to interpreting model predictions. Advances in neural information processing systems, 30.
Marques, E., Cavalcanti, L., Barbosa, T., and Alves, G. (2023). Sabia: Uma plataforma para auxiliar a gestão baseada em evidências nas instituições de ensino superior. In Anais do II Workshop de Aplicações Práticas de Learning Analytics em Instituições de Ensino no Brasil, pages 71–80, Porto Alegre, RS, Brasil. SBC.
MEC (2014). Documento orientador para a superação da evasão e retenção na rede federal de educação profissional, científica e tecnológica.
Monard, M. C. and Baranauskas, J. A. (2003). Conceitos sobre aprendizado de máquina. Sistemas inteligentes-Fundamentos e aplicações, 1(1):32.
Neto, M. V. G., Vasconcelos, G. C., and Zanchettin, C. (2021). Mineração de dados aplicada à predição do desempenho de escolas e técnicas de interpretabilidade dos modelos. In Anais do XXXII Simpósio Brasileiro de Informática na Educação, pages 773–782. SBC.
Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., et al. (2011). Scikit-learn: Machine learning in python. the Journal of machine Learning research, 12:2825–2830.
Ruback, L., Carvalho, D., and Avila, S. (2022). Mitigando vieses no aprendizado de máquina: Uma análise sociotécnica mitigating bias in machine learning: A sociotechnical analysis.
Silva, L. G. d. L. (2024). O impacto da nova matriz curricular da licenciatura em computação no desempenho dos discentes. B.S. thesis, Brasil.
Van Hulse, J., Khoshgoftaar, T. M., and Napolitano, A. (2007). Experimental perspectives on learning from imbalanced data. In Proceedings of the 24th international conference on Machine learning, pages 935–942.
Wirth, R. and Hipp, J. (2000). Crisp-dm: Towards a standard process model for data mining. In Proceedings of the 4th international conference on the practical applications of knowledge discovery and data mining, volume 1, pages 29–39. Manchester.
Zapparolli, L., Stiubiener, I., Braga, J., and Pimentel, E. (2017). Aplicando técnicas de business intelligence e learning analytics em ambientes virtuais de aprendizagem. Simpósio Brasileiro de Informática na Educação, 28(1):536–545.
Publicado
04/11/2024
Como Citar
BARBOSA, Tarcísio; FREITAS, Nathan; CAVALCANTI, Lhaíslla; BATISTA, Maria da Conceicao Moraes; GOUVEIA, Roberta; ALVES, Gabriel.
Construção dinâmica de modelos de learning analytics explicáveis e justos aplicados ao acompanhamento de estudantes de graduação. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 35. , 2024, Rio de Janeiro/RJ.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2024
.
p. 1918-1930.
DOI: https://doi.org/10.5753/sbie.2024.242655.
