Use of learning analytics to evaluate the efficiency of an introduction course of Artificial Intelligence
Abstract
The aim of this study was to evaluate the effectiveness of the online course “ABC of Artificial Intelligence”, adopting Behavior Analysis as an educational theory. A total of 244 participants took part in four iterations of the course, ranging from undergraduates in exact sciences to postgraduates from other fields. A 30-item true/false test was administered at the beginning (pre-test) and at the end of the course (post-test) to assess learning and self-confidence regarding their answers. We also assessed satisfaction with the course. We observed a statistically significant increase in correct answers and self-confidence between pre-test and post-test, with effect sizes ranging from moderate to high: 0.48 ≥ d ≤ 0.87 (learning) and 0.45 ≥ d ≤ 0.98 (self-confidence). Satisfaction with the course was high (M = 4.45, SD = 0.10). We hope that this course will be replicated and its resources, especially learning objectives and assessments, can be improved based on the freely available material on the Internet.
Keywords:
Computer Science Education, Artificial Intelligence Education, Programming teaching conditions
References
D. T. Wijayati, Z. Rahman, M. F. W. Rahman, I. D. C. Arifah, and A. Kautsar. 2022. A study of artificial intelligence on employee performance and work engagement: The moderating role of change leadership. International Journal of Manpower, 43, 2, 486-512. DOI: 10.1108/IJM-07-2021-0423
K. Schwab. 2019. A quarta revolução industrial. Edipro, São Paulo, Brasil.
T. Taulli. 2020. Introdução à Inteligência Artificial: Uma abordagem não técnica. Novatec Editora, São Paulo, Brasil.
B. C. Cianca, M. G. Panosso, and N. Kienen. 2020. Programação de Condições para Desenvolvimento de Comportamentos: Caracterização da produção científica brasileira de 1998-2017. Perspectivas em Análise do Comportamento, 11, 2, 114-136. DOI: 10.18761/PAC.2020.v11.n2.01
D. Zilio, and H. Neves-Filho. 2018. O que (não) há de “complexo” no comportamento? Behaviorismo radical, self, insight e linguagem. Psicologia USP, 29, 3, 374–384. DOI: 10.1590/0103-656420170027
N. Kienen, O. M. Kubo, and S. P. Botomé. 2013. Ensino programado e programação de condições para o desenvolvimento de comportamentos: Alguns aspectos no desenvolvimento de um campo de atuação do psicólogo. Acta Comportamentalia: Revista Latina de Análisis del Comportamiento, 21, 4, 481-494. Recuperado de: [link]
Brasil 2018. Base nacional comum curricular. Recuperado de: [link]
K. Freitas, I. Batista, W. Lima, P. Silva, and R. Ribeiro. 2022. Apresentando Inteligência Artificial para jovens do ensino médio: Um relato de experiência. In Anais do XXX Workshop sobre Educação em Computação, SBC, Porto Alegre, Rio Grande do Sul, 192-203. DOI: 10.5753/wei.2022.223075
G. F. Luger. 2013. Inteligência Artificial. Pearson Education do Brasil, São Paulo, Brasil.
L. Barboza, R. Mello, M. Modell, and E. S. Teixeira. 2023. Blockly-DS: Blocks Programming for Data Science with visual, statistical, descriptive and predictive analysis. In LAK23: 13th International Learning Analytics and Knowledge Conference, Association for Computing Machinery, New York, USA, 644-649. DOI: 10.1145/3576050.3576097
L. Marques, C. von Wangenheim, and J. R. Hauck. 2020. Ensino de Machine Learning na educação básica: Um mapeamento sistemático do estado da arte. In Anais do XXXI Simpósio Brasileiro de Informática na Educação, SBC, Porto Alegre, 21-30. DOI: 10.5753/cbie.sbie.2020.21
Herta, C.; Voigt, B.; Baumann, P.; Strohmenger, K.; Jansen, C.; Fischer, O.; Zhang, G.... (2019). Deep Teaching: Materials for Teaching Machine and Deep Learning. En HEAD'19. 5th International Conference on Higher Education Advances. Editorial Universitat Politècnica de València. 1153-1131. DOI: 10.4995/HEAD19.2019.9177
C. Romero, and S. Ventura. 2020. Educational data mining and learning analytics: An updated survey. Wiley interdisciplinary reviews: Data mining and knowledge discovery, 10, 3, e1355. DOI: 10.1002/widm.1355
M. Scheffel, H. Drachsler, S. Stoyanov, and M. Specht. 2014. Quality indicators for learning analytics. Journal of Educational Technology & Society, 17, 4, 117-132. [link]
A. Whitelock-Wainwright, D. Gašević, R. Tejeiro, Y. Tsai, and K. Bennett. 2019. The student expectations of Learning Analytics Questionnaire. Journal of Computer Assisted Learning, 35, 5, 633-666. DOI: 10.1111/jcal.12366
Y. Tsai, R. F. Mello, J. Jovanović, and D. Gašević. 2021. Student appreciation of data-driven feedback: A pilot study on OnTask. In LAK21: 11th International Learning Analytics and Knowledge Conference (LAK21), Association for Computing Machinery, New York, USA, 511-517. DOI: 10.1145/3448139.3448212
T. P. Falcão, R. L. Rodrigues, C. Cechinel, D. Dermeval, E. H. T. Oliveira, I. Gasparini, R. D. Araújo, T. Primo, D. Gasevic, and R. F. Mello. 2022. A Penny for your thoughts: Students and instructors’ expectations about learning analytics in Brazil. In LAK22: 12th International Learning Analytics and Knowledge Conference (LAK22), Association for Computing Machinery, New York, USA, 186-196. DOI: 10.1145/3506860.3506886
A. L. Cortegoso, and D. S. Coser. 2013. Elaboração de programas de ensino: Material autoinstrutivo. Edufscar, São Carlos, São Paulo, Brasil.
A. L. R. Schleich, S. A. J. Polydoro, and A. A. A. Santos. 2006. Escala de satisfação com a experiência acadêmica de estudantes do ensino superior. Avaliação Psicológica, 5, 1, 11-20. Recuperado de: [link]
J. Hattie. 2015. What works best in education: The politics of collaborative expertise. Pearson, London, UK. Recuperado de: [link]
R. Poy Castro and A. Gonzales Aguilar. 2014. Factores de éxito de los MOOC: Algunas consideraciones críticas. RISTI - Revista Ibérica de Sistemas e Tecnologias de Informação, E1, 3, 105-118. Conference Location:El Paso, Texas USA. [link]
M. H. O. Henklain, and J. Vieira-Santos. 2022. O que se espera do professor universitário em relação ao ensino? Respostas a partir de instrumentos avaliativos. In M. H. O. Henklain (org.), Desempenho acadêmico e profissional: Relatos de pesquisa para inspirar novas investigações científicas, Pedro & João Editores, São Carlos, Brasil, 237-263. [link]
K. Schwab. 2019. A quarta revolução industrial. Edipro, São Paulo, Brasil.
T. Taulli. 2020. Introdução à Inteligência Artificial: Uma abordagem não técnica. Novatec Editora, São Paulo, Brasil.
B. C. Cianca, M. G. Panosso, and N. Kienen. 2020. Programação de Condições para Desenvolvimento de Comportamentos: Caracterização da produção científica brasileira de 1998-2017. Perspectivas em Análise do Comportamento, 11, 2, 114-136. DOI: 10.18761/PAC.2020.v11.n2.01
D. Zilio, and H. Neves-Filho. 2018. O que (não) há de “complexo” no comportamento? Behaviorismo radical, self, insight e linguagem. Psicologia USP, 29, 3, 374–384. DOI: 10.1590/0103-656420170027
N. Kienen, O. M. Kubo, and S. P. Botomé. 2013. Ensino programado e programação de condições para o desenvolvimento de comportamentos: Alguns aspectos no desenvolvimento de um campo de atuação do psicólogo. Acta Comportamentalia: Revista Latina de Análisis del Comportamiento, 21, 4, 481-494. Recuperado de: [link]
Brasil 2018. Base nacional comum curricular. Recuperado de: [link]
K. Freitas, I. Batista, W. Lima, P. Silva, and R. Ribeiro. 2022. Apresentando Inteligência Artificial para jovens do ensino médio: Um relato de experiência. In Anais do XXX Workshop sobre Educação em Computação, SBC, Porto Alegre, Rio Grande do Sul, 192-203. DOI: 10.5753/wei.2022.223075
G. F. Luger. 2013. Inteligência Artificial. Pearson Education do Brasil, São Paulo, Brasil.
L. Barboza, R. Mello, M. Modell, and E. S. Teixeira. 2023. Blockly-DS: Blocks Programming for Data Science with visual, statistical, descriptive and predictive analysis. In LAK23: 13th International Learning Analytics and Knowledge Conference, Association for Computing Machinery, New York, USA, 644-649. DOI: 10.1145/3576050.3576097
L. Marques, C. von Wangenheim, and J. R. Hauck. 2020. Ensino de Machine Learning na educação básica: Um mapeamento sistemático do estado da arte. In Anais do XXXI Simpósio Brasileiro de Informática na Educação, SBC, Porto Alegre, 21-30. DOI: 10.5753/cbie.sbie.2020.21
Herta, C.; Voigt, B.; Baumann, P.; Strohmenger, K.; Jansen, C.; Fischer, O.; Zhang, G.... (2019). Deep Teaching: Materials for Teaching Machine and Deep Learning. En HEAD'19. 5th International Conference on Higher Education Advances. Editorial Universitat Politècnica de València. 1153-1131. DOI: 10.4995/HEAD19.2019.9177
C. Romero, and S. Ventura. 2020. Educational data mining and learning analytics: An updated survey. Wiley interdisciplinary reviews: Data mining and knowledge discovery, 10, 3, e1355. DOI: 10.1002/widm.1355
M. Scheffel, H. Drachsler, S. Stoyanov, and M. Specht. 2014. Quality indicators for learning analytics. Journal of Educational Technology & Society, 17, 4, 117-132. [link]
A. Whitelock-Wainwright, D. Gašević, R. Tejeiro, Y. Tsai, and K. Bennett. 2019. The student expectations of Learning Analytics Questionnaire. Journal of Computer Assisted Learning, 35, 5, 633-666. DOI: 10.1111/jcal.12366
Y. Tsai, R. F. Mello, J. Jovanović, and D. Gašević. 2021. Student appreciation of data-driven feedback: A pilot study on OnTask. In LAK21: 11th International Learning Analytics and Knowledge Conference (LAK21), Association for Computing Machinery, New York, USA, 511-517. DOI: 10.1145/3448139.3448212
T. P. Falcão, R. L. Rodrigues, C. Cechinel, D. Dermeval, E. H. T. Oliveira, I. Gasparini, R. D. Araújo, T. Primo, D. Gasevic, and R. F. Mello. 2022. A Penny for your thoughts: Students and instructors’ expectations about learning analytics in Brazil. In LAK22: 12th International Learning Analytics and Knowledge Conference (LAK22), Association for Computing Machinery, New York, USA, 186-196. DOI: 10.1145/3506860.3506886
A. L. Cortegoso, and D. S. Coser. 2013. Elaboração de programas de ensino: Material autoinstrutivo. Edufscar, São Carlos, São Paulo, Brasil.
A. L. R. Schleich, S. A. J. Polydoro, and A. A. A. Santos. 2006. Escala de satisfação com a experiência acadêmica de estudantes do ensino superior. Avaliação Psicológica, 5, 1, 11-20. Recuperado de: [link]
J. Hattie. 2015. What works best in education: The politics of collaborative expertise. Pearson, London, UK. Recuperado de: [link]
R. Poy Castro and A. Gonzales Aguilar. 2014. Factores de éxito de los MOOC: Algunas consideraciones críticas. RISTI - Revista Ibérica de Sistemas e Tecnologias de Informação, E1, 3, 105-118. Conference Location:El Paso, Texas USA. [link]
M. H. O. Henklain, and J. Vieira-Santos. 2022. O que se espera do professor universitário em relação ao ensino? Respostas a partir de instrumentos avaliativos. In M. H. O. Henklain (org.), Desempenho acadêmico e profissional: Relatos de pesquisa para inspirar novas investigações científicas, Pedro & João Editores, São Carlos, Brasil, 237-263. [link]
Published
2024-04-22
How to Cite
HENKLAIN, Marcelo Henrique Oliveira et al.
Use of learning analytics to evaluate the efficiency of an introduction course of Artificial Intelligence. In: BRAZILIAN SYMPOSIUM ON COMPUTING EDUCATION (EDUCOMP), 4. , 2024, Evento Online.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2024
.
p. 113-122.
ISSN 3086-0733.
DOI: https://doi.org/10.5753/educomp.2024.237389.
