Uma proposta para avaliação do desempenho de aprendizagem de conceitos e práticas de Machine Learning em nível Create na Educação Básica
Resumo
Há uma tendência de incluir o ensino de Machine Learning (ML) já na Educação Básica, levando os alunos a criar suas próprias soluções inteligentes. Nesse contexto, propomos um modelo para avaliar o aprendizado dos alunos com base em uma rubrica de pontuação, que foi avaliada por especialistas. Os resultados fornecem uma primeira indicação da adequação do modelo em relação à consistência interna e à validade do conteúdo em termos de correção, relevância, integridade e clareza. Os especialistas também foram unânimes em apontar a adequação e a aplicabilidade do modelo de avaliação no contexto da Educação Básica, a fim de apoiar a avaliação no contexto do ensino de ML.Referências
Anderson L. W. and Krathwohl D. R., (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s taxonomy of educational objectives. New York, NY, USA: Longman.
Almeida, B. C. S. (2022). Desenvolvimento de um Curso Ensinando a Criação de Apps Inteligentes para a Classificação de Imagens com Machine Learning e Design Thinking. TCC. (Graduação em Sistemas de Informação) – UFSC.
Amershi, S. et al.(2019). Software Engineering for Machine Learning: A Case Study. Proc. of 41st Int.Conf. on Software Engineering: Software Engineering in Practice, Montreal, Canada.
Alves, N. da C., Gresse von Wangenheim, C., Alberto, M., and Martins-Pacheco, L. H. (2020), Uma Proposta de Avaliação da Originalidade do Produto no Ensino de Algoritmos e Programação na Educação Básica. Proc. of XXXI Simpósio Brasileiro de Informática na Educação, SBC.
Brookhart, S. M. (1999). The Art and Science of Classroom Assessment. ASHE-ERIC Higher Education Report, 27(1).
Camada M. Y. and Durães G. M., (2020), Ensino da Inteligência Artificial na Educação Básica: um novo horizonte para as pesquisas brasileiras. Proc. of XXXI Simpósio Brasileiro de Informática na Educação, SBC.
Caruso A. L. M. and Cavalheiro S. A. da C., (2021), Integração entre Pensamento Computacional e Inteligência Artificial: uma Revisão Sistemática de Literatura. Proc. of XXXII Simpósio Brasileiro de Informática na Educação, SBC.
CGI (2019). TIC Educação 2019. São Paulo, SP, Brasil: Cetic.
Da Cruz Alves, N., Gresse Von Wangenheim, C., and Hauck, J. C. R. (2019). Approaches to Assess Computational Thinking Competences Based on Code Analysis in K-12 Education: A Systematic Mapping Study. Informatics in Education, 18(1).
Fleiss, J. L., Levin, B., and Paik, M. C. (2003). Statistical methods for rates and proportions (3rd ed). John Wiley & Sons, Inc.
Google (2023). Google Teachable Machine. Retrieved 01/06/2023 from https://teachablemachine.withgoogle.com/.
Gamer, M., Lemon, J., and Singh, I. F. P. (2019). irr: Various Coefficients of Interrater Reliability and Agreement (0.84.1). https://cran.r-project.org/web/packages/irr/index.html
Gresse von Wangenheim, C. G. von, Hauck, J. C. R., Demetrio, M. F., Pelle, R., Cruz Alves, N. da, Barbosa, H. and Azevedo, L. F. (2018). CodeMaster—Automatic Assessment and Grading of App Inventor and Snap! Programs. Informatics in Education, 17(1).
Gresse von Wangenheim C., Alves N. da C., Rauber M. F., Hauck J. C. R., and Yeter I. H. (2021). A Proposal for Performance-based Assessment of the Learning of Machine Learning Concepts and Practices in K-12. Informatics in Education, 21(3).
Gresse von Wangenheim C., Marques L. S., and Hauck J. C. R. (2020). Machine Learning for All – Introducing Machine Learning in K-12, SocArXiv, 1-10.
Ho J. W. and Scadding M., (2019), Classroom Activities for Teaching Artificial Intelligence to Primary School Students. Proc. of the Int. Conf. on Computational Thinking, Hong Kong, China, 157-159.
Landis, J. R., and Koch, G. G. (1977). The measurement of Observer Agreement for Categorical Data. Biometrics, 33(1).
Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4).
LeCun Y., Bengio Y., and Hinton G., (2015), Deep learning. Nature, 521(7553).
Lee, I., Martin, F., Denner, J., Coulter, B., Allan, W., Erickson, J., Malyn-Smith, J., and Werner, L. (2011). Computational thinking for youth in practice. ACM Inroads, 2(1), 32–37.
Long, D., Magerko, B. (2020). What is AI literacy? Competencies and design considerations. Proc. of the Conf. on Human Factors in Computing Systems, Honolulu, HI, USA, 1–16.
Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel psychology, 28(4), 563–575.
Marques, L. S., Gresse von Wangenheim, C., and Hauck, J. C. (2020). Teaching machine learning in school: A systematic mapping of the state of the art. Informatics in Education, 19(2), 283-321.
MEC (2018), Base Nacional Comum Curricular. Ministry of Education. Brazil.
MEC (2020), Census of Basic Education 2020. Ministry of Education. Brazil.
MEC (2022), Normas sobre Computação na Educação Básica – Complemento à Base Nacional Comum Curricular (BNCC). Parecer 02/2022 CNE/CEB/MEC.
Mislevy R. J., Almond R. G., and Lukas J. F., (2003), A Brief Introduction to Evidence-Centered Design. ETS Research Report Series, 2003(1).
Mitchell, T. M. (1997), Machine Learning. New York, NY, USA: McGraw-Hill.
Moskal B. M. and Leydens J. A., (2000), Scoring rubric development: Validity and reliability. Practical assessment, research, and evaluation, 7(1).
Oliveira, F. P. (2022), TMIC Uma extensão do App Inventor para a implantação de modelos de ML voltados a classificação de imagens treinados no Teachable Machine. TCC. (Graduação em Sistemas de Informação) – UFSC.
Ramos G., Meek C., Simard P., Suh J., and Ghorashi S., (2020), Interactive machine teaching: a human-centered approach to building machine-learned models. Human–Computer Interaction, 35(5–6).
Rauber M. F. and Gresse Von Wangenheim C., (2022), Assessing the Learning of Machine Learning in K-12: A Ten-Year Systematic Mapping. Informatics in Education, 22(2), 295-328.
Rauber, M. F., Gresse von Wangenheim, C., Barbetta, P. A., Borgatto, A. F., Martins, R. M. and Hauck, J. R. (2023). Reliability and Validity of an Automated Model for Assessing the Learning of Machine Learning in Middle and High School: Experiences from the “ML for All!” course. Informatics in Education, online.
Royal Society, (2017), Machine learning: the power and promise of computers that learn by example. Retrieved 01/06/2022 from royalsociety.org/machine-learning.
Rubio, D. M., Berg-Weger, M., Tebb, S. S., Lee, E. S., and Rauch, S. (2003). Objectifying content validity: Conducting a content validity study in social work research. Social Work Research, 27(2).
Santos, P. S., Araujo, L. G. J., and Bittencourt, R. A. (2018). A mapping study of computational thinking and programming in brazilian k-12 education. Proc. of Frontiers in Education Conference, San Jose, CA, USA.
Seeratan, K. L., and Mislevy, R. J. (2008). Design patterns for assessing internal knowledge representations (PADI Technical Report 22). Menlo Park, USA: SRI International.
Touretzky, D., Gardner-McCune, C., Martin, F., and Seehorn D. (2019). Envisioning AI for K-12: What Should Every Child Know about AI? Proc. of the AAAI Conference on Artificial Intelligence, Honolulu, HI, USA, 33(01).
UNESCO (2022). K-12 AI curricula: a mapping of government-endorsed AI curricula. Retrieved 06/06/2022 from https://unesdoc.unesco.org/ark:/48223/pf0000380602
Almeida, B. C. S. (2022). Desenvolvimento de um Curso Ensinando a Criação de Apps Inteligentes para a Classificação de Imagens com Machine Learning e Design Thinking. TCC. (Graduação em Sistemas de Informação) – UFSC.
Amershi, S. et al.(2019). Software Engineering for Machine Learning: A Case Study. Proc. of 41st Int.Conf. on Software Engineering: Software Engineering in Practice, Montreal, Canada.
Alves, N. da C., Gresse von Wangenheim, C., Alberto, M., and Martins-Pacheco, L. H. (2020), Uma Proposta de Avaliação da Originalidade do Produto no Ensino de Algoritmos e Programação na Educação Básica. Proc. of XXXI Simpósio Brasileiro de Informática na Educação, SBC.
Brookhart, S. M. (1999). The Art and Science of Classroom Assessment. ASHE-ERIC Higher Education Report, 27(1).
Camada M. Y. and Durães G. M., (2020), Ensino da Inteligência Artificial na Educação Básica: um novo horizonte para as pesquisas brasileiras. Proc. of XXXI Simpósio Brasileiro de Informática na Educação, SBC.
Caruso A. L. M. and Cavalheiro S. A. da C., (2021), Integração entre Pensamento Computacional e Inteligência Artificial: uma Revisão Sistemática de Literatura. Proc. of XXXII Simpósio Brasileiro de Informática na Educação, SBC.
CGI (2019). TIC Educação 2019. São Paulo, SP, Brasil: Cetic.
Da Cruz Alves, N., Gresse Von Wangenheim, C., and Hauck, J. C. R. (2019). Approaches to Assess Computational Thinking Competences Based on Code Analysis in K-12 Education: A Systematic Mapping Study. Informatics in Education, 18(1).
Fleiss, J. L., Levin, B., and Paik, M. C. (2003). Statistical methods for rates and proportions (3rd ed). John Wiley & Sons, Inc.
Google (2023). Google Teachable Machine. Retrieved 01/06/2023 from https://teachablemachine.withgoogle.com/.
Gamer, M., Lemon, J., and Singh, I. F. P. (2019). irr: Various Coefficients of Interrater Reliability and Agreement (0.84.1). https://cran.r-project.org/web/packages/irr/index.html
Gresse von Wangenheim, C. G. von, Hauck, J. C. R., Demetrio, M. F., Pelle, R., Cruz Alves, N. da, Barbosa, H. and Azevedo, L. F. (2018). CodeMaster—Automatic Assessment and Grading of App Inventor and Snap! Programs. Informatics in Education, 17(1).
Gresse von Wangenheim C., Alves N. da C., Rauber M. F., Hauck J. C. R., and Yeter I. H. (2021). A Proposal for Performance-based Assessment of the Learning of Machine Learning Concepts and Practices in K-12. Informatics in Education, 21(3).
Gresse von Wangenheim C., Marques L. S., and Hauck J. C. R. (2020). Machine Learning for All – Introducing Machine Learning in K-12, SocArXiv, 1-10.
Ho J. W. and Scadding M., (2019), Classroom Activities for Teaching Artificial Intelligence to Primary School Students. Proc. of the Int. Conf. on Computational Thinking, Hong Kong, China, 157-159.
Landis, J. R., and Koch, G. G. (1977). The measurement of Observer Agreement for Categorical Data. Biometrics, 33(1).
Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4).
LeCun Y., Bengio Y., and Hinton G., (2015), Deep learning. Nature, 521(7553).
Lee, I., Martin, F., Denner, J., Coulter, B., Allan, W., Erickson, J., Malyn-Smith, J., and Werner, L. (2011). Computational thinking for youth in practice. ACM Inroads, 2(1), 32–37.
Long, D., Magerko, B. (2020). What is AI literacy? Competencies and design considerations. Proc. of the Conf. on Human Factors in Computing Systems, Honolulu, HI, USA, 1–16.
Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel psychology, 28(4), 563–575.
Marques, L. S., Gresse von Wangenheim, C., and Hauck, J. C. (2020). Teaching machine learning in school: A systematic mapping of the state of the art. Informatics in Education, 19(2), 283-321.
MEC (2018), Base Nacional Comum Curricular. Ministry of Education. Brazil.
MEC (2020), Census of Basic Education 2020. Ministry of Education. Brazil.
MEC (2022), Normas sobre Computação na Educação Básica – Complemento à Base Nacional Comum Curricular (BNCC). Parecer 02/2022 CNE/CEB/MEC.
Mislevy R. J., Almond R. G., and Lukas J. F., (2003), A Brief Introduction to Evidence-Centered Design. ETS Research Report Series, 2003(1).
Mitchell, T. M. (1997), Machine Learning. New York, NY, USA: McGraw-Hill.
Moskal B. M. and Leydens J. A., (2000), Scoring rubric development: Validity and reliability. Practical assessment, research, and evaluation, 7(1).
Oliveira, F. P. (2022), TMIC Uma extensão do App Inventor para a implantação de modelos de ML voltados a classificação de imagens treinados no Teachable Machine. TCC. (Graduação em Sistemas de Informação) – UFSC.
Ramos G., Meek C., Simard P., Suh J., and Ghorashi S., (2020), Interactive machine teaching: a human-centered approach to building machine-learned models. Human–Computer Interaction, 35(5–6).
Rauber M. F. and Gresse Von Wangenheim C., (2022), Assessing the Learning of Machine Learning in K-12: A Ten-Year Systematic Mapping. Informatics in Education, 22(2), 295-328.
Rauber, M. F., Gresse von Wangenheim, C., Barbetta, P. A., Borgatto, A. F., Martins, R. M. and Hauck, J. R. (2023). Reliability and Validity of an Automated Model for Assessing the Learning of Machine Learning in Middle and High School: Experiences from the “ML for All!” course. Informatics in Education, online.
Royal Society, (2017), Machine learning: the power and promise of computers that learn by example. Retrieved 01/06/2022 from royalsociety.org/machine-learning.
Rubio, D. M., Berg-Weger, M., Tebb, S. S., Lee, E. S., and Rauch, S. (2003). Objectifying content validity: Conducting a content validity study in social work research. Social Work Research, 27(2).
Santos, P. S., Araujo, L. G. J., and Bittencourt, R. A. (2018). A mapping study of computational thinking and programming in brazilian k-12 education. Proc. of Frontiers in Education Conference, San Jose, CA, USA.
Seeratan, K. L., and Mislevy, R. J. (2008). Design patterns for assessing internal knowledge representations (PADI Technical Report 22). Menlo Park, USA: SRI International.
Touretzky, D., Gardner-McCune, C., Martin, F., and Seehorn D. (2019). Envisioning AI for K-12: What Should Every Child Know about AI? Proc. of the AAAI Conference on Artificial Intelligence, Honolulu, HI, USA, 33(01).
UNESCO (2022). K-12 AI curricula: a mapping of government-endorsed AI curricula. Retrieved 06/06/2022 from https://unesdoc.unesco.org/ark:/48223/pf0000380602
Publicado
06/11/2023
Como Citar
RAUBER, Marcelo Fernando; WANGENHEIM, Christiane Gresse von.
Uma proposta para avaliação do desempenho de aprendizagem de conceitos e práticas de Machine Learning em nível Create na Educação Básica. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 34. , 2023, Passo Fundo/RS.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2023
.
p. 11-23.
DOI: https://doi.org/10.5753/sbie.2023.233528.
