Análise do desempenho de aprendizagem de Machine Learning na Educação Básica aplicando a Teoria de Resposta ao Item

Resumo


A atual inserção de Machine Learning (ML) no dia-a-dia demonstra a importância de introduzir o ensino de conceitos de ML desde a Educação Básica. Acompanhando esta tendência surge a necessidade de avaliar essa aprendizagem. Neste artigo apresentamos a avaliação da validade e da confiabilidade de uma rubrica. Essa rubrica visa avaliar a aprendizagem pelo desempenho do aluno com base nos resultados da aprendizagem da aplicação de conceitos de ML por alunos dos anos finais do Ensino Fundamental e do Ensino Médio. Adotando a Teoria de Resposta ao Item apresentamos uma proposta preliminar da construção de uma escala para o nível de aprendizagem dos estudantes. Os resultados mostram que foi possível calibrar os parâmetros da Teoria de Resposta ao Item com índices satisfatórios de confiabilidade e validade, o que demonstra o potencial de utilização da rubrica de modo a auxiliar tanto alunos quanto pesquisadores e professores a promover o desenvolvimento do ensino de ML na Educação Básica.

Palavras-chave: Avaliação da aprendizagem, Machine Learning, Teoria de Resposta ao Item, TRI, Educação Básica

Referências

Alves, N. da C., Gresse von Wangenheim, C., Hauck, J. C. R., Borgatto, A. F., (2021a), An Item Response Theory Analysis of Algorithms and Programming Concepts in App Inventor Projects. In: Anais do Simpósio Brasileiro de Educação em Computação, Jataí, Goiás.

Alves, N. da C., Gresse von Wangenheim, C., Hauck, J. C. R., Borgatto, A. F., (2020a), A Large-scale Evaluation of a Rubric for the Automatic Assessment of Algorithms and Programming Concepts. In: Proc. of the 51st ACM Technical Symposium on Computer Science Education, Portland/USA, Pages 556–562.

Alves, N. da C., Solecki, I., Gresse von Wangenheim, C., Borgatto, A. F. Hauck, J. C. R., Ferreira, M. N. F., (2020b), Análise do Nível de Dificuldade dos Conceitos de Design de Interface de Usuário usando a Teoria de Resposta ao Item. In: Anais do Simpósio Brasileiro de Informática na Educação, Natal, Brasil.

Alves, N. da C., Gresse von Wangenheim, C., Alberto, M., Martins-Pacheco, L. H., (2020c), Uma Proposta de Avaliação da Originalidade do Produto no Ensino de Algoritmos e Programação na Educação Básica. In: Anais do Simpósio Brasileiro de Informática na Educação, Natal, Brasil.

Alves, N. da C., Gresse von Wangenheim, C., Martins-Pacheco, L. H., Borgatto, A. F., (2021b), Existem concordância e confiabilidade na avaliação da criatividade de resultados tangíveis da aprendizagem de computação na Educação Básica? In: Anais do Simpósio Brasileiro de Educação em Computação, Jataí, Goiás.

Anderson L. W. and Krathwohl D. R., (2001), A taxonomy for learning, teaching, and assessing: A revision of Bloom’s taxonomy of educational objectives, Longman.

Amershi S. et al. (2019), Software Engineering for Machine Learning: A Case Study. Proc. of the 41st International Conference on Software Engineering: Software Engineering in Practice, IEEE, 291–300.

Avila C. et al. (2017), Metodologias de Avaliação do Pensamento Computacional: uma revisão sistemática. Anais do Simpósio Brasileiro de Informática na Educação, 113.

BRASIL, (1996), LEI Nº 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Retrieved 01/09/2022 from http://www.planalto.gov.br/ccivil_03/leis/l9394.htm

Basili V. R., Caldiera G., and Rombach H. D., (1994), Goal Question Metric Paradigm. In Encyclopedia of Software Engineering, Wiley.

Brown T. A., (2015), Confirmatory factor analysis for applied research, Second edition. The Guilford Press.

Brennan K. e Resnick M., (2012), New frameworks for studying and assessing the development of computational thinking. Proc. of the Annual Meeting of the American Educational Research Association, Vancouver, Canada, 25.

Camada M. Y. e Durães G. M., (2020), Ensino da Inteligência Artificial na Educação Básica: um novo horizonte para as pesquisas brasileiras. Anais do XXXI Simpósio Brasileiro de Informática na Educação, SBC, 1553–1562.

Cappelleri J. C., Jason Lundy J., and Hays R. D., (2014), Overview of Classical Test Theory and Item Response Theory for the Quantitative Assessment of Items in Developing Patient-Reported Outcomes Measures. Clinical Therapeutics, 36(5), 648–662.

Caruso A. L. M. e Cavalheiro S. A. da C., (2021), Integração entre Pensamento Computacional e Inteligência Artificial: uma Revisão Sistemática de Literatura. Anais do XXXII Simpósio Brasileiro de Informática na Educação, SBC, 1051–1062.

de Andrade D. F., Tavares H. R., and da Cunha Valle R., (2000), Teoria da Resposta ao Item: conceitos e aplicações. ABE, Sao Paulo.

DeVellis R. F., (2017), Scale development: theory and applications, 4th ed. SAGE.

Finch, J. F. & West, SG (1997). The investigation of personality structure: statistical models. Journal of Research in Personality, 31(4), 439-485.

Flora D. B., (2020), Your Coefficient Alpha Is Probably Wrong, but Which Coefficient Omega Is Right? A Tutorial on Using R to Obtain Better Reliability Estimates. Advances in Methods and Practices in Psychological Science, 3(4), 484–501.

Google, (2020), Google Teachable Machine. Retrieved 01/06/2022 from https://teachablemachine.withgoogle.com/

Gresse von Wangenheim C. et al., (2018), CodeMaster - Automatic Assessment and Grading of App Inventor and Snap! Programs. Informatics in Education, 17(1), 117–150.

Gresse von Wangenheim C., Alves N. da C., Rauber M. F., Hauck J. C. R., and Yeter I. H., (2021), A Proposal for Performance-based Assessment of the Learning of Machine Learning Concepts and Practices in K-12. Informatics in Education, online.

Gresse von Wangenheim C., Marques L. S., and Hauck J. C. R., (2020), Machine Learning for All – Introducing Machine Learning in K-12, SocArXiv, 1-10.

Grover S., Pea R., and Cooper S., (2015), "Systems of Assessments" for deeper learning of computational thinking in K-12. Proc. of the Annual Meeting of the American Educational Research Association, 15–20.

Hattie J. and Timperley H., (2007), The Power of Feedback. Review of Educational Research, 77(1), 81–112.

Hitron T., Orlev Y., Wald I., Shamir A., Erel H., and Zuckerman O., (2019), Can Children Understand Machine Learning Concepts?: The Effect of Uncovering Black Boxes, Proc. of the 2019 CHI Conference on Human Factors in Computing Systems, ACM, 1–11.

Ho J. W. and Scadding M., (2019), Classroom Activities for Teaching Artificial Intelligence to Primary School Students. Proc. of the Int. Conference on Computational Thinking, 157-159.

House of Lords, (2018), AI in the UK: ready, willing and able, HL Paper 100.

Hsu T.-C., Abelson H., and Van Brummelen J., (2021), The Effects of Applying Experiential Learning into the Conversational AI Learning Platform on Secondary School Students. Preview Version. Accepted by the IRRODL Special Issue “AI e-Learning and Online Curriculum”.

Huba, M. E., and Freed, J. E. (2000). Learner-centered assessment on college campuses: Shifting the focus from teaching to learning. Allyn & Bacon.

Kandlhofer M., Steinbauer G., Hirschmugl-Gaisch S., and Huber P., (2016), Artificial intelligence and computer science in education: From kindergarten to university. Proc. of the Frontiers in Education Conference, IEEE, 1–9.

Laydner M., (2022), Automação da Avaliação de Aprendizagem de Machine Learning para classificação de Imagens no Ensino Fundamental. Trabalho de Conclusão de Curso. (Graduação em Sistemas de Informação) – Universidade Federal de Santa Catarina.

LeCun Y., Bengio Y., and Hinton G., (2015), Deep learning. Nature, 521(7553), 436–444.

Long D. and Magerko B., (2020), What is AI literacy? Competencies and design considerations. Proc. of the Conference on Human Factors in Computing Systems, ACM, 1–16.

Lordelo L. M. K., Hongyu K., Borja P. C., e Porsani M. J., (2018), Análise Fatorial por Meio da Matriz de Correlação de Pearson e Policórica no Campo das Cisternas. E&S Engineering and Science, 7(1), 58–70.

Lwakatare L. E., Raj A., Bosch J., Olsson H. H., and Crnkovic I., (2019), A taxonomy of software engineering challenges for machine learning systems: An empirical investigation. Proc. of the Int. Conference on Agile Software Development, Springer, 227–243.

Lye S. Y. and Koh J. H. L., (2014), Review on teaching and learning of computational thinking through programming: What is next for K-12? Computers in Human Behavior, 41, 51–61.

Marques L. S., von Wangenheim C. G., e Rossa Hauck J. C., (2020), Ensino de Machine Learning na Educação Básica: um Mapeamento Sistemático do Estado da Arte. Anais do XXXI Simpósio Brasileiro de Informática na Educação, SBC, 21–30.

Ministério da Educação, (2018), Base Nacional Comum Curricular. Retrieved 01/06/2022 from http://basenacionalcomum.mec.gov.br/

Mislevy R. J., Almond R. G., and Lukas J. F., (2003), A Brief Introduction to Evidence-Centered Design. ETS Research Report Series, 2003(1), i–29.

Mitchell T. M., (1997), Machine Learning, New York:McGraw-Hill.

Moskal B. M. and Leydens J. A., (2000), Scoring rubric development: Validity and reliability. Practical assessment, research, and evaluation, 7(1), 10.

Mukaka M. M., (2012), A guide to appropriate use of correlation coefficient in medical research. Malawi Medical journal, 24(3), 69–71.

Paek I. and Cole K., (2019), Using R for Item Response Theory Model Applications, 1 ed. Routledge.

Pedro F., Subosa M., Rivas A., and Valverde P., (2019), Artificial intelligence in education: Challenges and opportunities for sustainable development. UNESCO.

Ramos G., Meek C., Simard P., Suh J., and Ghorashi S., (2020), Interactive machine teaching: a human-centered approach to building machine-learned models. Human–Computer Interaction, 35(5–6), 413–451.

Rauber M. F. and Gresse von Wangenheim C., (2022), Assessing the Learning of Machine Learning in K-12: A Ten-Year Systematic Mapping. Informatics in Education, online.

Rauber M. F., Garcia A. B. Gresse von Wangenheim C., Borgatto, A.F, Martins, R. M. Hauck, J. C.. (2022), Confiabilidade e Validade da Avaliação do Desempenho de Aprendizagem de Machine Learning na Educação Básica. Proc. of XXXIII Simpósio Brasileiro de Informática na Educação, online.

Royal Society, (2017), Machine learning: the power and promise of computers that learn by example. Retrieved 01/06/2022 from royalsociety.org/machine-learning.

Sadler D. R., (1989), Formative assessment and the design of instructional systems. Instructional Science, 18(2), 119–144.

Shamir G. and Levin I., (2021), Neural Network Construction Practices in Elementary School. Künstliche Intelligenz, 35(2), 181–189.

SOLECKI, I.; PORTO, J. A.; ALVES, N. d. C., GRESSE VON WANGENHEIM, C., HAUCK, J. C. R., BORGATTO, A. F. Automated Assessment of the Visual Design of Android Apps Developed with App Inventor. In: Proc. of the 51st ACM Technical Symposium on Computer Science Education, Portland, USA, 2020, Pages 51–57.

Tang D., Utsumi Y., and Lao N., (2019), PIC: A Personal Image Classification Webtool for High School Students. Proc. of the 2019 IJCAI EduAI Workshop. IJCAI.

Touretzky D., Gardner-McCune C., Martin F., and Seehorn D., (2019), Envisioning AI for K-12: What Should Every Child Know about AI? Proc. of the AAAI Conference on Artificial Intelligence, 9795–9799.

Trochim W. M. K. and Donnelly J. P., (2008), The research methods knowledge base, 3rd ed. Mason, Atomic Dog/Cengage Learning.

UNESCO, (2022), K-12 AI curricula: a mapping of government-endorsed AI curricula. Retrieved 06/06/2022 from https://unesdoc.unesco.org/ark:/48223/pf0000380602

Yasar O., Veronesi P., Maliekal J., Little L., Vattana S., and Yeter I., (2016), Computational Pedagogy: Fostering a New Method of Teaching. Proc. of the Annual Conference & Exposition Proceedings, ASEE, 26550.

Morrison, Gary R. et al. (2019), Designing effective instruction. Eighth editioned. Hoboken, NJ: Wiley.

McMillan, James H. (org.) (2013), Sage handbook of research on classroom assessment. Los Angeles: Sage Publications.

Ministério da Educação (2022), Normas sobre Computação na Educação Básica – Complemento à Base Nacional Comum Curricular (BNCC). Parecer 02/2022 CNE/CEB/MEC. Retrieved 20/12/2022 from [link].
Publicado
24/04/2023
RAUBER, Marcelo Fernando; GRESSE VON WANGENHEIM, Christiane; BORGATTO, Adriano F.; MARTINS, Ramon Mayor. Análise do desempenho de aprendizagem de Machine Learning na Educação Básica aplicando a Teoria de Resposta ao Item. In: SIMPÓSIO BRASILEIRO DE EDUCAÇÃO EM COMPUTAÇÃO (EDUCOMP), 3. , 2023, Evento Online. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2023 . p. 37-48. DOI: https://doi.org/10.5753/educomp.2023.228159.