Explorando Teoria de Resposta ao Item na Avaliação de Pensamento Computacional: um Estudo em Questões da Competição Bebras
Resumo
Avaliar Pensamento Computacional (PC) é uma questão de pesquisa em aberto, principalmente pela complexidade de se avaliar habilidades cognitivas. Embora a competição Bebras seja uma iniciativa para estimular PC, ainda não sabemos sua adequação para mensurar PC. Neste estudo exploratório, investigamos se as questões produzidas para a competição Bebras podem ser usadas para avaliação de PC usando como método a Teoria de Resposta ao Item para estimar os parâmetros dos itens. Os resultados apontaram que as questões analisadas apresentam discriminação moderada e alta, e dificuldade fácil e moderada. Entretanto, o conjunto de questões analisado ainda não apresenta nível de confiabilidade adequado para ser usado como instrumento avaliativo.
Palavras-chave:
Pensamento Computacional, Teoria de Resposta ao Item, Bebras, avaliação psicométrica, confiabilidade
Referências
Araujo, A. L. S. O., Andrade, W. L., and Guerrero, D. D. S. (2016). A systematic mapping study on assessing computational thinking abilities. In Frontiers in education conference (FIE), 2016 IEEE, pages 1–9. IEEE.
Araujo, A. L. S. O., Santos, J. S., Andrade, W. L., Guerrero, D. D. S., and Dagiene, V. (2017). Exploring computational thinking assessment in introductory programming courses. In 2017 IEEE Frontiers in Education Conference (FIE), pages 1–9. IEEE.
Avila, C., Cavalheiro, S., Bordini, A., Marques, M., Cardoso, M., and Feijo, G. (2017). Metodologias de avaliação do pensamento computacional: uma revisão sistemática. In Simpósio Brasileiro de Informática na Educação, volume 28, page 113.
Baker, F. B. (2001). The basics of item response theory. ERIC. Disponível em: [link].
Barcelos, T., Souza, A., Silva, L., Mũnoz, R., and Acevedo, R. V. (2017). Mensurando o desenvolvimento do pensamento computacional por meio de mapas auto-organizáveis: um estudo preliminar em uma oficina de jogos digitais. In Anais dos Workshops do Congresso Brasileiro de Informática na Educação, volume 6, page 932.
Blokhuis, D., Millican, P., Roffey, C., Schrijvers, E., and Sentance, S. (2014). UK Bebras Computational Thinking Challenge. Disponível em : [link].
Csizmadia, A., Curzon, P., Dorling, M., Humphreys, S., Ng, T., Selby, C., and Woollard, J. (2015). Computational thinking: A guide for teachers. Google Scholar.
Dagiene, V. and Stupuriene, G. (2016). Bebras-a sustainable community building model for the concept based learning of informatics and computational thinking. Informatics in Education, 15(1):25.
Germain, S., Valois, P., and Abdous, B. (2006). libirt - item response theory library.
Hutz, C. S., Bandeira, D. R., and Trentini, C. M. (2015). Psicometria. Artmed Editora.
Raabe, A., Santana, A. L. M., Ellery, N., and Gonçalves, F. (2017). Um instrumento para diagnóstico do pensamento computacional. In Anais dos Workshops do Congresso Brasileiro de Informática na Educação, volume 6, page 1172.
Román-González, M., Pérez-González, J.-C., Moreno-León, J., and Robles, G. (2016). Does computational thinking relate with personality?: the non-cognitive side of computational thinking. In Proceedings of the Fourth International Conference on Technological Ecosystems for Enhancing Multiculturality, pages 51–58. ACM.
Wing, J. M. (2006). Computational thinking. Communications of the ACM, 49(3):33–35.
Araujo, A. L. S. O., Santos, J. S., Andrade, W. L., Guerrero, D. D. S., and Dagiene, V. (2017). Exploring computational thinking assessment in introductory programming courses. In 2017 IEEE Frontiers in Education Conference (FIE), pages 1–9. IEEE.
Avila, C., Cavalheiro, S., Bordini, A., Marques, M., Cardoso, M., and Feijo, G. (2017). Metodologias de avaliação do pensamento computacional: uma revisão sistemática. In Simpósio Brasileiro de Informática na Educação, volume 28, page 113.
Baker, F. B. (2001). The basics of item response theory. ERIC. Disponível em: [link].
Barcelos, T., Souza, A., Silva, L., Mũnoz, R., and Acevedo, R. V. (2017). Mensurando o desenvolvimento do pensamento computacional por meio de mapas auto-organizáveis: um estudo preliminar em uma oficina de jogos digitais. In Anais dos Workshops do Congresso Brasileiro de Informática na Educação, volume 6, page 932.
Blokhuis, D., Millican, P., Roffey, C., Schrijvers, E., and Sentance, S. (2014). UK Bebras Computational Thinking Challenge. Disponível em : [link].
Csizmadia, A., Curzon, P., Dorling, M., Humphreys, S., Ng, T., Selby, C., and Woollard, J. (2015). Computational thinking: A guide for teachers. Google Scholar.
Dagiene, V. and Stupuriene, G. (2016). Bebras-a sustainable community building model for the concept based learning of informatics and computational thinking. Informatics in Education, 15(1):25.
Germain, S., Valois, P., and Abdous, B. (2006). libirt - item response theory library.
Hutz, C. S., Bandeira, D. R., and Trentini, C. M. (2015). Psicometria. Artmed Editora.
Raabe, A., Santana, A. L. M., Ellery, N., and Gonçalves, F. (2017). Um instrumento para diagnóstico do pensamento computacional. In Anais dos Workshops do Congresso Brasileiro de Informática na Educação, volume 6, page 1172.
Román-González, M., Pérez-González, J.-C., Moreno-León, J., and Robles, G. (2016). Does computational thinking relate with personality?: the non-cognitive side of computational thinking. In Proceedings of the Fourth International Conference on Technological Ecosystems for Enhancing Multiculturality, pages 51–58. ACM.
Wing, J. M. (2006). Computational thinking. Communications of the ACM, 49(3):33–35.
Publicado
29/10/2018
Como Citar
ARAUJO, Ana Liz Souto O.; ANDRADE, Wilkerson L.; GUERRERO, Dalton D. S.; MELO, Monilly Ramos A.; SOUZA, Isabelle Maria Lima de.
Explorando Teoria de Resposta ao Item na Avaliação de Pensamento Computacional: um Estudo em Questões da Competição Bebras. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 29. , 2018, Fortaleza/CE.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2018
.
p. 665-674.
DOI: https://doi.org/10.5753/cbie.sbie.2018.665.
