Learning Analytics em Cursos de Introdução à Programação: Uma Mostra da Universidade Federal do Amazonas
DOI:
https://doi.org/10.5753/rbie.2023.3334Palavras-chave:
Reprovação, Análise de Aprendizagem, Cursos, Introdução à ComputaçãoResumo
Os cursos introdutórios de computação têm uma alta taxa de reprovação em todo o mundo. Na Universidade Federal do Amazonas isso também acontece e, desde 2016, um grupo de professores decidiu reformular o curso da instituição e algumas iniciativas de learning analytics foram adotadas. A reformulação incluiu uma revisão do programa do curso e o uso de um juiz online. Depois de todos esses anos de pesquisa, o grupo tem material e dados suficientes e é um bom momento para resumir o que foi feito e as conquistas até agora. Neste artigo, o foco será a análise de aprendizagem em três áreas principais: previsão de desempenho do aluno, classificação de dificuldade de exercícios de programação e gamificação. Além disso, como contribuição, pela primeira vez em um periódico, todo o conjunto de dados está disponível para a comunidade.
Downloads
Referências
Alonso-Fernandez, C., Calvo Morata, A., Freire, M., Martínez-Ortiz, I., & Manjón, B. (2017). Systematizing game learning analytics for serious games. In Proceedings of 2017 IEEE Global Engineering Education Conference (EDUCON) (pp. 1106–1113). IEEE. DOI: http://doi.org/10.1109/EDUCON.2017.7942988. [GS Search]
Barata, G., Gama, S., Jorge, J., & Gonçalves, D. (2014, 10). Relating gaming habits with student performance in a gamified learning experience. CHI PLAY 2014 – Proceedings of the 2014 Annual Symposium on Computer-Human Interaction in Play, 17–25. DOI: http://doi.org/10.1145/2658537.2658692. [GS Search]
Bartle, R. (1996). Hearts, clubs, diamonds, spades: Players who suit muds. Journal of MUD research, 1(1), 19. Retrieved from: [Link]. [GS Search]
Beckmann, J. F., Birney, D. P., & Goode, N. (2017). Beyond psychometrics: the difference between difficult problem solving and complex problem solving. Frontiers in psychology, 8, 1739. DOI: http://doi.org/10.3389/fpsyg.2017.01739. [GS Search]
Bennedsen, J., & Caspersen, M. E. (2019, apr). Failure rates in introductory programming: 12 years later. ACM Inroads, 10(2), 30–36. DOI: https://doi.org/10.1145/3324888. [GS Search]
Blikstein, P. (2011). Using learning analytics to assess students’ behavior in open-ended programming tasks. In Proceedings of the 1st International Conference on Learning Analytics and Knowledge (p. 110-–116). New York, NY, USA: Association for Computing Machinery. DOI: https://doi.org/10.1145/2090116.2090132. [GS Search]
Calderón, A., & Ruiz, M. (2015). A systematic literature review on serious games evaluation: An application to software project management. Computers Education, 87, 396–422. DOI: https://doi.org/10.1016/j.compedu.2015.07.011. [GS Search]
Carter, A., Hundhausen, C., & Olivares, D. (2019). Leveraging the integrated development environment for learning analytics. In The Cambridge Handbook of Computing Education Research (pp. 679–706). Cambridge: Cambridge University Press. DOI: https://doi.org/10.1017/9781108654555.024. [GS Search]
Carvalho, L. S. G., Oliveira, D. F., & Gadelha, B. (2016, 11). Juiz online como ferramenta de apoio a uma metodologia de ensino híbrido em programação. In Proceedings of the XXVII Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação – SBIE 2016) (pp. 140–149). SBC. DOI: https://doi.org/10.5753/cbie.sbie.2016.140. [GS Search]
Castro-Wunsch, K., Ahadi, A., & Petersen, A. (2017). Evaluating neural networks as a method for identifying students in need of assistance. In Proceedings of the 2017 ACM SIGCSE Technical Symposium on Computer Science Education (p. 111-–116). New York, NY, USA: Association for Computing Machinery. DOI: https://doi.org/10.1145/3017680.3017792. [GS Search]
Costa, E. B., Fonseca, B., Santana, M. A., de Araújo, F. F., & Rego, J. (2017). Evaluating the effectiveness of educational data mining techniques for early prediction of students’ academic failure in introductory programming courses. Computers in Human Behavior, 73, 247–256. DOI: https://doi.org/10.1016/j.chb.2017.01.047. [GS Search]
Echeverría, L., Cobos, R., Machuca, L., & Claros, I. (2017). Using collaborative learning scenarios to teach programming to non-cs majors. Computer Applications in Engineering Education, 25(5), 719-731. DOI: https://doi.org/10.1002/cae.21832. [GS Search]
Edwards, J., Leinonen, J., & Hellas, A. (2020). A study of keystroke data in two contexts: Written language and programming language influence predictability of learning outcomes. In Proceedings of the 51st ACM Technical Symposium on Computer Science Education (pp. 413–419). DOI: https://doi.org/10.1145/3328778.3366863. [GS Search]
Effenberger, T., Cechák, J., & Pelánek, R. (2019). Difficulty and complexity of introductory programming problems. In Educational Data Mining in Computer Science Education (CSEDM). Retrieved from [Link]. [GS Search]
Effenberger, T., Čechák, J., & Pelánek, R. (2019). Measuring difficulty of introductory programming tasks. In Proceedings of the Sixth (2019) ACM Conference on Learning @ Scale. New York, NY, USA: Association for Computing Machinery. DOI: https://doi.org/10.1145/3330430.3333641. [GS Search]
Elnaffar, S. (2016). Using software metrics to predict the difficulty of code writing questions. In 2016 IEEE Global Engineering Education Conference (EDUCON) (pp. 513–518). DOI: https://doi.org/10.1109/EDUCON.2016.7474601. [GS Search]
Fernandes, J., Carvalho, L. S. G., Oliveira, D. F., Oliveira, E. H. T., Pereira, F. D., & Lauschner, T. (2023). Correlação entre complexidade e dificuldade de questões de programação em juízes online. In Anais do III Simpósio Brasileiro de Educação em Computação (pp. 97–107). DOI: https://doi.org/10.5753/educomp.2023.228217. [GS Search]
Ferreira, R. M., et al. (2023). Um estudo sobre a tipologia de usuários Hexad e sua relação com os elementos de jogos de uma plataforma de gamificação baseada em jogos RPG. Master thesis, Universidade Federal do Amazonas, Manaus, AM. Retrieved from [Link]. [GS Search]
Fonseca, S., Oliveira, E., Pereira, F. D., Oliveira, D. F., & Carvalho, L. S. G. (2019). Adaptação de um método preditivo para inferir o desempenho de alunos de programação. In Proceedings of the XXX Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação – SBIE 2019) (Vol. 30, pp. 1651–1660).DOI: https://doi.org/10.5753/cbie.sbie.2019.1651. [GS Search]
Freire, M., Serrano-Laguna, A., Manero, B., Martínez-Ortiz, I., Moreno-Ger, P., & Fernández-Manjón, B. (2016). Game learning analytics: Learning analytics for serious games. In Learning, Design, and Technology (pp. 1–29). Springer Nature Switzerland AG.DOI: https://doi.org/10.1007/978-3-319-17727-4_21-1. [GS Search]
Hallifax, S., Serna, A., Marty, J.-C., Lavoué, G., & Lavoué, E. (2019). Factors to consider for tailored gamification. In Proceedings of the Annual Symposium on Computer-Human Interaction in Play (pp. 559–572).DOI: https://doi.org/10.1145/3311350.3347167. [GS Search]
Ihantola, P., Hellas, A., Butler, M., Börstler, J., Edwards, S., Isohanni, E., ... Toll, D. (2015). Educational data mining and learning analytics in programming: Literature review and case studies. In Proceedings of the 2015 ITiCSE on Working Group Reports (p. 41—63). New York, NY, USA: Association for Computing Machinery. DOI: https://doi.org/10.1145/2858796.2858798. [GS Search]
INEP (2017). Relatório Síntese de Área – Ciência da Computação (Tech. Rep.). Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Retrieved from [Link]
Jadud, M. C. (2006). Methods and tools for exploring novice compilation behaviour. In Proceedings of the Second International Workshop on Computing Education Re-search (p. 73–84). New York, NY, USA: Association for Computing Machinery. DOI: https://doi.org/10.1145/1151588.1151600. [GS Search]
Klock, A. C. T., Gasparini, I., Pimenta, M. S., & Hamari, J. (2020). Tailored gamification: A review of literature. International Journal of Human-Computer Studies, 144, 102495. DOI: https://doi.org/10.1016/j.ijhcs.2020.102495. [GS Search]
Klock, A. C. T., Ogawa, A. N., Gasparini, I., & Pimenta, M. S. (2018). Integration of learning analytics techniques and gamification: An experimental study. In 2018 IEEE 18th International Conference on Advanced Learning Technologies (ICALT) (pp. 133–137). DOI: https://doi.org/10.1109/ICALT.2018.00039. [GS Search]
Krath, J., & von Korflesch, H. F. (2021). Player types and game element preferences: Investigating the relationship with the gamification user types hexad scale. In International Conference on Human-Computer Interaction (pp. 219–238). DOI: https://doi.org/10.1007/978-3-030-77277-2_18. [GS Search]
Lacave, C., Molina Díaz, A., & Cruz-Lemus, J. (2018, 06). Learning analytics to identify dropout factors of computer science studies through bayesian networks. Behaviour & Information Technology, 37, 1–15. DOI: https://doi.org/10.1080/0144929X.2018.1485053. [GS Search]
Lavareda, R. M., Colonna, J. G., & Oliveira, D. F. (2020). Autenticação contínua de alunos utilizando biometria comportamental em ambiente juiz on-line. In Proceedings of the XXXI Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação – SBIE 2020) (Vol. 31, pp. 1193–1202). Porto Alegre, RS, Brasil: SBC. DOI: https://doi.org/10.5753/cbie.sbie.2020.1193. [GS Search]
Leinonen, J., Longi, K., Klami, A., & Vihavainen, A. (2016). Automatic inference of programming performance and experience from typing patterns. In Proceedings of the 47th ACM Technical Symposium on Computing Science Education (p. 132–137). New York, NY, USA: Association for Computing Machinery. DOI: https://doi.org/10.1145/2839509.2844612. [GS Search]
Lima, M. A. P., Carvalho, L. S. G., Oliveira, E. H. T., Oliveira, D. F., & Pereira, F. D. (2020). Classificação de dificuldade de questões de programação com base em métricas de código. In Proceedings of the XXXI Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação – SBIE 2020) (Vol. 31, pp. 1323–1332). DOI: https://doi.org/10.5753/cbie.sbie.2020.1323. [GS Search]
Lima, M. A. P., Carvalho, L. S. G., Oliveira, E. H. T., Oliveira, D. F., & Pereira, F. D. (2021a). Uso de atributos de código para classificar a dificuldade de questões de programação em juízes online. Revista Brasileira de Informática na Educação, 29, 1137–1157. DOI: https://doi.org/10.5753/RBIE.2021.29.0.1137. [GS Search]
Lima, M. A. P., Carvalho, L. S. G., Oliveira, E. H. T., Oliveira, D. F., & Pereira, F. D. (2021b). Uso de atributos de código para classificação da facilidade de questões de codificação. In Anais do Simpósio Brasileiro de Educação em Computação (pp. 113–122). online: SBC. DOI: https://doi.org/10.5753/educomp.2021.14477. [GS Search]
Liu, P., & Li, Z. (2012). Task complexity: A review and conceptualization framework. International Journal of Industrial Ergonomics, 42(6), 553–568. DOI: https://doi.org/10.1016/j.ergon.2012.09.001. [GS Search]
Lundberg, S. M., & Lee, S.-I. (2017). A unified approach to interpreting model predictions. In Proceedings of the 31st International Conference on Neural Information Processing Systems (p. 4768–4777). Red Hook, NY, USA: Curran Associates Inc. Retrieved from https://dl.acm.org/doi/10.5555/3295222.3295230. [GS Search]
Maher, Y., Moussa, S. M., & Khalifa, M. E. (2020). Learners on focus: Visualizing analytics through an integrated model for learning analytics in adaptive gamified e-learning. IEEE Access, 8, 197597–197616. DOI: https://doi.org/10.1109/ACCESS.2020.3034284. [GS Search]
Marczewski, A. (2015). Even ninja monkeys like to play: Gamification, game thinking and motivational design (First ed.). Gamified UK. Retrieved from [Link]. [GS Search]
Mora, A., Tondello, G. F., Calvet, L., González, C., Arnedo Moreno, J., & Nacke, L. E. (2019). The quest for a better tailoring of gameful design: An analysis of player type preferences. In Proceedings of the XX International Conference on Human Computer Interaction (pp.1–8). DOI: https://doi.org/10.1145/3335595.3335625. [GS Search]
Nacke, L. E., Bateman, C., & Mandryk, R. L. (2014). Brainhex: A neurobiological gamer typology survey. Entertainment Computing, 5(1), 55-62. DOI: https://doi.org/10.1016/j.entcom.2013.06.002. [GS Search]
Norman, V. T., & Adams, J. C. (2015). Improving non-CS major performance in CS1. In Proceedings of the 46th ACM Technical Symposium on Computer Science Education (pp. 558–562). DOI: https://doi.org/10.1145/2676723.2677214. [GS Search]
Oliveira, D. F., Lavareda Filho, R., Oliveira, E. H. T., Carvalho, L. S. G. C., Pereira, F. D., Colonna, J. G., & Menezes, A. (2021). Um Método de Detecção de Plágio para Sistemas Juiz On-line baseado no Comportamento dos Alunos. In Proceedings of the XXXII Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação – SBIE 2021) (Vol. 32, pp. 836–848). Porto Alegre, RS, Brasil: SBC. DOI: https://doi.org/10.5753/sbie.2021.21839. [GS Search]
Pelánek, R., Effenberger, T., & Čechák, J. (2022, March). Complexity and difficulty of items in learning systems. International Journal of Artificial Intelligence in Education, 32(1),196–232. DOI: https://doi.org/10.1007/s40593-021-00252-4. [GS Search]
Pereira, F. D. (2022). Towards AI-human hybrid online judges to support decision making for CS1 instructors and students. PhD thesis, Universidade Federal do Amazonas, Manaus, AM. Retrieved from [Link]. [GS Search]
Pereira, F. D., Fonseca, S., Oliveira, E. H. T., Cristea, A., Bellhäuser, H., Rodrigues, L., ... Carvalho, L. S. (2021). Explaining individual and collective programming students’ behavior by interpreting a black-box predictive model. IEEE Access, 9, 117097–117119. DOI: https://doi.org/10.1109/ACCESS.2021.3105956. [GS Search]
Pereira, F. D., Fonseca, S., Oliveira, E. H. T., Oliveira, D. F., Cristea, A. I., & Carvalho, L. S.(2020). Deep learning for early performance prediction of introductory programming students: a comparative and explanatory study. Brazilian journal of computers in education., 28, 723–749. DOI: https://doi.org/10.5753/rbie.2020.28.0.723. [GS Search]
Pereira, F. D., Oliveira, E., Oliveira, D. F., Carvalho, L. S. G., & Junior, H. (2019). Otimização e automação da predição precoce do desempenho de alunos que utilizam juízes online: uma abordagem com algoritmo genético. In Proceedings of the XXX Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação – SBIE 2019)(Vol. 30, pp. 1451–1460). DOI: https://doi.org/10.5753/cbie.sbie.2019.1451. [GS Search]
Pereira, F. D., Oliveira, E. H. T., & Oliveira, D. F. (2017). Predição de zona de aprendizagem de alunos de introdução à programação em ambientes de correção automática de código. In Proceedings of the XXVIII Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação – SBIE 2017) (Vol. 28, pp. 1507–1516). SBC. DOI: https://doi.org/10.5753/cbie.sbie.2017.1507. [GS Search]
Pereira, F. D., Oliveira, E. H. T., Oliveira, D. F., Cristea, A. I., Carvalho, L. S. G., Fonseca, S., ... Isotani, S. (2020). Using learning analytics in the Amazonas: understanding students’ behaviour in introductory programming. British journal of educational technology, 51(4), 955–972. DOI: https://doi.org/10.1111/bjet.12953. [GS Search]
Pereira, F. D., Rodrigues, L., Henklain, M., Freitas, H., Oliveira, D. F., Cristea, A. I., ... Oliveira, E. H. T. (2022). Towards human-AI collaboration: a recommender system to support CS1 instructors to select problems for assignments and exams. IEEE Transactions on Learning Technologies. DOI: https://doi.org/10.1109/TLT.2022.3224121. [GS Search]
Pereira, F. D., Souza, L. M., Oliveira, E. H. T., Oliveira, D. F., & Carvalho, L. S. G. (2020). Predição de desempenho em ambientes computacionais para turmas de programação: um mapeamento sistemático da literatura. In Proceedings of the XXXI Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação – SBIE 2020) (pp. 1673–1682). DOI: https://doi.org/10.5753/cbie.sbie.2020.1673. [GS Search]
Pessoa, M. (2022). Codeplay: uma plataforma que incorpora a ludicidade de jogos de entretenimento a um juiz on-line. PhD thesis, Universidade Federal do Amazonas, Manaus, AM. Retrieved from https://tede.ufam.edu.br/handle/tede/9150. [GS Search]
Pessoa, M., Lima, M., Pires, F., Haydar, G., Melo, R., Rodrigues, L., ... others (2023). A journey to identify users’ classification strategies to customize game-based and gamified learning environments. IEEE Transactions on Learning Technologies. DOI: [Link]. [GS Search]
Pessoa, M., Melo, R., Haydar, G., Oliveira, D. F., Carvalho, L. S. G., Oliveira, E. H. T., ... Isotani, S. (2021). Uma análise dos tipos de jogadores em uma plataforma de gamificação incorporada a um sistema juiz on-line. In Proceedings of the XXXII Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação – SBIE 2022 (pp. 474–486). DOI: https://doi.org/10.5753/sbie.2021.218600. [GS Search]
Pessoa, M., Oliveira, D. F., Carvalho, L. S. G., Oliveira, E., Nakamura, W., & Conte, T. (2019). Codeplay: Uma plataforma de gamificação baseada em jogos de RPG multiplayer. In Proceedings of the XXX Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação – SBIE 2019) (Vol. 30, pp. 843–852). DOI: https://doi.org/10.5753/cbie.sbie.2019.843. [GS Search]
Quille, K., & Bergin, S. (2019). CS1: how will they do? How can we help? A decade of research and practice. Computer Science Education, 29(2–3), 254–282. DOI: https://doi.org/10.1080/08993408.2019.1612679. [GS Search]
Ribeiro, R. B. S., Carvalho, L. S. G., Oliveira, E. H. T., Oliveira, D. B. F., & Pessoa, M. S. P.(2020). Investigação empírica sobre os efeitos da gamificação de um juiz online em uma disciplina de introdução à programação. Revista Brasileira de Informática na Educação, 28, 461–490. DOI: https://doi.org/10.5753/RBIE.2020.28.0.461. [GS Search]
Robins, A. V. (2019). Novice programmers and introductory programming. In S. A. Fincher & A. V. Robins (Eds.), The Cambridge Handbook of Computing Education Research (pp.327–376). Cambridge University Press. DOI: https://doi.org/10.1017/9781108654555.013. [GS Search]
Rogers, M., Yao, W., Luxton-Reilly, A., Leinonen, J., Lottridge, D., & Denny, P. (2021, March 3). Exploring personalization of gamification in an introductory programming course. In SIGCSE ’21: Proceedings of the 52nd ACM Technical Symposium on Computer Science Education (pp. 1121–1127). United States: ACM. DOI: https://doi.org/10.1145/3408877.3432402. [GS Search]
Santana, B. L., & Bittencourt, R. A. (2018). Increasing motivation of CS1 non-majors through an approach contextualized by games and media. In 2018 IEEE Frontiers in Education Conference (FIE) (pp. 1–9). San Jose, CA, USA. DOI: https://doi.org/10.1109/FIE.2018.8659011. [GS Search]
Santos, A., Oliveira, W., Hamari, J., & Isotani, S. (2021). Do people’s user types change overtime? An exploratory study. In M. Buji ́c, J. Koivisto, & J. Hamari (Eds.), Proceedings of the 5th International GamiFIN Conference Levi, Finland, April 7-9, 2021 (pp. 90–99). CEUR-WS. DOI: https://doi.org/10.48550/arXiv.2106.10148. [GS Search]
Santos, P., Carvalho, L. S. G., Oliveira, E., & Oliveira, D. F. (2019). Classificação de dificuldade de questões de programação com base na inteligibilidade do enunciado. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação – SBIE 2019), 30(1), 1886–1895. DOI: https://doi.org/10.5753/cbie.sbie.2019.1886. [GS Search]
Sheard, J., Simon, Carbone, A., Chinn, D., Clear, T., Corney, M., ... Teague, D. (2013). How difficult are exams? a framework for assessing the complexity of introductory programming exams. In Proceedings of the 15th Australasian Computing Education Conference (Vol. 136, p. 145—154). AUS. AUS. Retrieved from [Link]. [GS Search]
Silva, D., Melo, R., Pires, F., & Pessoa, M. (2021, dez.). Avaliacão de objetos digitais de aprendizagem: como os licenciados em computação analisam jogos educacionais? Revista Novas Tecnologias na Educação, 19(2), 111–121. DOI: https://doi.org/10.22456/1679-1916.121193. [GS Search]
Silva, S., Carvalho, L. S. G., Oliveira, D. F., Oliveira, E. H. T., Lauschner, T., Lima, M. A. P., & Pereira, F. D. (2022). Previsão de indicadores de dificuldade de questões de programação a partir de métricas do código de solução. In Proceedings of the XXXIII Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação – SBIE 2022)(Vol. 33, pp. 859–870). Manaus, AM: SBC. DOI: https://doi.org/10.5753/sbie.2022.224724. [GS Search]
Tomasevic, N., Gvozdenovic, N., & Vranes, S. (2020). An overview and comparison of supervised data mining techniques for student exam performance prediction. Computers Education, 143, 103676. DOI: https://doi.org/10.1016/j.compedu.2019.103676. [GS Search]
Tondello, G. F., Arrambide, K., Ribeiro, G., Cen, A. J.-l., & Nacke, L. E. (2019). “I don’t fit into a single type”: A trait model and scale of game playing preferences. In D. Lamas, F. Loizides, L. Nacke, H. Petrie, M. Winckler, & P. Zaphiris (Eds.), Human-Computer Interaction – INTERACT 2019 (pp. 375–395). Cham: Springer International Publishing. DOI: https://doi.org/10.1007/978-3-030-29384-0_23. [GS Search]
Tondello, G. F., Wehbe, R. R., Diamond, L., Busch, M., Marczewski, A., & Nacke, L. E. (2016). The gamification user types Hexad scale. In Proceedings of the 2016 Annual Symposium on Computer-Human Interaction in Play (p. 229–243). New York, NY, USA: Association for Computing Machinery. DOI: https://doi.org/10.1145/2967934.2968082. [GS Search]
Watson, C., Li, F. W., & Godwin, J. L. (2013). Predicting performance in an introductory programming course by logging and analyzing student programming behavior. In 2013 IEEE 13th International Conference on Advanced Learning Technologies (pp. 319–323). DOI: https://doi.org/10.1109/ICALT.2013.99. [GS Search]
Whalley, J., & Kasto, N. (2014). How difficult are novice code writing tasks? A software metrics approach. In Proceedings of the Sixteenth Australasian Computing Education Conference - Volume 148 (p. 105–112). AUS: Australian Computer Society, Inc. Retrieved from [Link]. [GS Search]
Wolpert, D. H. (1992, feb). Original contribution: Stacked generalization. Neural Netw., 5(2), 241–259. DOI: https://doi.org/10.1016/S0893-6080(05)80023-1. [GS Search]
Arquivos adicionais
Publicado
Como Citar
Edição
Seção
Licença
Copyright (c) 2023 Flávio J. M. Coelho, Elaine H. T. Oliveira, Filipe D. Pereira, David B. F. Oliveira, Leandro S. G. Carvalho, Eduardo J. P. Souto, Marcela Pessoa, Rafaela Melo, Marcos A. P. de Lima, Fabiola G. Nakamura
Este trabalho está licenciado sob uma licença Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
