Investigating the Use of Tools based on Large Language Models in the Academic Context
Abstract
The Large Language Models (LLMs) represent significant advances in natural language processing (NLP), employing machine learning techniques to understand human language. Their increasing presence in society is also observed in academia, where students and teachers are becoming increasingly familiar with these tools. This study aims to analyze the integration of LLMs in the educational environment, seeking to understand their impact on teaching-learning dynamics, interaction between students and teachers, and skill development. Quantitative and qualitative data were collected through a questionnaire directed at students and teachers. Of the 65 participants, a significant portion uses LLM tools in various educational contexts, pointing out significant benefits in the educational process. However, challenges faced by participants were identified, indicating the need for more comprehensive usability guidelines in the educational setting. This study highlights the importance of thoroughly analyzing LLM usage to guide pedagogical practices and promote more effective integration of these technologies.
References
Barreto, A. M. P. and de Ávila, F. (2023). A inteligência artificial diante da integridade científica: Um estudo sobre o uso indevido do chatgpt. Revista Direitos Culturais, 18(45):91–106.
Carneiro, J. R. S. et al. (2018). O uso do google sala de aula na educação básica: uma perspectiva pedagógica convergente à educação contextualizada no ifrn.
Chipaco, E. F. B. (2018). O LMS como Ambiente Tecnológico de suporte ao Ensino e Aprendizagem na perspetiva dos Estudantes e dos Professores. PhD thesis, Universidade Catolica Portugesa (Portugal).
da Silva, W. R. P., Silveira, I. C., Monegate, E. F. N., Santiago, G. M., and Cassol, S. (2023). Construindo o futuro da educação: guiando o aprendizado com inteligência artificial. In Anais do XX Congresso Latino-Americano de Software Livre e Tecnologias Abertas, pages 186–189. SBC.
da Silva Monteiro, J. C. (2023). Assistente chatgpt na educação: Possibilidades e desafios. Revista Ibero-Americana de Humanidades, Ciências e Educação, 9(6):2899–2906.
Dionizio, T. P. (2019). O uso de tecnologias da informação e comunicação como ferramenta educacional aliada ao ensino de química. EAD em Foco, 9(1).
Donato, H., Escada, P., and Villanueva, T. (2023). A transparência da ciência com o chatgpt e as ferramentas emergentes de inteligência artificial: Como se devem posicionar as revistas científicas médicas? [link].
Filatro, A. and Loureiro, A. C. (2020). Novos produtos e serviços na Educação 5.0. Artesanato Educacional.
Gesser, V. (2012). Novas tecnologias e educação superior: Avanços, desdobramentos, implicações e limites para a qualidade da aprendizagem. IE Comunicaciones: Revista Iberoamericana de Informática Educativa, (16):23–31.
Grossi, M. G. R., Rosa, R. V., de Aguiar, C., Rios, D. F., and Baia, F. J. (2023). Contribuições da inteligência artificial para a educação: Uma entrevista com o chatgpt. SYNTHESIS— Revistal Digital FAPAM, 12(1):1–20.
Guimarães, U. A., Brandão, C. A., Daitx, M. A., de Arruda Dutra, A. F. G., and Lopes, V. R. B. (2023). As mídias digitais no campo educacional: Um olhar pelas aplicações do chat gpt na educação. RECIMA21-Revista Científica Multidisciplinar-ISSN 2675-6218, 4(7):e473556–e473556.
Guzman, J. H. E., Zuluaga-Ortiz, R. A., Barrios-Miranda, D. A., and Delahoz-Dominguez, E. J. (2022). Information and communication technologies (ict) in the processes of distribution and use of knowledge in higher education institutions (heis). Procedia Computer Science, 198:644–649.
Karasavvidis, I. (2010). Wiki uses in higher education: Exploring barriers to successful implementation. Interactive Learning Environments, 18(3):219–231.
Lee, A. (2023). What are large language models used for? [link]. Acesso em: 03 dez. 2023.
Lima, J. (2023). Como o chatgpt afeta a educação e o desenvolvimento universitário. The Trends Hub, (3).
Linaker, J., Sulaman, S. M., Höst, M., and de Mello, R. M. (2015). Guidelines for conducting surveys in software engineering v. 1.1. Lund University, 50.
Manfron Matias, L. A., Kanso, M. A., Hino, M. C., Marques Filho, S. L., and Tomasi Junior, D. L. (2023). Explorando o potencial do chatgpt na educação: Perspectivas e desafios.
Moraes, M. C. (2002). Tecendo a rede, mas com que paradigma. Educação a distância: fundamentos e práticas. Campinas: UNICAMP/NIED.
Murugesan, S. (2007). Understanding web 2.0. IT professional, 9(4):34–41.
Nhanisse, C. R. (2019). Docência no ensino superior e tecnologia na educação: uma construção do conhecimento na perspectiva dialógica.
Nugultham, K. (2012). Using web 2.0 for innovation and information technology in education course. Procedia-Social and Behavioral Sciences, 46:4607–4610.
Pini, F. and Abreu, J. (2018). 12. os direitos humanos mudando a cara da escola e da sociedade. Capa: Com as cores do IPF-vermelho e azul-a capa reproduz obra de autoria de Paulo de Tarso Santos, jurista, que também usava a pintura para se expressar. Foi Ministro da Educação de João Goulart, que convidou Paulo Freire, em 1963, para criar e coordenar o Programa Nacional de Alfabetização. Ambos, posteriormente, exilados no Chile.
Porto, C. and Moreira, J. A. (2017). Educação no ciberespaço. Whitebooks: Santo Tirso Search in.
Spinak, E. (2023). Gpt, tradução automática e o quão bons eles são. Acessado em novembro de 2023.
Varas, J., Coronel, B. V., VILLAGRáN, I., Escalona, G., Hernandez, R., Schuit, G., DURáN, V., Lagos-Villaseca, A., Jarry, C., Neyem, A., et al. (2023). Innovations in surgical training: exploring the role of artificial intelligence and large language models (llm). Revista do Colégio Brasileiro de Cirurgiões, 50:e20233605.
Vieira, A. L. F., De Amorim, M. C. Z., and Cunha, E. (2023). Proposta de avaliação da percepção dos impactos da inteligência artificial generativa na educação superior. In Anais do XIV Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana, pages 411–415. SBC.
Wohlin, C., Runeson, P., Höst, M., Ohlsson, M. C., Regnell, B., and Wesslén, A. (2012). Experimentation in software engineering. Springer Science & Business Media.
Carneiro, J. R. S. et al. (2018). O uso do google sala de aula na educação básica: uma perspectiva pedagógica convergente à educação contextualizada no ifrn.
Chipaco, E. F. B. (2018). O LMS como Ambiente Tecnológico de suporte ao Ensino e Aprendizagem na perspetiva dos Estudantes e dos Professores. PhD thesis, Universidade Catolica Portugesa (Portugal).
da Silva, W. R. P., Silveira, I. C., Monegate, E. F. N., Santiago, G. M., and Cassol, S. (2023). Construindo o futuro da educação: guiando o aprendizado com inteligência artificial. In Anais do XX Congresso Latino-Americano de Software Livre e Tecnologias Abertas, pages 186–189. SBC.
da Silva Monteiro, J. C. (2023). Assistente chatgpt na educação: Possibilidades e desafios. Revista Ibero-Americana de Humanidades, Ciências e Educação, 9(6):2899–2906.
Dionizio, T. P. (2019). O uso de tecnologias da informação e comunicação como ferramenta educacional aliada ao ensino de química. EAD em Foco, 9(1).
Donato, H., Escada, P., and Villanueva, T. (2023). A transparência da ciência com o chatgpt e as ferramentas emergentes de inteligência artificial: Como se devem posicionar as revistas científicas médicas? [link].
Filatro, A. and Loureiro, A. C. (2020). Novos produtos e serviços na Educação 5.0. Artesanato Educacional.
Gesser, V. (2012). Novas tecnologias e educação superior: Avanços, desdobramentos, implicações e limites para a qualidade da aprendizagem. IE Comunicaciones: Revista Iberoamericana de Informática Educativa, (16):23–31.
Grossi, M. G. R., Rosa, R. V., de Aguiar, C., Rios, D. F., and Baia, F. J. (2023). Contribuições da inteligência artificial para a educação: Uma entrevista com o chatgpt. SYNTHESIS— Revistal Digital FAPAM, 12(1):1–20.
Guimarães, U. A., Brandão, C. A., Daitx, M. A., de Arruda Dutra, A. F. G., and Lopes, V. R. B. (2023). As mídias digitais no campo educacional: Um olhar pelas aplicações do chat gpt na educação. RECIMA21-Revista Científica Multidisciplinar-ISSN 2675-6218, 4(7):e473556–e473556.
Guzman, J. H. E., Zuluaga-Ortiz, R. A., Barrios-Miranda, D. A., and Delahoz-Dominguez, E. J. (2022). Information and communication technologies (ict) in the processes of distribution and use of knowledge in higher education institutions (heis). Procedia Computer Science, 198:644–649.
Karasavvidis, I. (2010). Wiki uses in higher education: Exploring barriers to successful implementation. Interactive Learning Environments, 18(3):219–231.
Lee, A. (2023). What are large language models used for? [link]. Acesso em: 03 dez. 2023.
Lima, J. (2023). Como o chatgpt afeta a educação e o desenvolvimento universitário. The Trends Hub, (3).
Linaker, J., Sulaman, S. M., Höst, M., and de Mello, R. M. (2015). Guidelines for conducting surveys in software engineering v. 1.1. Lund University, 50.
Manfron Matias, L. A., Kanso, M. A., Hino, M. C., Marques Filho, S. L., and Tomasi Junior, D. L. (2023). Explorando o potencial do chatgpt na educação: Perspectivas e desafios.
Moraes, M. C. (2002). Tecendo a rede, mas com que paradigma. Educação a distância: fundamentos e práticas. Campinas: UNICAMP/NIED.
Murugesan, S. (2007). Understanding web 2.0. IT professional, 9(4):34–41.
Nhanisse, C. R. (2019). Docência no ensino superior e tecnologia na educação: uma construção do conhecimento na perspectiva dialógica.
Nugultham, K. (2012). Using web 2.0 for innovation and information technology in education course. Procedia-Social and Behavioral Sciences, 46:4607–4610.
Pini, F. and Abreu, J. (2018). 12. os direitos humanos mudando a cara da escola e da sociedade. Capa: Com as cores do IPF-vermelho e azul-a capa reproduz obra de autoria de Paulo de Tarso Santos, jurista, que também usava a pintura para se expressar. Foi Ministro da Educação de João Goulart, que convidou Paulo Freire, em 1963, para criar e coordenar o Programa Nacional de Alfabetização. Ambos, posteriormente, exilados no Chile.
Porto, C. and Moreira, J. A. (2017). Educação no ciberespaço. Whitebooks: Santo Tirso Search in.
Spinak, E. (2023). Gpt, tradução automática e o quão bons eles são. Acessado em novembro de 2023.
Varas, J., Coronel, B. V., VILLAGRáN, I., Escalona, G., Hernandez, R., Schuit, G., DURáN, V., Lagos-Villaseca, A., Jarry, C., Neyem, A., et al. (2023). Innovations in surgical training: exploring the role of artificial intelligence and large language models (llm). Revista do Colégio Brasileiro de Cirurgiões, 50:e20233605.
Vieira, A. L. F., De Amorim, M. C. Z., and Cunha, E. (2023). Proposta de avaliação da percepção dos impactos da inteligência artificial generativa na educação superior. In Anais do XIV Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana, pages 411–415. SBC.
Wohlin, C., Runeson, P., Höst, M., Ohlsson, M. C., Regnell, B., and Wesslén, A. (2012). Experimentation in software engineering. Springer Science & Business Media.
Published
2024-07-21
How to Cite
FARIAS, Itamar; ALBUQUERQUE, Danyllo; RODRIGUES, Golbery; FILHO, Emanuel; XAVIER, Karen Alves; SILVA, José A. C. da.
Investigating the Use of Tools based on Large Language Models in the Academic Context. In: WORKSHOP ON COMPUTING EDUCATION (WEI), 32. , 2024, Brasília/DF.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2024
.
p. 489-500.
ISSN 2595-6175.
DOI: https://doi.org/10.5753/wei.2024.2092.
