Avalia: Ferramenta Baseada Em Inteligência Artificial E Dados Do Enade Para Análise Curricular Do Curso De Sistemas De Informação Da Faculdade Metodista Granbery
Resumo
O estudo apresenta a ferramenta “Avalia”, que utiliza um Large Language Model (LLM) para analisar dados do ENADE do curso de Sistemas de Informação da Faculdade Metodista Granbery. A ferramenta correlaciona questões do exame, disciplinas e resultados dos alunos para identificar lacunas de conhecimento e subsidiar revisões curriculares. Foram processados dados do ENADE 2021 por meio de uma abordagem híbrida que combina similaridade de cosseno e LLM, com geração de relatórios e um chatbot interativo para consultas em linguagem natural. Os resultados atingiram 90,9% de acurácia, evidenciando a viabilidade dos LLMs na análise educacional. Esses achados incentivam a ampliação do uso de ferramentas baseadas em LLM em ambientes acadêmicos e a expansão para outros cursos.Referências
ARAUJO, R.M.; MACIEL, R.S.; BOSCARIOLI, C. (2017) “GranDSI-BR: Grandes Desafios de Pesquisa em Sistemas de Informação no Brasil (2016-2026) - Relatório Técnico”, Comissão Especial de Sistemas de Informação (CE-SI) da Sociedade Brasileira de Computação (SBC), 67p. ISBN 978-85-7669-359-8.
BARBOSA, P. L.S.; DAMAZIO, G. N. D.O.; CARVALHO, W. V.; CARMO, R. A. F.; OLIVEIRA, E. N. (2024) “Explorando técnicas de análise de dados em exames de avaliação de estudantes de graduação no contexto brasileiro”, Avaliação: Revista da Avaliação da Educação Superior (Campinas), v. 29. Disponível em: [link].
BOSCARIOLI, C.; ARAUJO, R. M.; MACIEL, R. S. (2016) “GranDSI-BR: Grand Research Challenges in Information Systems in Brazil 2016-2026”, Porto Alegre: Sociedade Brasileira de Computação. Disponível em: [link]. Acesso em: 15 mar. 2025.
CHARÃO, A. S.; WIECHORK, K.; RODRIGUES, M. L.; BARBOSA, F. P. (2020) “Explorando Resultados por Questão no Enade em Ciência da Computação para Subsidiar Revisão de Projeto Pedagógico de Curso”, In: WORKSHOP SOBRE EDUCAÇÃO EM COMPUTAÇÃO (WEI), 28, 2020, Cuiabá. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, p. 16-20. ISSN 2595-6175. DOI: 10.5753/wei.2020.11121.
CUNHA, R.; SALES, C.; SANTOS, R. (2021) “Análise Automática com os Microdados do ENADE para Melhoria do Ensino dos Cursos de Ciência da Computação”, In: WORKSHOP SOBRE EDUCAÇÃO EM COMPUTAÇÃO (WEI), 29, 2021, Evento Online. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, p. 208-217. ISSN 2595-6175.
GARCÍA-MÉNDEZ, S.; DE ARRIBA-PÉREZ, F.; SOMOZA-LÓPEZ, M. C. (2024) “A review on the use of large language models as virtual tutors”, Science & Education, [s.l.]. Disponível em: [link]. Acesso em: 15 mar. 2025.
INFO4. (2023) “Como as LLMs deram uma virada no mercado de Ciência de Dados”, Maio. Disponível em: [link]. Acesso em: 15 abr. 2024.
JEARANAITANAKIJ, K.; SRITHONGDEE, C.; KETKHAM, S.; ARDSANA, O.; KULLAWAN, T.; YONGPIYAKUL, C. (2024) “Thai Question-Answering System Using Similarity Search and LLM”, ECTI-CIT Transactions, v. 18, n. 3, p. 406–416, ago.
LI, Z.; CUKUROVA, M.; BULATHWELA, S. (2025) “A novel approach to scalable and automatic topic-controlled question generation in education”, In: INTERNATIONAL CONFERENCE ON LEARNING ANALYTICS AND KNOWLEDGE, 15, 2025, Dublin. Anais [...]. New York: Association for Computing Machinery, p. 1-16. Disponível em: [link]. Acesso em: 15 mar. 2025.
LIMA, P. S. N.; AMBRÓSIO, A. P.; FÉLIX, I. M.; BRANCHER, J. D. (2018) “SysEnade - Análise das questões de provas do Enade organizadas pelos temas abordados”, In: Anais dos Workshops do VII Congresso Brasileiro de Informática na Educação (WCBIE 2018), Goiânia: Instituto de Informática, Universidade Federal de Goiás, p. XX-XX. Acesso em: 24 maio 2024.
MIRZADEH, I.; ALIZADEH, K.; SHAHROKHI, H.; TUZEL, O.; BENGIO, S.; FARAJTABAR, M. (2024) “GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models”. Disponível em: [link]. Acesso em: 15 mar. 2025.
NALDI, A.; NURKADRI, N.; SRISUDARSO, M.; CAHYONO, D.; SUYITNO, S. (2024) “Evaluation of the effectiveness of artificial intelligence system in higher education curriculum management”, International Journal of Educational Narratives, [s.l.], v. 2, n. 2, p. 189-198, abr. 2024. Disponível em: [link]. Acesso em: 15 mar. 2025.
NESHAEI, S. P.; DAVIS, R. L.; HAZIMEH, A.; LAZAREVSKI, B.; DILLENBOURG, P.; KÄSER, T. (2024) “Towards modeling learner performance with large language models”, In: INTERNATIONAL CONFERENCE ON EDUCATIONAL DATA MINING, 17, 2024, Atlanta. Anais [...]. Atlanta: International Educational Data Mining Society, p. 759-768. Disponível em: [link]. Acesso em: 15 mar. 2025.
NEVES, C. E. B. (2007) “Desafios da educação superior”, Sociologias, p. 14–1. Disponível em: DOI: 10.1590/S1517-45222007000100002. Acesso em: 17 nov. 2024.
RAPOSO, L. B. (2024) “Análise de Desempenho de Algoritmos de Ordenação em Diferentes Cenários”, In: CONGRESSO DE ENSINO, PESQUISA E EXTENSÃO DA UFCG (CEEI), 17, 2024, Campina Grande. Anais [...]. Campina Grande: Universidade Federal de Campina Grande, p. 45-53. Disponível em: [link]. Acesso em: 15 mar. 2025.
RODRIGUES, L. T. (2023) “Dados do Enade contribuem com qualidade do ensino superior”, UNINTER Notícias, 23 jan. Disponível em: [link]. Acesso em: 15 mar. 2025.
ROSA, E. R.; FERREIRA, D. J.; SILVA, N. F. F. da; ASSIS, A. (2021) “Estudo Exploratório através de Análises Longitudinais aplicado à Ciência da Computação a partir da Base de Dados do ENADE”, Revista Brasileira de Informática na Educação, [s.l.], v. 29, p. 1463–1486. DOI: 10.5753/rbie.2021.2073. Disponível em: [link]. Acesso em: 15 mar. 2025.
SANTOS, M. L. O. (2023) “Avaliação de grandes modelos de linguagem quantizados na resolução de questões do ENEM”, 12f. (Trabalho de Conclusão de Curso - Artigo), Curso de Bacharelado em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande – Paraíba, 2023. Disponível em: [link]. Acesso em: 11 mai. 2024.
UNIVERSIDADE FEDERAL DO AMAZONAS (UFAM). (2022) “A importância de fazer o Enade”. Disponível em: [link]. Acesso em: 17 dez. 2024.
WU, S.; PENG, Z.; DU, X.; ZHENG, T.; LIU, M.; WU, J.; MA, J.; LI, Y.; YANG, J.; ZHOU, W.; LIN, Q.; ZHAO, J.; ZHANG, Z.; HUANG, W.; ZHANG, G.; LIN, C.; LIU, J.H. (2024) “A comparative study on reasoning patterns of OpenAI's o1 model”, arXiv preprint. Disponível em: [link]. Acesso em: 16 mar. 2025.
BARBOSA, P. L.S.; DAMAZIO, G. N. D.O.; CARVALHO, W. V.; CARMO, R. A. F.; OLIVEIRA, E. N. (2024) “Explorando técnicas de análise de dados em exames de avaliação de estudantes de graduação no contexto brasileiro”, Avaliação: Revista da Avaliação da Educação Superior (Campinas), v. 29. Disponível em: [link].
BOSCARIOLI, C.; ARAUJO, R. M.; MACIEL, R. S. (2016) “GranDSI-BR: Grand Research Challenges in Information Systems in Brazil 2016-2026”, Porto Alegre: Sociedade Brasileira de Computação. Disponível em: [link]. Acesso em: 15 mar. 2025.
CHARÃO, A. S.; WIECHORK, K.; RODRIGUES, M. L.; BARBOSA, F. P. (2020) “Explorando Resultados por Questão no Enade em Ciência da Computação para Subsidiar Revisão de Projeto Pedagógico de Curso”, In: WORKSHOP SOBRE EDUCAÇÃO EM COMPUTAÇÃO (WEI), 28, 2020, Cuiabá. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, p. 16-20. ISSN 2595-6175. DOI: 10.5753/wei.2020.11121.
CUNHA, R.; SALES, C.; SANTOS, R. (2021) “Análise Automática com os Microdados do ENADE para Melhoria do Ensino dos Cursos de Ciência da Computação”, In: WORKSHOP SOBRE EDUCAÇÃO EM COMPUTAÇÃO (WEI), 29, 2021, Evento Online. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, p. 208-217. ISSN 2595-6175.
GARCÍA-MÉNDEZ, S.; DE ARRIBA-PÉREZ, F.; SOMOZA-LÓPEZ, M. C. (2024) “A review on the use of large language models as virtual tutors”, Science & Education, [s.l.]. Disponível em: [link]. Acesso em: 15 mar. 2025.
INFO4. (2023) “Como as LLMs deram uma virada no mercado de Ciência de Dados”, Maio. Disponível em: [link]. Acesso em: 15 abr. 2024.
JEARANAITANAKIJ, K.; SRITHONGDEE, C.; KETKHAM, S.; ARDSANA, O.; KULLAWAN, T.; YONGPIYAKUL, C. (2024) “Thai Question-Answering System Using Similarity Search and LLM”, ECTI-CIT Transactions, v. 18, n. 3, p. 406–416, ago.
LI, Z.; CUKUROVA, M.; BULATHWELA, S. (2025) “A novel approach to scalable and automatic topic-controlled question generation in education”, In: INTERNATIONAL CONFERENCE ON LEARNING ANALYTICS AND KNOWLEDGE, 15, 2025, Dublin. Anais [...]. New York: Association for Computing Machinery, p. 1-16. Disponível em: [link]. Acesso em: 15 mar. 2025.
LIMA, P. S. N.; AMBRÓSIO, A. P.; FÉLIX, I. M.; BRANCHER, J. D. (2018) “SysEnade - Análise das questões de provas do Enade organizadas pelos temas abordados”, In: Anais dos Workshops do VII Congresso Brasileiro de Informática na Educação (WCBIE 2018), Goiânia: Instituto de Informática, Universidade Federal de Goiás, p. XX-XX. Acesso em: 24 maio 2024.
MIRZADEH, I.; ALIZADEH, K.; SHAHROKHI, H.; TUZEL, O.; BENGIO, S.; FARAJTABAR, M. (2024) “GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models”. Disponível em: [link]. Acesso em: 15 mar. 2025.
NALDI, A.; NURKADRI, N.; SRISUDARSO, M.; CAHYONO, D.; SUYITNO, S. (2024) “Evaluation of the effectiveness of artificial intelligence system in higher education curriculum management”, International Journal of Educational Narratives, [s.l.], v. 2, n. 2, p. 189-198, abr. 2024. Disponível em: [link]. Acesso em: 15 mar. 2025.
NESHAEI, S. P.; DAVIS, R. L.; HAZIMEH, A.; LAZAREVSKI, B.; DILLENBOURG, P.; KÄSER, T. (2024) “Towards modeling learner performance with large language models”, In: INTERNATIONAL CONFERENCE ON EDUCATIONAL DATA MINING, 17, 2024, Atlanta. Anais [...]. Atlanta: International Educational Data Mining Society, p. 759-768. Disponível em: [link]. Acesso em: 15 mar. 2025.
NEVES, C. E. B. (2007) “Desafios da educação superior”, Sociologias, p. 14–1. Disponível em: DOI: 10.1590/S1517-45222007000100002. Acesso em: 17 nov. 2024.
RAPOSO, L. B. (2024) “Análise de Desempenho de Algoritmos de Ordenação em Diferentes Cenários”, In: CONGRESSO DE ENSINO, PESQUISA E EXTENSÃO DA UFCG (CEEI), 17, 2024, Campina Grande. Anais [...]. Campina Grande: Universidade Federal de Campina Grande, p. 45-53. Disponível em: [link]. Acesso em: 15 mar. 2025.
RODRIGUES, L. T. (2023) “Dados do Enade contribuem com qualidade do ensino superior”, UNINTER Notícias, 23 jan. Disponível em: [link]. Acesso em: 15 mar. 2025.
ROSA, E. R.; FERREIRA, D. J.; SILVA, N. F. F. da; ASSIS, A. (2021) “Estudo Exploratório através de Análises Longitudinais aplicado à Ciência da Computação a partir da Base de Dados do ENADE”, Revista Brasileira de Informática na Educação, [s.l.], v. 29, p. 1463–1486. DOI: 10.5753/rbie.2021.2073. Disponível em: [link]. Acesso em: 15 mar. 2025.
SANTOS, M. L. O. (2023) “Avaliação de grandes modelos de linguagem quantizados na resolução de questões do ENEM”, 12f. (Trabalho de Conclusão de Curso - Artigo), Curso de Bacharelado em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande – Paraíba, 2023. Disponível em: [link]. Acesso em: 11 mai. 2024.
UNIVERSIDADE FEDERAL DO AMAZONAS (UFAM). (2022) “A importância de fazer o Enade”. Disponível em: [link]. Acesso em: 17 dez. 2024.
WU, S.; PENG, Z.; DU, X.; ZHENG, T.; LIU, M.; WU, J.; MA, J.; LI, Y.; YANG, J.; ZHOU, W.; LIN, Q.; ZHAO, J.; ZHANG, Z.; HUANG, W.; ZHANG, G.; LIN, C.; LIU, J.H. (2024) “A comparative study on reasoning patterns of OpenAI's o1 model”, arXiv preprint. Disponível em: [link]. Acesso em: 16 mar. 2025.
Publicado
19/05/2025
Como Citar
SILVA, Julia Alves; PEDREIRA, Katherine Sousa; ALVES, Tatiane Ornelas M..
Avalia: Ferramenta Baseada Em Inteligência Artificial E Dados Do Enade Para Análise Curricular Do Curso De Sistemas De Informação Da Faculdade Metodista Granbery. In: CONCURSO DE TESES, DISSERTAÇÕES E TCCS EM SISTEMAS DE INFORMAÇÃO - SIMPÓSIO BRASILEIRO DE SISTEMAS DE INFORMAÇÃO (SBSI), 21. , 2025, Recife/PE.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2025
.
p. 122-131.
DOI: https://doi.org/10.5753/sbsi_estendido.2025.246756.
