Avaliação de LLMs em Relação a Questões Básicas de Redes de Computadores
Resumo
A popularização dos LLMs (Large Language Models) no cotidiano das pessoas se mostra cada vez maior. Estudantes de tecnologia com nível básico de conhecimento e acesso a internet podem consultá-los para auxiliar em seu aprendizado. Na Computação, as redes de computadores são um assunto fundamental, pois alicerçam toda a infraestrutura do mundo digital atual. O objetivo deste trabalho é analisar respostas obtidas de LLMs em relação a assuntos introdutórios e fundamentais das redes de computadores. Para isso, foram submetidas a quatro diferentes LLMs questões que abordam esses assuntos. Foram utilizadas questões objetivas originais, uma versão objetiva reescrita e uma versão dissertativa. Os resultados mostraram que a taxa de acertos geral dos LLMs ficou igual ou superior a 97,5%.Referências
Arora, U., Garg, A., Gupta, A., Jain, S., Mehta, R., Oberoi, R., Prachi, Raina, A., Saini, M., Sharma, S., Singh, J., Tyagi, S., and Kumar, D. (2025). Analyzing llm usage in an advanced computing class in india. In Proceedings of the 27th Australasian Computing Education Conference, ACE ’25, page 154–163, New York, NY, USA. Association for Computing Machinery.
Dakshit, S. (2024). Faculty perspectives on the potential of rag in computer science higher education. In Proceedings of the 25th Annual Conference on Information Technology Education, SIGITE ’24, page 19–24, New York, NY, USA. Association for Computing Machinery.
DeepSeek-AI, Liu, A., Feng, B., Xue, B., Wang, B., Wu, B., Lu, C., Zhao, C., Deng, C., Zhang, C., Ruan, C., Dai, D., Guo, D., Yang, D., Chen, D., Ji, D., Li, E., Lin, F., Dai, F., and Pan, Z. (2024). Deepseek-V3 technical report. arXiv preprint arXiv:2412.19437. Disponível em: [link].
Donadel, D., Marchiori, F., Pajola, L., and Conti, M. (2024). Can LLMs Understand Computer Networks? Towards a Virtual System Administrator . In 2024 IEEE 49th Conference on Local Computer Networks (LCN), pages 1–10, Los Alamitos, CA, USA. IEEE Computer Society.
Filho, L. P., Souza, T., and Paula, L. (2023). Análise das respostas do chatgpt em relação ao conteúdo de programação para iniciantes. In Anais do XXXIV Simpósio Brasileiro de Informática na Educação, pages 1738–1748, Porto Alegre, RS, Brasil. SBC.
Google, Pichai, S., and Hassabis, D. (2023). Introducing gemini: our largest and most capable ai model. [link]. Acessado em 7 de junho de 2025.
Kurose, J. F. and Ross, K. W. (2021). Redes de Computadores e a Internet (coedição Bookman e Pearson). Bookman Editora.
Lo, C. K. (2023). What is the impact of chatgpt on education? a rapid review of the literature. Education Sciences, 13:410.
Lyu, W., Wang, Y., Chung, T. R., Sun, Y., and Zhang, Y. (2024). Evaluating the effectiveness of llms in introductory computer science education: A semester-long field study. In Proceedings of the Eleventh ACM Conference on Learning @ Scale, L@S ’24, page 63–74, New York, NY, USA. Association for Computing Machinery.
Ma, X. and Wang, J. (2024). WIP: Active Learning Through Prompt Engineering and Agentic AI Simulation-A Pilot Project in Computer Networks Education . In 2024 IEEE Frontiers in Education Conference (FIE), pages 1–5, Los Alamitos, CA, USA. IEEE Computer Society.
Marques, D. and Morandini, M. (2024). Uso do chatgpt no contexto educacional: Uma revisão sistemática da literatura. In Anais do XXXV Simpósio Brasileiro de Informática na Educação, pages 1784–1795, Porto Alegre, RS, Brasil. SBC.
Microsoft (2025). What is microsoft copilot? [link]. Acessado em 7 de junho de 2025.
Minaee, S., Mikolov, T., Nikzad, N., Chenaghlu, M., Socher, R., Amatriain, X., and Gao, J. (2025). Large language models: A survey.
OpenAI (2025). How chatgpt and our foundation models are developed. [link]. Acessado em 7 de junho de 2025.
Raihan, N., Siddiq, M. L., Santos, J. C., and Zampieri, M. (2025). Large language models in computer science education: A systematic literature review. In Proceedings of the 56th ACM Technical Symposium on Computer Science Education V. 1, SIGCSETS 2025, page 938–944, New York, NY, USA. Association for Computing Machinery.
Rangel, M., Rodrigues, J., and Mocarzel, M. (2018). Fundamentos e princípios das opções metodológicas. metodologias quantitativas e procedimentos quali-quantitativos de pesquisa. OMNIA Revista Interdisciplinar de Ciências e Artes, 8:5–11.
Soares, B. J., Franco, D., Sabino, B., and Eguchi, M. (2023). Implicações da inteligência artificial na educação. TECCOGS – Revista Digital de Tecnologias Cognitivas, pages 76–86.
Tanenbaum, A. S. and Wetherall, D. J. (2011). Redes de Computadores. Pearson, São Paulo, SP, 5 edition. E-book. Disponível em: [link]. Acesso em: 22 ago. 2025.
Tenable Security Response Team, Narang, S., and Miles, N. (2025). Frequently asked questions about deepseek large language model (llm). [link]. Acessado em 7 de junho de 2025.
Wang, B., Zhang, Y., and Zeng, Q. (2024). Resources Construction and LLM Fine-tuning for Education of Computer Science . In 2024 IEEE International Conference on Big Data (BigData), pages 1655–1663, Los Alamitos, CA, USA. IEEE Computer Society.
Dakshit, S. (2024). Faculty perspectives on the potential of rag in computer science higher education. In Proceedings of the 25th Annual Conference on Information Technology Education, SIGITE ’24, page 19–24, New York, NY, USA. Association for Computing Machinery.
DeepSeek-AI, Liu, A., Feng, B., Xue, B., Wang, B., Wu, B., Lu, C., Zhao, C., Deng, C., Zhang, C., Ruan, C., Dai, D., Guo, D., Yang, D., Chen, D., Ji, D., Li, E., Lin, F., Dai, F., and Pan, Z. (2024). Deepseek-V3 technical report. arXiv preprint arXiv:2412.19437. Disponível em: [link].
Donadel, D., Marchiori, F., Pajola, L., and Conti, M. (2024). Can LLMs Understand Computer Networks? Towards a Virtual System Administrator . In 2024 IEEE 49th Conference on Local Computer Networks (LCN), pages 1–10, Los Alamitos, CA, USA. IEEE Computer Society.
Filho, L. P., Souza, T., and Paula, L. (2023). Análise das respostas do chatgpt em relação ao conteúdo de programação para iniciantes. In Anais do XXXIV Simpósio Brasileiro de Informática na Educação, pages 1738–1748, Porto Alegre, RS, Brasil. SBC.
Google, Pichai, S., and Hassabis, D. (2023). Introducing gemini: our largest and most capable ai model. [link]. Acessado em 7 de junho de 2025.
Kurose, J. F. and Ross, K. W. (2021). Redes de Computadores e a Internet (coedição Bookman e Pearson). Bookman Editora.
Lo, C. K. (2023). What is the impact of chatgpt on education? a rapid review of the literature. Education Sciences, 13:410.
Lyu, W., Wang, Y., Chung, T. R., Sun, Y., and Zhang, Y. (2024). Evaluating the effectiveness of llms in introductory computer science education: A semester-long field study. In Proceedings of the Eleventh ACM Conference on Learning @ Scale, L@S ’24, page 63–74, New York, NY, USA. Association for Computing Machinery.
Ma, X. and Wang, J. (2024). WIP: Active Learning Through Prompt Engineering and Agentic AI Simulation-A Pilot Project in Computer Networks Education . In 2024 IEEE Frontiers in Education Conference (FIE), pages 1–5, Los Alamitos, CA, USA. IEEE Computer Society.
Marques, D. and Morandini, M. (2024). Uso do chatgpt no contexto educacional: Uma revisão sistemática da literatura. In Anais do XXXV Simpósio Brasileiro de Informática na Educação, pages 1784–1795, Porto Alegre, RS, Brasil. SBC.
Microsoft (2025). What is microsoft copilot? [link]. Acessado em 7 de junho de 2025.
Minaee, S., Mikolov, T., Nikzad, N., Chenaghlu, M., Socher, R., Amatriain, X., and Gao, J. (2025). Large language models: A survey.
OpenAI (2025). How chatgpt and our foundation models are developed. [link]. Acessado em 7 de junho de 2025.
Raihan, N., Siddiq, M. L., Santos, J. C., and Zampieri, M. (2025). Large language models in computer science education: A systematic literature review. In Proceedings of the 56th ACM Technical Symposium on Computer Science Education V. 1, SIGCSETS 2025, page 938–944, New York, NY, USA. Association for Computing Machinery.
Rangel, M., Rodrigues, J., and Mocarzel, M. (2018). Fundamentos e princípios das opções metodológicas. metodologias quantitativas e procedimentos quali-quantitativos de pesquisa. OMNIA Revista Interdisciplinar de Ciências e Artes, 8:5–11.
Soares, B. J., Franco, D., Sabino, B., and Eguchi, M. (2023). Implicações da inteligência artificial na educação. TECCOGS – Revista Digital de Tecnologias Cognitivas, pages 76–86.
Tanenbaum, A. S. and Wetherall, D. J. (2011). Redes de Computadores. Pearson, São Paulo, SP, 5 edition. E-book. Disponível em: [link]. Acesso em: 22 ago. 2025.
Tenable Security Response Team, Narang, S., and Miles, N. (2025). Frequently asked questions about deepseek large language model (llm). [link]. Acessado em 7 de junho de 2025.
Wang, B., Zhang, Y., and Zeng, Q. (2024). Resources Construction and LLM Fine-tuning for Education of Computer Science . In 2024 IEEE International Conference on Big Data (BigData), pages 1655–1663, Los Alamitos, CA, USA. IEEE Computer Society.
Publicado
24/11/2025
Como Citar
SILVEIRA, Luca Vianna Martins; PAULA, Luciano Bernardes de.
Avaliação de LLMs em Relação a Questões Básicas de Redes de Computadores. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 36. , 2025, Curitiba/PR.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2025
.
p. 944-957.
DOI: https://doi.org/10.5753/sbie.2025.12718.
