Benchmarking Local Large Language Models for an Intelligent Tutoring System in Digital Logic

• Flaviano M. S. Junior UFCG
• Derick S. S. Leite UFCG
• Luiz H. C. da Silva UFCG
• Marcos A. Luz UFCG
• Túlio R. A. Tavares UFCG
• José N. S. Combé UFCG
• Maria V. P. Araújo UFCG
• Marcus M. Bezerra UFCG
• Sérgio N. Silva UFCG

DOI: https://doi.org/10.5753/eniac.2026.31236

Resumo

Sistemas tutores inteligentes (Intelligent Tutoring Systems - ITS) baseados em modelos de linguagem de grande escala Large Language Models - LLMs) enfrentam um dilema entre qualidade e restrições de implantação. Modelos em nuvem oferecem alto desempenho, porém questões de privacidade, custos recorrentes e dependência de conectividade motivam o uso de alternativas locais de código aberto. Todavia, avaliações sistemáticas comparando modelos locais de 7–8B parâmetros para tutoria técnica em português são escassas. Este artigo apresenta um benchmark controlado de quatro modelos locais (Llama 3.1 8B Q8, Qwen 2.5 7B, Socratic Tutor Qwen 2.5 e Mathstral 7B Q4 K M) implantados em hardware voltado ao consumidor (NVIDIA RTX 4060 8 GB) no pipeline RAG multi-collection do TutorIA para circuitos lógicos. Empregando 45 perguntas avaliadas pelo framework de avaliação de geração aumentada por recuperação (Retrieval-Augmented Generation Assessment - RAGAS), um índice composto de qualidade e ANOVA one-way, os resultados revelam que o Mathstral 7B alcança o maior escore composto (0,618, estatisticamente empatado com o Llama 3.1, com intervalos de confiança de 95% sobrepostos), com taxa de recusa zero e melhor acurácia (0,675). Uma ANOVA de quatro grupos com pós-teste confirma diferenças significativas em fidelidade (p_FDR = 0,004), atribuíveis especificamente ao desalinhamento do Socratic Tutor, e não à contagem de parâmetros. Os achados orientam a seleção de modelos locais em cenários educacionais com recursos limitados.

Referências

Abdelghani, R. et al. (2024). GPT-3-driven pedagogical agents to train children’s curious question-asking skills. International Journal of Artificial Intelligence in Education, 34:483–518.

Almeida, T. R. S. et al. (2025). PoETa v2: Toward more robust evaluation of large language models in Portuguese. IEEE Access, 13:214180–214200.

Bosse, Y. and Gerosa, M. A. (2015). Reprovações e trancamentos nas disciplinas de introdução à programação da universidade de são paulo: Um estudo preliminar. In Anais do Workshop sobre Educação em Computação (WEI 2015), WEI, page 426–435. Sociedade Brasileira de Computação - SBC.

Chen, J. et al. (2024). BGE M3-embedding: Multi-lingual, multi-functionality, multi-granularity text embeddings through self-knowledge distillation. arXiv preprint arXiv:2402.03216.

Chroma AI (2024). ChromaDB: The AI-native open-source embedding database. [link]. Acesso em: 1 jun. 2026.

Dubey, A. et al. (2024). The llama 3 herd of models. arXiv preprint arXiv:2407.21783.

Es, S. et al. (2024). RAGAS: Automated evaluation of retrieval augmented generation. In Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics (EACL) - System Demonstrations, pages 150–158.

Gao, Y. et al. (2023). Retrieval-augmented generation for large language models: A survey. arXiv preprint arXiv:2312.10997.

Gholami, A. et al. (2021). A survey of quantization methods for efficient neural network inference. Low-Power Computer Vision, pages 291–326.

Ji, Z. et al. (2023). Survey of hallucination in natural language generation. ACM Computing Surveys, 55(12):1–38.

Jiang, A. Q. et al. (2023). Mistral 7b. arXiv preprint arXiv:2310.06825.

Lewis, P. et al. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. In Advances in Neural Information Processing Systems (NeurIPS), volume 33, pages 9459–9474.

Liu, Z. et al. (2025). LPITutor: An LLM-based personalized intelligent tutoring system using RAG and prompt engineering. PeerJ Computer Science, 11:e2991.

Modran, H. et al. (2025). LLM Intelligent Agent Tutoring in Higher Education Courses Using a RAG Approach, page 589–599. Springer Nature Switzerland.

Ollama Team (2024). Ollama: Get up and running with large language models. [link]. Acesso em: 1 jun. 2026.

Qwen Team (2025). Qwen2.5 technical report. Technical report, Alibaba Group.

Wang, X. et al. (2026). Beyond direct answering: Aligning educational llms as socratic guides via heuristic reinforcement learning. arXiv preprint arXiv:2607.22996.

Wataoka, K. et al. (2024). Self-preference bias in llm-as-a-judge. arXiv preprint arXiv:2410.21819.