Avaliação Experimental de LLMs Quantizados sob Carga Concorrente em um Dispositivo de Borda

• Renan Silva UFRPE
• Bruno Nogueira UFAL
• Rodrigo Paes UFAL
• Ermeson Andrade UFRPE

DOI: https://doi.org/10.5753/sscad.2026.34928

Resumo

A inferência local de modelos de linguagem de grande porte (LLMs) quantizados em dispositivos de borda é limitada pela capacidade de processamento, e seu comportamento sob carga concorrente não está suficientemente caracterizado. Este trabalho avalia o desempenho e a confiabilidade de três modelos quantizados em 8 bits: Llama-3.2-1B, Qwen-2.5-1.5B e TinyLlama-1.1B, executados em um Raspberry Pi 4B sob requisições concorrentes com atendimento serializado. Um projeto fatorial completo combinou três modelos, três tamanhos de contexto e três níveis de concorrência, totalizando 27 condições, 630 requisições e 16.366 amostras de hardware. Os resultados mostram taxas de conclusão de 100% para o Llama, 97,96% para o Qwen e 76,52% para o TinyLlama. Embora seja o menor modelo, o TinyLlama produziu as respostas mais longas e concentrou 31 das 36 falhas por timeout. Nas condições com 100% de conclusão, as taxas sistêmicas de produção de texto variaram de 8,1 a 14,5 caracteres/s. Respostas mais longas estiveram associadas a maior latência e menor capacidade de atendimento. A utilização média da CPU variou de 78,8% a 98,9%, enquanto a memória ocupou no máximo 21,2% da capacidade. Esses achados podem orientar outros pesquisadores na seleção e avaliação de LLMs em dispositivos de borda sob carga concorrente.

Referências

Cheng, F., Zhang, J., Zhang, J., Guo, C., Zhou, C., Liu, X., and Chen, Y. (2024). Ecco: Improving memory bandwidth and capacity for LLMs via entropy-aware cache compression. In Proceedings of the International Symposium/Conference.

Dhar, N., Wu, X., Deng, B., and Zhao, L. (2024). An empirical analysis and resource footprint study of deploying large language models on edge devices. In 2024 ACM Southeast Conference (ACMSE). ACM.

Dong, Z. and Zhang, X. (2024). Evaluating large language models on the edge based on evaluatology. In BenchCouncil Transactions on Benchmarks, Standards and Evaluations. Springer.

Dunn, O. J. (1964). Multiple comparisons using rank sums. Technometrics, 6(3):241–252.

Durán, F., Martinez, M., Lago, P., and Martínez-Fernández, S. (2025). Insights into resource utilization of code small language models serving with runtime engines and execution providers. Journal of Systems and Software, 230:112574.

Gerganov, G. and llama.cpp contributors (2023). llama.cpp: LLM inference in C/C++. [link]. Acesso em agosto de 2026.

Grattafiori, A., Dubey, A., Jauhri, A., et al. (2024). The Llama 3 herd of models.

Huang, W., Zheng, X., Ma, X., Qin, H., Lv, C., Chen, H., Luo, J., Qi, X., Liu, X., and Magno, M. (2024). An empirical study of LLaMA3 quantization: from LLMs to MLLMs. Visual Intelligence, 2(36).

Huang, Y., Zheng, K., Yu, Z., and Bouganis, C.-S. (2025). ITERA-LLM: Boosting sub-8-bit large language model inference via iterative tensor decomposition. In 2025 IEEE 33rd Annual International Symposium on Field-Programmable Custom Computing Machines (FCCM). IEEE.

Jain, R. (1991). The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling. John Wiley & Sons.

Kruskal, W. H. and Wallis, W. A. (1952). Use of ranks in one-criterion variance analysis. Journal of the American Statistical Association, 47(260):583–621.

Qwen Team (2025). Qwen2.5 technical report.

Rajpurkar, P., Jia, R., and Liang, P. (2018). Know what you don’t know: Unanswerable questions for SQuAD. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 784–789, Melbourne, Australia. Association for Computational Linguistics.

Ray, P. P. and Pradhan, M. P. (2025). DLUSEdge: Dynamic load-unload scheduling for localized LLMs on resource-constrained edge. KI - Künstliche Intelligenz.

Suárez, D. and Blanco, V. (2025). Energy-efficient inference on RNN and LLM networks: A quantized evaluation on RISC-V, ARM, and x86 devices. In The 16th ACM International Conference on Future and Sustainable Energy Systems (E-ENERGY ’25).

Wei, J., Cao, S., Cao, T., Ma, L., Wang, L., Zhang, Y., and Yang, M. (2025). T-MAC: CPU renaissance via table lookup for low-bit LLM deployment on edge. In Proceedings of the Twentieth European Conference on Computer Systems (EuroSys ’25). Association for Computing Machinery.

Wu, J., Dai, H., Wu, J., Jin, W., and Wang, Y. (2024). QMLFQ: A quantization-based queue scheduling framework for efficient LLM serving. In 2024 IEEE Smart World Congress (SWC). IEEE.

Zhang, C., Zhu, X., Chen, L., Yang, T., Pan, E., Yu, G., Zhao, Y., Wu, X., Li, B., Mao, W., and Han, G. (2025). Enhancing LLM inference performance on ARM CPUs through software and hardware co-optimization strategies. CICAS Integrated Circuits and Systems.

Zhang, P., Zeng, G., Wang, T., and Lu, W. (2024). TinyLlama: An open-source small language model.

Zheng, Y., Chen, Y., Qian, B., Shi, X., Shu, Y., and Chen, J. (2025). A review on edge large language models: Design, execution, and applications. ACM Computing Surveys, 57(8):1–35.