Proposta de Arcabouço Teórico para a Avaliação Sistemática de Modelos de Linguagem Quantizados

• Ricardo Leonarczyk NAIA / PUCRS
• Murilo Regio NAIA / PUCRS
• Cristiano Andrade NAIA / PUCRS
• Luan Fonseca Garcia NAIA / PUCRS
• Dalvan Griebler PUCRS
• Ewerton de Oliveira Brazil R&D - HP Inc.
• Thomas Paula Brazil R&D - HP Inc.

DOI: https://doi.org/10.5753/eramiars.2025.16626

Resumo

Este artigo propõe um arcabouço conceitual para sistematizar a avaliação de modelos de linguagem quantizados, organizando-a em quatro níveis hierárquicos de escopo e rigor crescentes. Ele é fundamentado em uma revisão sistemática da literatura sobre quantização pós-treinamento, cujos resultados também orientam a seleção de métricas e benchmarks apropriados para cada nível. Ao estabelecer uma metodologia estruturada e baseada em evidências, o arcabouço visa aprimorar a transparência, a reprodutibilidade e a comparabilidade da pesquisa na área.

Referências

Gholami, A., Kim, S., Dong, Z., Yao, Z., Mahoney, M. W., and Keutzer, K. (2022). A survey of quantization methods for efficient neural network inference. In Low-Power Computer Vision, pages 291–326. Chapman and Hall/CRC.

Jin, R., Du, J., Huang, W., Liu, W., Luan, J., Wang, B., and Xiong, D. (2024). A comprehensive evaluation of quantization strategies for large language models. ArXiv, abs/2402.16775.

Zhao, J., Wang, M., Zhang, M., Shang, Y., Liu, X., Wang, Y., Zhang, M., and Nie, L. (2025). Benchmarking post-training quantization in llms: Comprehensive taxonomy, unified evaluation, and comparative analysis. ArXiv, abs/2502.13178.