Avaliação da quantização de modelos visuais de linguagem para implantação em ambiente hospitalar - Dosso, Rafael Scalabrin; Carmo, Diedre Santos do; Rittner, Letícia (Anais Estendidos da Conference on Graphics, Patterns and Images (SIBGRAPI), 2025)
A implantação de modelos de Inteligência Artificial de ponta em hospitais é limitada por questões éticas e altos custos computacionais, especialmente para instituições menores e de países com restrições de recursos. Este estudo avalia a quantização como estratégia para viabilizar a execução local de Modelos de Visão e Linguagem (VLMs) para a interpretação de radiografias de tórax. Utilizando os modelos CheXagent, CheXagent 2 e MedGemma, aplicamos Quantização Pós-Treinamento (PTQ) de 4 bits e analisamos o trade-off entre acurácia (F1-Score), uso de memória (VRAM) e tempo de inferência. Os resultados mostram que a quantização reduziu drasticamente o uso de VRAM, com o MedGemma demonstrando menor perda de acurácia em relação ao CheXagent. O CheXagent 2, não quantizado, alcançou o maior desempenho e menor tempo de inferência. Embora o CheXagent 2 seja relativamente leve, seus requisitos de hardware ainda limitam a sua implantação e reforçam que a quantização é uma ferramenta viável para adaptar megamodelos avançados a possíveis limitações do ambiente clínico.