Avaliação Experimental dos Trade-offs entre Precisão Numérica, Desempenho e Eficiência Energética em Inferência com TensorRT - Salem, Murilo; Pontes, Daniel; Bohm, Luísa; Reis, Henrique dos; Cavalheiro, Gerson Geraldo H. (Anais da Escola Regional de Alto Desempenho da Região Sul (ERAD-RS); 2026: Anais da XXVI Escola Regional de Alto Desempenho da Região Sul, 2026)
A inferência eficiente de modelos de aprendizado profundo em GPU depende fortemente da representação numérica adotada. Este trabalho avalia os efeitos de FP16, BF16 e INT8 sobre acurácia, latência, throughput, energia por amostra e tamanho do engine, tomando FP32 como baseline, em inferência com ResNet-50, ImageNet-100, TensorRT e trtexec em uma NVIDIA GeForce RTX 5090. A campanha principal gerou 364 registros brutos, e a análise inferencial considerou 30 repetições por precisão nos lotes 1, 8 e 32. Os resultados mostram que INT8 obteve o maior desempenho bruto e a melhor eficiência energética, mas com perda de 2,92 p.p. em Top-1 em relação ao FP32. Sob o critério de aceitação adotado — speedup ≥ 1,15× e ∆Top-1 ≥ −1,0 p.p. — FP16 e BF16 foram classificadas como vantajosas em todos os tamanhos de lote. Entre elas, FP16 apresentou o melhor compromisso global, com speedup entre 4,22× e 4,54× e redução energética entre 70,5% e 78,4%, sem perda observável de Top-1 nesta campanha. A análise inferencial confirmou diferenças estatisticamente significativas entre as precisões para latência, throughput e energia em todos os lotes avaliados (p < 0,05).