Otimização de Inferência em LLMs na CPU: Análise do Cenário Atual - Cattai, Pedro; Baldassin, Alexandro; Dantas, Allberson (Anais da Escola Regional de Alto Desempenho de São Paulo (ERAD-SP); 2025: Anais da XVI Escola Regional de Alto Desempenho de São PauloDO - 10.5753/eradsp.2025.9731, 2025)
Os avanços em Inteligência Artificial (IA), especialmente em Large Language Models (LLMs), evidenciaram os desafios da inferência eficiente em ambientes com recursos limitados. Embora GPUs sejam o hardware preferencial para inferência em LLMs, sua acessibilidade restrita motiva a exploração de alternativas baseadas em CPU. Este trabalho apresenta um estudo de otimizações para inferência em LLMs em CPUs, com foco em técnicas de manipulação de memória. Ao abordar este gargalo, propomos melhorar a eficiência da inferência sem hardware avançado. Este artigo descreve o andamento atual da pesquisa e a metodologia proposta estabelece bases para futuros experimentos, com potencial para ampliar a acessibilidade de LLMs.