Deploying Language Models on Android-Based Edge Devices: A Practical Evaluation Pipeline - Costa, Suayder; Lima, Igor; Harada, William; Lucena, Mateus; Alves, Arthur; Valadão, Myke; Alves, Cassio; Belem, Ruan; Pimentel, Agemilson; Fabricio, Romulo; Miranda, Alexandre; Lins, Daniel; et al. (Anais do Simpósio Brasileiro de Computação Ubíqua e Pervasiva (SBCUP); 2026: Anais do XVIII Simpósio Brasileiro de Computação Ubíqua e Pervasiva, 2026)
Este artigo apresenta um pipeline prático de avaliação para a implantação de pequenos modelos de linguagem, versões compactas dos grandes modelos de linguagem projetadas para operar com menor consumo de memória e processamento, em dispositivos de borda baseados em Android, utilizando uma Android TV como caso representativo. O estudo investiga tanto a viabilidade de implantação quanto estratégias de aceleração em nível de software, como a escolha do motor de inferência responsável pela execução do modelo no dispositivo, sob severas restrições de memória e processamento. Os resultados mostram que a maioria dos modelos acima de 500 milhões de parâmetros não foi adequada ao ambiente avaliado, enquanto um subconjunto de modelos quantizados em 4 bits apresentou execução estável e qualidade de resposta aceitável. Além disso, os experimentos demonstram que a escolha do motor de inferência tem forte impacto no desempenho, com o MNN superando significativamente o llama.cpp em dispositivos ARM (família de processadores que predomina em hardware móvel e embarcado). Esses achados oferecem orientações práticas para a integração de IA generativa em hardware de consumo com recursos limitados.