Uma Plataforma Multimodelo para Governança e Compartilhamento de Inferência em Ferramentas Inteligentes de Engenharia de Software

• Jeosafá de Melo Freitas Júnior UFCG
• Joaquim José Cintra Maia Honório UFCG
• Danyllo Albuquerque UFCG
• Emanuel Dantas Filho UFCG

DOI: https://doi.org/10.5753/ise.2026.33100

Resumo

Ferramentas inteligentes de apoio ao desenvolvimento de software, entre elas assistentes de programação, análise de código, busca com geração aumentada por recuperação (RAG) e agentes de investigação, dependem de modelos de linguagem para operar. Quando processam código proprietário ou dados sob sigilo, o envio de prompts a provedores externos torna-se inviável, uma vez que cada fornecedor retém as entradas por prazos próprios e subtrai à organização o controle sobre o trânsito de código e dados. A inferência passa, então, a ocorrer na infraestrutura da própria organização, o que restringe as opções aos modelos de pesos abertos e converte a GPU em um recurso finito a ser planejado. Na ausência de uma camada comum, cada sistema tende a provisionar uma cópia própria de cada modelo, o que duplica o consumo de capacidade e fragmenta o controle de acesso. Este artigo descreve uma plataforma de inferência multimodelo que expõe os modelos sob uma única API, reparte uma capacidade de GPU compartilhada e estrutura o acesso em uma hierarquia de núcleos, projetos, usuários e chaves, preservando a atribuição de cada requisição à sua origem e permitindo que uma única cópia de cada modelo atenda a todos os sistemas. Como a centralização introduz uma camada adicional no caminho de cada requisição, avalia-se o sobrecusto de latência dela decorrente frente ao acesso direto ao servidor de inferência, por meio de um experimento pareado. Situado no domínio de MLOps, o trabalho sistematiza os princípios de engenharia subjacentes, examina as dificuldades encontradas e aponta direções para equipes diante de desafios semelhantes.

Palavras-chave: Modelos de linguagem, Governança de IA, Plataforma de inferência

Referências

Peng, S. et al. The Impact of AI on Developer Productivity: Evidence from GitHub Copilot. arXiv preprint arXiv:2302.06590, 2023.

Jimenez, C. E. et al. SWE-bench: Can Language Models Resolve Real-World GitHub Issues? In: International Conference on Learning Representations (ICLR), p. 54107–54157, 2024.

Yang, J. et al. SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering. In: Advances in Neural Information Processing Systems (NeurIPS), v. 37, p. 50528–50652, 2024.

Anthropic. Is my data used for model training? Disponível em: [link].

OpenRouter. Privacy Policy. Disponível em: [link].

Kwon, W. et al. Efficient Memory Management for Large Language Model Serving with PagedAttention. In: Proceedings of the 29th ACM Symposium on Operating Systems Principles (SOSP), p. 611–626, 2023.

Yu, G. et al. Orca: A Distributed Serving System for Transformer-Based Generative Models. In: 16th USENIX Symposium on Operating Systems Design and Implementation, p. 521–538, 2022.

Li, Z. et al. AlpaServe: Statistical Multiplexing with Model Parallelism for Deep Learning Serving. In: 17th USENIX Symposium on Operating Systems Design and Implementation (OSDI), p. 663–679, 2023.

Sculley, D. et al. Hidden Technical Debt in Machine Learning Systems. In: Advances in Neural Information Processing Systems (NeurIPS), v. 28, 2015.

Kreuzberger, D.; Kühl, N.; Hirschl, S. Machine Learning Operations: Overview, Definition, and Architecture. IEEE Access, v. 11, p. 31866–31879, 2023.

Efron, B.; Tibshirani, R. J. An Introduction to the Bootstrap. Chapman & Hall, 1993.

BerriAI. LiteLLM: Call LLM APIs using the OpenAI format. Disponível em: [link].