Otimização Multiobjetivo de Configurações de Produtores do Apache Kafka para Redução de Latência e Aumento de Vazão - Silva, Paulo Cesar dos Santos da; Bastos, Ian Vilar; Rubinstein, Marcelo Gonçalves (Anais do Workshop de Gerência e Operação de Redes e Serviços (WGRS), 2026)
O Apache Kafka é uma das soluções de streaming de dados mais amplamente utilizadas atualmente. Essa solução é baseada no modelo publicação/assinatura, no qual produtores publicam dados e consumidores os recebem. A configuração dos produtores envolve múltiplos parâmetros interdependentes que influenciam métricas como vazão, latência e variabilidade da latência, caracterizando um problema de otimização multiobjetivo. Este trabalho propõe uma abordagem que integra modelagem substituta preditiva com XGBoost (eXtreme Gradient Boosting) e otimização multiobjetivo baseada no algoritmo evolutivo NSGA-III (Non-dominated Sorting Genetic Algorithm III). O problema considera quatro objetivos: minimizar a latência, maximizar a vazão e minimizar as variabilidades da latência e da vazão na comunicação entre um produtor e um cluster do Kafka. As soluções são avaliadas por meio de experimentos conduzidos com cinco tamanhos de mensagem. Os resultados indicam uma rápida convergência do NSGA-III e uma aderência entre valores estimados e reais, especialmente para a vazão e para a latência. Além disso, os ganhos obtidos são de mais de 10% em termos de vazão e 40% em termos de latência quando são comparados os desempenhos entre uma configuração proveniente da otimização e a configuração padrão do Kafka.