Otimização Multiobjetivo de Configurações de Produtores do Apache Kafka para Redução de Latência e Aumento de Vazão

• Paulo Cesar dos Santos da Silva UERJ
• Ian Vilar Bastos UERJ
• Marcelo Gonçalves Rubinstein UERJ

DOI: https://doi.org/10.5753/wgrs.2026.23260

Resumo

O Apache Kafka é uma das soluções de streaming de dados mais amplamente utilizadas atualmente. Essa solução é baseada no modelo publicação/assinatura, no qual produtores publicam dados e consumidores os recebem. A configuração dos produtores envolve múltiplos parâmetros interdependentes que influenciam métricas como vazão, latência e variabilidade da latência, caracterizando um problema de otimização multiobjetivo. Este trabalho propõe uma abordagem que integra modelagem substituta preditiva com XGBoost (eXtreme Gradient Boosting) e otimização multiobjetivo baseada no algoritmo evolutivo NSGA-III (Non-dominated Sorting Genetic Algorithm III). O problema considera quatro objetivos: minimizar a latência, maximizar a vazão e minimizar as variabilidades da latência e da vazão na comunicação entre um produtor e um cluster do Kafka. As soluções são avaliadas por meio de experimentos conduzidos com cinco tamanhos de mensagem. Os resultados indicam uma rápida convergência do NSGA-III e uma aderência entre valores estimados e reais, especialmente para a vazão e para a latência. Além disso, os ganhos obtidos são de mais de 10% em termos de vazão e 40% em termos de latência quando são comparados os desempenhos entre uma configuração proveniente da otimização e a configuração padrão do Kafka.

Referências

Apache Software Foundation (2026). Apache kafka producer configuration. [link]. Acesso em: 15 mar. 2026.

Bao, L., Liu, X., and Chen, W. (2018). Learning-based automatic parameter tuning for big data analytics frameworks. In 2018 IEEE International Conference on Big Data (Big Data), pages 181–190. IEEE.

Chen, T. and Guestrin, C. (2016). Xgboost: A scalable tree boosting system. In Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining, pages 785–794.

Deb, K. and Jain, H. (2013). An evolutionary many-objective optimization algorithm using reference-point-based nondominated sorting approach, part i: solving problems with box constraints. IEEE transactions on evolutionary computation, 18(4):577–601.

Dou, H., Zhu, S., Zhou, Y., Zhang, Y., Mei, J., Wu, Y., and Dai, J. (2024). Cotuner: Joint optimization of resource configuration and software parameters for recurring streaming jobs on the cloud. In 2024 IEEE 24th International Symposium on Cluster, Cloud and Internet Computing (CCGrid), pages 87–96. IEEE.

Fu, Y. and Soman, C. (2021). Real-time data infrastructure at uber. In Proceedings of the 2021 International Conference on Management of Data, pages 2503–2516.

Jin, Y. (2011). Surrogate-assisted evolutionary computation: Recent advances and future challenges. Swarm and Evolutionary Computation, 1(2):61–70.

Kang, Z., Barve, Y. D., Bao, S., Dubey, A., and Gokhale, A. (2023). Dmsconfig: Automated configuration tuning for distributed iot message systems using deep reinforcement learning. arXiv preprint arXiv:2302.09146.

Kreps, J., Narkhede, N., Rao, J., et al. (2011). Kafka: A distributed messaging system for log processing. In Proceedings of the NetDB, volume 11, pages 1–7. Athens, Greece.

Ma, H., Ma, Y., Guo, T., Yuan, H., et al. (2025). An automated method for solving configuration of distributed messaging systems: Dmga-pso algorithm. Expert Systems with Applications, 277:127161.

Montgomery, D. C. (2017). Design and analysis of experiments. John wiley & sons.

Raptis, T. P. and Passarella, A. (2023). A survey on networked data streaming with apache kafka. IEEE access.

Zhang, Q. and Li, H. (2007). Moea/d: A multiobjective evolutionary algorithm based on decomposition. IEEE Transactions on evolutionary computation, 11(6):712–731.