Identificação de starvation de aplicação no Apache Spark

• Enzo B. Boscatto UDESC
• Anderson H. da S. Marcondes UDESC
• Guilherme P. Koslovski UDESC

DOI: https://doi.org/10.5753/eradrs.2026.21368

Resumo

Este trabalho investiga o fenômeno de starvation de aplicação no Apache Spark induzido por congestionamento de rede durante operações de shuffle. Em um ambiente virtualizado configurado com DCTCP, foram monitoradas métricas granulares de rede (backlog) e de tarefas (Flow Completion Time e tempo de CPU) sob tráfego concorrente. Os resultados revelam aumento superior a 110% no tempo total de execução, enquanto o tempo de uso da CPU permaneceu inalterado. Essa discrepância atesta ociosidade do processamento e sugere a ocorrência de starvation.

Referências

Alizadeh, M., Greenberg, A., Maltz, D. A., Padhye, J., Patel, P., Prabhakar, B., Sengupta, S., and Sridharan, M. (2010). Data center tcp (dctcp). In Proceedings of the ACM SIGCOMM 2010 Conference, pages 63–74.

Arun, V., Alizadeh, M., and Balakrishnan, H. (2022). Starvation in end-to-end congestion control. In Proceedings of the ACM SIGCOMM 2022 Conference, pages 177–192.

Dukkipati, N. and McKeown, N. (2006). Why flow-completion time is the right metric for congestion control. ACM SIGCOMM Computer Communication Review, 36(1):59–62.

Floyd, S. and Jacobson, V. (1993). Random early detection gateways for congestion avoidance. IEEE/ACM Transactions on Networking, 1(4):397–413.

Salloum, S., Dautov, R., Chen, X., Peng, P. X., and Huang, J. Z. (2016). Big data analytics on apache spark. International Journal of Data Science and Analytics, 1:145–164. DOI: 10.1007/s41060-016-0027-9.