Custo Experimental e Valor Diagnóstico em Estratégias de Teste de Desempenho para Aplicações Web

• Eric Santos de Moraes UNIPAMPA
• Luan Evander Pimentel Tavares UNIPAMPA
• Anielle Andrade UNIPAMPA
• Elder de Macedo Rodrigues UNIPAMPA

DOI: https://doi.org/10.5753/sast.2026.32387

Resumo

Garantir o desempenho de aplicações web sob carga é uma preocupação central da engenharia de software. Diferentes estratégias de teste, ao combinarem perfis de workload e níveis de monitoramento, podem produzir custos experimentais e capacidades diagnósticas distintas, porém essa relação ainda é pouco investigada empiricamente. Este trabalho apresenta uma avaliação comparativa de seis estratégias de teste de desempenho aplicadas a uma aplicação de comércio eletrônico baseada no TPC-W, utilizando a ferramenta k6. As estratégias combinam três perfis de workload (browsing, shopping e ordering) com dois níveis de monitoramento (básico e estendido), sendo avaliadas por latência (p50, p95, p99), throughput, taxa de erro e gargalos identificados. Os resultados de 60 execuções revelam diferenças substanciais entre os perfis avaliados. A análise inferencial identificou efeito significativo do perfil de workload sobre o throughput e forte interação entre workload e nível de monitoramento. Enquanto estratégias baseadas apenas em leitura indicaram um sistema saudável, os perfis transacionais expuseram um gargalo crítico de concorrência na camada de escrita. O monitoramento estendido apresentou efeito pequeno no perfil browsing, mas esteve associado a reduções de aproximadamente 50% no throughput dos perfis transacionais, ao mesmo tempo em que forneceu evidências adicionais para identificação da causa raiz. A combinação de monitoramento básico com um perfil de leitura e um perfil transacional detectou o principal gargalo com 90 minutos de preparação, oferecendo o melhor compromisso entre custo experimental e informação diagnóstica no cenário avaliado.

Palavras-chave: Teste de Desempenho, Workload, Monitoramento, Estratégias de Teste, Engenharia de Software Empírica, TPC-W, k6

Referências

Apache Software Foundation. 2025. Apache JMeter. [link] Accessed: 2026-06-01.

Andrea Arcuri, Robert Kogler, Christian Schwartz, and Man Zhang. 2025. Technology Adoption Performance Evaluation Applied to Testing Industrial REST APIs. Automated Software Engineering 32, 1 (2025), 5. DOI: 10.1007/s10515-024-00477-2

Daniel F. Garcia and Javier Garcia. 2003. Throughput Analysis of E-commerce Servers Using the TPC-W Benchmark. In Proceedings of the 12th International Conference on World Wide Web (WWW). ACM, 255–256.

Amid Golmohammadi, Man Zhang, and Andrea Arcuri. 2023. Testing RESTful APIs: A Survey. ACM Transactions on Software Engineering and Methodology 33, 1, Article 27 (2023), 41 pages. DOI: 10.1145/3617175

Grafana Labs. 2025. k6 Documentation. [link] Accessed: 2026-06-01.

Myeongsoo Kim, Saurabh Sinha, and Alessandro Orso. 2023. Adaptive REST API Testing with Reinforcement Learning. In Proceedings of the 38th IEEE/ACM International Conference on Automated Software Engineering (ASE). IEEE, 446–458. DOI: 10.1109/ASE56229.2023.00116

Shin-Jie Lee, Chien-Hsun Kuo, and Jia-Ying Chen. 2024. Revealing Inputs Causing Web API Performance Latency Using Response-Time-Guided Genetic Algorithm Fuzzing. Artificial Life and Robotics 29, 4 (2024), 459–472. DOI: 10.1007/s10015-024-00957-4

Daniel A. Menascé. 2002. TPC-W: A Benchmark for E-Commerce. In IEEE Internet Computing, Vol. 6. IEEE, 83–87.

Deepti Mishra, Aditi Sharan, and Shailja Marvi. 2022. RESTful API Testing Methodologies: Rationale, Challenges, and Solution Directions. Applied Sciences 12, 9 (2022), 4369. DOI: 10.3390/app12094369

Ian Molyneaux. 2014. The Art of Application Performance Testing (2 ed.). O’Reilly Media.

Prometheus Authors. 2025. Prometheus – Monitoring System and Time Series Database. [link] Accessed: 2026-06-01.