Da Validação Manual à Qualidade Contínua: Um Relato de Evolução de Testes Automatizados em um ERP Legado

• Icaro Santos de Oliveira UECE
• F. F. Rodrigues de Oliveira UECE
• Ismayle S. Santos UECE

DOI: https://doi.org/10.5753/vem.2026.26968

Resumo

Este artigo relata a evolução das práticas de garantia de qualidade em um sistema ERP corporativo legado de grande porte, baseado em Protheus, ao longo de seis meses de transição de validações manuais ad-hoc para um pipeline de qualidade contínua integrado ao CI/CD. A intervenção, conduzida em estágios incrementais, combinou (i) automação de interface de usuário com o framework Test Interface Robot (TIR) para rotinas críticas do módulo de Recursos Humanos, e (ii) testes de camada de serviço com Playwright sob política documentation-first, com relatórios consolidados pelo Allure Report. Diferentemente de relatos focados em uma única camada ou ferramenta isolada, este estudo descreve a coevolução entre infraestrutura técnica, governança via Gitflow e um Board de Qualidade dedicado à gestão de dívida técnica de teste. Reportamos resultados preliminares — mais de 30 rotinas críticas de folha de pagamento e mais de 1.300 testes de API automatizados — e lições sobre flakiness em sistemas legados de alta latência, contribuindo para a literatura de evolução de práticas de teste em contextos industriais.

Palavras-chave: Automação de testes, ERP legado, Evolução de software, Protheus, TIR, Playwright, CI/CD, Relato industrial

Referências

Paul Ammann and Jeff Offutt. 2017. Introduction to Software Testing (2 ed.). Cambridge University Press, Cambridge, UK.

Antonia Bertolino. 2007. Software Testing Research: Achievements, Challenges, Dreams. In Future of Software Engineering (FOSE’07). IEEE Computer Society, Los Alamitos, CA, USA, 85–103. DOI: 10.1109/FOSE.2007.25

Antonio Ricardo Alexandre Brasil, Maria Clara Talhate De Souza, Fernanda Domenicali, Renan Machado, and Jose Urbano Duarte Junior. 2024. Mutation Testing as a Quality Assurance Technique in a Fintech Company: An Experience Report in The Industry. In Proceedings of the XXIII Brazilian Symposium on Software Quality (SBQS). ACM, Salvador, BA, Brasil, 446–451. DOI: 10.1145/3701625.3701629

Lennon Chaves, Flavia Camila Morais de Oliveira, Leonardo Tiago, and Renata Gabriella Vieira Castro. 2024. Benefits and Challenges of a Physical Device Farm for Automated Software Testing: A Case Study of the STELA Tool Implementation. In Anais do IX Simpósio Brasileiro de Testes de Software Sistemático e Automatizado (SAST 2024). Sociedade Brasileira de Computação, Porto Alegre, RS, Brasil, 89–91. DOI: 10.5753/sast.2024.3880

Floris MA Erich, Chintan Amrit, and Maya Daneva. 2017. A qualitative study of DevOps usage in practice. Journal of software: Evolution and Process 29, 6 (2017), e1885.

Jez Humble and David Farley. 2010. Continuous Delivery: Reliable Software Releases Through Build, Test, and Deployment Automation. Addison-Wesley Professional, Boston, MA, USA.

Maurizio Leotta, Andrea Stocco, Filippo Ricca, and Paolo Tonella. 2018. Pesto: Automated migration of DOM-based Web tests towards the visual approach. Software Testing, Verification And Reliability 28, 4 (2018), e1665.

Qingzhou Luo, Farah Hariri, Lamyaa Eloussi, and Darko Marinov. 2014. An Empirical Analysis of Flaky Tests. In Proceedings of the 22nd ACM SIGSOFT International Symposium on Foundations of Software Engineering (FSE 2014). Association for Computing Machinery, New York, NY, USA, 643–653. DOI: 10.1145/2635868.2635920

João Victor de Morais, Neumar Costa Malheiros, and Ricardo Terra. 2025. Automação de Testes de APIs REST no SisNIR. In Anais do X Simpósio Brasileiro de Testes de Software Sistemático e Automatizado (SAST 2025). Sociedade Brasileira de Computação, Porto Alegre, RS, Brasil, 138–140. DOI: 10.5753/sast.2025.13084

Rudolf Ramler, Michael Felderer, Takashi Kitamura, and Darko Marinov. 2016. Industry-Academia Collaboration in Software Testing: An Overview of TAIC PART 2016. In 2016 IEEE Ninth International Conference on Software Testing, Verification and Validation Workshops (ICSTW). IEEE, Piscataway, NJ, USA, 238–239. DOI: 10.1109/ICSTW.2016.19

Per Runeson, Martin Höst, Austen Rainer, and Björn Regnell. 2012. Case Study Research in Software Engineering: Guidelines and Examples. John Wiley & Sons, Hoboken, NJ, USA. DOI: 10.1002/9781118181034

Bruno Pedraça de Souza, Rebeca Campos Motta, Jessica Soares da Costa, Elaine Nunes, Gustavo Rocha Barreto Pinto, and Rafael Maiani de Mello. 2025. A Journey of Functional Test Evolution in the Public Sector. In Anais do X Simpósio Brasileiro de Testes de Software Sistemático e Automatizado (SAST 2025). Sociedade Brasileira de Computação, Porto Alegre, RS, Brasil, 147–149. DOI: 10.5753/sast.2025.13869

TOTVS. 2026. TIR: Test Interface Robot — Python module for automated testing of Protheus web interfaces. [link]. Acesso em maio de 2026.