Avaliação do Impacto da Minimização de Conjuntos de Casos de Teste no Custo e Eficácia do Critério Análise de Mutantes
Resumo
Estratégias de minimização de conjuntos de casos de teste são relevantes para as fases de teste e manutenção do software. Muitos estudos empíricos têm sido conduzidos para avaliar o impacto da minimização no custo e eficácia dos critérios de teste. Este artigo apresenta a avaliação de uma estratégia de minimização de conjuntos de casos de teste desenvolvida a partir do algoritmo de minimização proposto por Harrold [HAR93]. O módulo de minimização está integrado à Proteum — uma ferramenta de apoio ao critério Análise de Mutantes para o teste de programas na linguagem C —. A avaliação foi realizada através de dois estudos empíricos, onde os resultados indicam uma redução significativa no custo e uma pequena diminuição na eficácia em revelar erros do critério Análise de Mutantes.
Palavras-chave:
Minimização de conjuntos de casos de teste, Critério Análise de Mutantes, Ferramentas de teste, Teste de software
Referências
Chusho, T., "Test Data Selection and Quality Estimation Based on Concept of Essential Branches for Path Testing", IEEE Trans. on Software Eng., v. 13, n. 5, Maio 1987.
Delamaro, M.E., "Proteum - Um Ambiente de Teste Baseado na Análise de Mutantes", Dissertação de Mestrado, ICMSC/USP - São Carlos, SP, Brasil, Outubro, 1993.
Delamaro, M.E., Maldonado, J.C., Mathur, A.P., "Proteum - A Tool for the Assesment of Test Adequacy for C Programs: User's Guide", Technical Report SERC-TR-168-P, Software Engineering Rescarch Center, Purdue University, W.Lafayette, IN, Abril, 1996.
Demillo, R.A., "Mutation Analysis as a Tool for Software Quality Assurance", in Proc. of COMPSAC8O0, Chicago - IL, Outubro, 1980.
Garey, M.R., Johnson, D.S., Computers and Intractability, A Guide to the Teory of NP-Completeness, V.Klee, Ed. Freeman, New York, 1979.
Harold, M.J., Soffa, M.L., Gupta, R., "A Methodology for Controlling the Size of a Test Suite", ACM Transaction on Software Engineering and Methodology, v. 2, n.3, pp. 270-285, Julho, 1993.
Leung, H.K.L., White, L., "A Cost Model to Compare Regression Test Strategies", in Proceedings Conference on Software Maintenance, pp. 201-208, Outubro, 1991.
Mathur, A.P., Wong, W.E., "Evaluation of The Cost Altemate Mutation Strategies", VII Simpósio Brasileiro de Engenharia de Software, Rio de Janeiro, 1993.
Mathur, A.P., Wong, W.E., "An Empirical Comparison of Data Flow and Mutation-Based Test Adequacy Criteria", Software Testing, Verification and Reliability, voL4, pp. 9-31, 1994.
Offut, A.J., Pan, J., Tewary, K., Zhang, T., "An Experimental Evaluation of Data Flow and Mutation Testing", Software Pratice and Experience, 26(2), pp-165-176, Fevereiro, 1996.
Offut, A.J., Lee, A., Rothermel, G., Untch, R.H., Zapf, C., "An Experimental Determination of Sufficient Mutant Operators", ACM Transaction on Software Engineering Methodology, 5(2), pp. 99-118, Abril, 1996.
Ostrand, T.J., Weyuker, E.J., "Using Data Flow Analysis for Regression Testing", in Sixth Annual Pacific Northwest Software Quality Conference, Ortland-Oregon, Setembro, 1988.
Souza, S.R.S., Maldonado, J.C., Vergílio, S.R., "Análise de Mutantes e Potenciais-Usos: Uma Avaliação Empírica", VIII CITS - Conferência Internacional de Tecnologia de Software, pp. 225-235, Curitiba, Junho, 1997.
Wong, W. "On Mutation and Data Flow", Tese de Doutorado, Software Engineering Research Center - Purdue University, West Lafayette, Indiana, Dezembro, 1993.
Wong, W.E., London, S., Mathur, A., "Effect of Test Set Minimization on the Fault Detection Effectiveness of the All-Uses Criterion", Technical Report SERC-TR-152-P, Software Eng. Rescarch Center, Purdue University, Abril, 1994.
Wong, W.E., et al. "Mutation versus All-uses: An Empirical Evaluation of Cost, Strength, and Effectiveness", Sofrware Quality and Productivity - Theory, practice, education and training, Hong Kong, Dezembro, 1994.
Wong, W.E., Mathur, A., "Reducing the Cost of Mutation Testing: An Empirical Study", Journal of Systems Software, v.31, pp. 185-196, 1995.
Wong, W.E., Maldonado, J.C., Delamaro, M.E., "Reducing the Cost of Regression Testing by Using Selective Mutation", VIII CITS - Conferência Internacional de Tecnologia de Software, pp. 93-109, Curitiba, Junho, 1997.
Delamaro, M.E., "Proteum - Um Ambiente de Teste Baseado na Análise de Mutantes", Dissertação de Mestrado, ICMSC/USP - São Carlos, SP, Brasil, Outubro, 1993.
Delamaro, M.E., Maldonado, J.C., Mathur, A.P., "Proteum - A Tool for the Assesment of Test Adequacy for C Programs: User's Guide", Technical Report SERC-TR-168-P, Software Engineering Rescarch Center, Purdue University, W.Lafayette, IN, Abril, 1996.
Demillo, R.A., "Mutation Analysis as a Tool for Software Quality Assurance", in Proc. of COMPSAC8O0, Chicago - IL, Outubro, 1980.
Garey, M.R., Johnson, D.S., Computers and Intractability, A Guide to the Teory of NP-Completeness, V.Klee, Ed. Freeman, New York, 1979.
Harold, M.J., Soffa, M.L., Gupta, R., "A Methodology for Controlling the Size of a Test Suite", ACM Transaction on Software Engineering and Methodology, v. 2, n.3, pp. 270-285, Julho, 1993.
Leung, H.K.L., White, L., "A Cost Model to Compare Regression Test Strategies", in Proceedings Conference on Software Maintenance, pp. 201-208, Outubro, 1991.
Mathur, A.P., Wong, W.E., "Evaluation of The Cost Altemate Mutation Strategies", VII Simpósio Brasileiro de Engenharia de Software, Rio de Janeiro, 1993.
Mathur, A.P., Wong, W.E., "An Empirical Comparison of Data Flow and Mutation-Based Test Adequacy Criteria", Software Testing, Verification and Reliability, voL4, pp. 9-31, 1994.
Offut, A.J., Pan, J., Tewary, K., Zhang, T., "An Experimental Evaluation of Data Flow and Mutation Testing", Software Pratice and Experience, 26(2), pp-165-176, Fevereiro, 1996.
Offut, A.J., Lee, A., Rothermel, G., Untch, R.H., Zapf, C., "An Experimental Determination of Sufficient Mutant Operators", ACM Transaction on Software Engineering Methodology, 5(2), pp. 99-118, Abril, 1996.
Ostrand, T.J., Weyuker, E.J., "Using Data Flow Analysis for Regression Testing", in Sixth Annual Pacific Northwest Software Quality Conference, Ortland-Oregon, Setembro, 1988.
Souza, S.R.S., Maldonado, J.C., Vergílio, S.R., "Análise de Mutantes e Potenciais-Usos: Uma Avaliação Empírica", VIII CITS - Conferência Internacional de Tecnologia de Software, pp. 225-235, Curitiba, Junho, 1997.
Wong, W. "On Mutation and Data Flow", Tese de Doutorado, Software Engineering Research Center - Purdue University, West Lafayette, Indiana, Dezembro, 1993.
Wong, W.E., London, S., Mathur, A., "Effect of Test Set Minimization on the Fault Detection Effectiveness of the All-Uses Criterion", Technical Report SERC-TR-152-P, Software Eng. Rescarch Center, Purdue University, Abril, 1994.
Wong, W.E., et al. "Mutation versus All-uses: An Empirical Evaluation of Cost, Strength, and Effectiveness", Sofrware Quality and Productivity - Theory, practice, education and training, Hong Kong, Dezembro, 1994.
Wong, W.E., Mathur, A., "Reducing the Cost of Mutation Testing: An Empirical Study", Journal of Systems Software, v.31, pp. 185-196, 1995.
Wong, W.E., Maldonado, J.C., Delamaro, M.E., "Reducing the Cost of Regression Testing by Using Selective Mutation", VIII CITS - Conferência Internacional de Tecnologia de Software, pp. 93-109, Curitiba, Junho, 1997.
Publicado
15/10/1997
Como Citar
SOUZA, Simone do Rócio Senger de; MALDONADO, José Carlos.
Avaliação do Impacto da Minimização de Conjuntos de Casos de Teste no Custo e Eficácia do Critério Análise de Mutantes. In: SIMPÓSIO BRASILEIRO DE ENGENHARIA DE SOFTWARE (SBES), 11. , 1997, Recife/PE.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
1997
.
p. 445-460.
DOI: https://doi.org/10.5753/sbes.1997.24064.
