Impacto do Uso de Large Language Models na Interpretação de Requisitos: Um Estudo Experimental Controlado

• Gisely Meneses de Oliveira UFG
• Valdemar Vicente Graciano Neto UFG

DOI: https://doi.org/10.5753/ise.2026.32640

Resumo

A Engenharia de Requisitos é uma das fases mais críticas do desenvolvimento de software, e a crescente adoção de Large Language Models (LLMs) torna necessário investigar seu impacto na interpretação de requisitos. Este artigo relata um experimento controlado intra-sujeitos (within-subjects) com contrabalanceamento, conduzido com 35 participantes, para avaliar o efeito do ChatGPT nessa tarefa. Cada participante executou duas tarefas equivalentes, uma com apoio do LLM e outra sem, a partir de cenários com itens plantados (requisitos, ambiguidades e omissões) validados por especialistas. Foram avaliadas cinco variáveis dependentes comparativas (completude, corretude, identificação de problemas, tempo e carga cognitiva pelo NASA-TLX) e uma medida de utilidade percebida (TAM), esta última aplicada exclusivamente na condição com LLM. Os resultados fornecem evidência de que, no contexto estudado, o uso do ChatGPT esteve associado a melhorias em todas as métricas comparativas (completude: +11,9 p.p.; corretude: +8,5 p.p.; identificação de problemas: +1,3 itens; tempo: −25,8%; carga cognitiva: −19,6%), com significância estatística (p < 0,001) e efeitos grandes, robustos à correção de Bonferroni. A utilidade percebida do LLM foi alta (M = 5,96/7,0). Discute-se também o compromisso entre o tempo economizado na geração e o tempo requerido para verificação da corretude das saídas do LLM.

Palavras-chave: Engenharia de Requisitos, Large Language Models, ChatGPT, Elicitação de Requisitos, Experimento Controlado, Qualidade de Software

Referências

Boehm, B. (2006). A View of 20th and 21st Century Software Engineering. Proc. ICSE, 12–29.

Vazquez, C. E.; Simões, G. S. (2016). Engenharia de Requisitos. Rio de Janeiro: Brasport.

Arora, C.; Grundy, J.; Abdelrazek, M. (2024). Advancing Requirements Engineering via Generative AI. In: Generative AI for Effective Software Development. Springer, 129–148.

Ronanki, K.; Berger, C.; Horkoff, J. (2023). Investigating ChatGPT’s Potential to Assist in Requirements Elicitation Processes. arXiv:2307.07381.

Wohlin, C. et al. (2012). Experimentation in Software Engineering. Berlin: Springer.

Hart, S. G.; Staveland, L. E. (1988). Development of NASA-TLX (Task Load Index). Advances in Psychology, 52, 139–183.

Davis, F. D. (1989). Perceived usefulness, perceived ease of use, and user acceptance of information technology. MIS Quarterly, 13(3), 319–340.

Ferrari, A. et al. (2017). Natural Language Requirements Processing: A Work Roadmap. Proc. ICSSP, 69–75.

Jedlitschka, A.; Pfleeger, S. L. (2008). Reporting Experiments in Software Engineering. In: Guide to Advanced Empirical Software Engineering. Springer, 201–228.

Montgomery, D. C. (2017). Design and Analysis of Experiments. 9th ed. Hoboken: Wiley.

Shadish, W. R.; Cook, T. D.; Campbell, D. T. (2002). Experimental and QuasiExperimental Designs for Generalized Causal Inference. Boston: Houghton Mifflin.

Field, A.; Hole, G. (2003). How to Design and Report Experiments. London: Sage.

Görer, B.; Aydemir, F. B. (2023). Generating Requirements Elicitation Interview Scripts with Large Language Models. Proc. IEEE RE Workshops, 44–51.

Luitel, D.; Hassani, S.; Sabetzadeh, M. (2023). Using Language Models for Enhancing the Completeness of Natural-language Requirements. Proc. REFSQ, 87–104.