Análise comparativa de IAs generativas como ferramentas de apoio à programação segura
Resumo
A Inteligência Artificial generativa tem se popularizado no apoio ao desenvolvimento de software. Porém, há questionamentos quanto à efetividade dessa tecnologia na segurança de software. Este artigo investiga o uso de assistentes de programação no apoio à programação segura, prevenção de fraquezas e detecção de vulnerabilidades conhecidas. Foram avaliadas Amazon Code Whisperer, Codium e Microsoft Copilot contra códigos com vulnerabilidades conhecidas. Apesar de serem competitivos em precision e recall, eles não são efetivos por falta de concisão nas respostas e usabilidade ruim na elaboração e engenharia de prompts.
Referências
Amazon Code Whisperer (2024). Amazon Code Whisperer, [link], Janeiro.
Borji, A. (2023). A categorical archive of ChatGPT failures. ArXiv (Cornell University), 5 Feb. 2023.
Braga, A., Dahab, R., Antunes, N., Laranjeiro, N., and Vieira, M. (2017). Practical evaluation of static analysis tools for cryptography: Benchmarking method and case study. In 2017 IEEE 28th International Symposium on Software Reliability Engineering (ISSRE), pages 170–181. IEEE.
Braga, A., Dahab, R., Antunes, N., Laranjeiro, N., and Vieira, M. (2019). Understanding how to use static analysis tools for detecting cryptography misuse in software. 68(4):1384–1403.
CodiumAI (2024). CodiumAI, [link], Janeiro.
CMU. Software Engineering Institute (SEI), CERT Coding Standard for C, [link], Abril.
CMU. Software Engineering Institute (SEI), CERT Oracle Coding Standard for Java, [link], Abril.
CWE (2023) 2023 CWE Top 25 Most Dangerous Software Weaknesses. [link] Março.
Kabir, S., Udo-Imeh, D. N., Kou, B., and Zhang, T. (2024). Is stack overflow obsolete? an empirical study of the characteristics of ChatGPT answers to stack overflow questions. In Proceedings of the CHI Conference on Human Factors in Computing Systems, pages 1–17.
Microsoft Copilot (2024). Microsoft Copilot, [link], Janeiro.
Perry, N., Srivastava, M., Kumar, D., and Boneh, D. (2022). Do users write more insecure code with AI assistants? Publisher: arXiv Version Number: 3.
Borji, A. (2023). A categorical archive of ChatGPT failures. ArXiv (Cornell University), 5 Feb. 2023.
Braga, A., Dahab, R., Antunes, N., Laranjeiro, N., and Vieira, M. (2017). Practical evaluation of static analysis tools for cryptography: Benchmarking method and case study. In 2017 IEEE 28th International Symposium on Software Reliability Engineering (ISSRE), pages 170–181. IEEE.
Braga, A., Dahab, R., Antunes, N., Laranjeiro, N., and Vieira, M. (2019). Understanding how to use static analysis tools for detecting cryptography misuse in software. 68(4):1384–1403.
CodiumAI (2024). CodiumAI, [link], Janeiro.
CMU. Software Engineering Institute (SEI), CERT Coding Standard for C, [link], Abril.
CMU. Software Engineering Institute (SEI), CERT Oracle Coding Standard for Java, [link], Abril.
CWE (2023) 2023 CWE Top 25 Most Dangerous Software Weaknesses. [link] Março.
Kabir, S., Udo-Imeh, D. N., Kou, B., and Zhang, T. (2024). Is stack overflow obsolete? an empirical study of the characteristics of ChatGPT answers to stack overflow questions. In Proceedings of the CHI Conference on Human Factors in Computing Systems, pages 1–17.
Microsoft Copilot (2024). Microsoft Copilot, [link], Janeiro.
Perry, N., Srivastava, M., Kumar, D., and Boneh, D. (2022). Do users write more insecure code with AI assistants? Publisher: arXiv Version Number: 3.
Publicado
16/09/2024
Como Citar
SILVA, Eduardo; QUINAIA, Emerson; SILVA, Danilo; BRAGA, Alexandre.
Análise comparativa de IAs generativas como ferramentas de apoio à programação segura. In: SIMPÓSIO BRASILEIRO DE SEGURANÇA DA INFORMAÇÃO E DE SISTEMAS COMPUTACIONAIS (SBSEG), 24. , 2024, São José dos Campos/SP.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2024
.
p. 732-738.
DOI: https://doi.org/10.5753/sbseg.2024.241419.
