AI Breached: crafting malicious prompts in ChatGPT and its impacts on society
Abstract
The increasing ubiquity of artificial intelligence in society Modern society brings with it a series of ethical and social challenges. This article addresses specifically the issue of malicious prompts in chatbots, focusing on ChatGPT as a case study. By exploring the design and use of these prompts, we uncover critical points that can result in significant adverse impacts on society. We analyze how malicious input can induce harmful behavior, spread misinformation, promote discrimination, and even facilitate illegal activity. By highlighting these problems, we highlight the urgency of implementing measures designed to mitigate these risks and promote the ethical and responsible use of AI in chats and other applications
References
ALTHUSSER, L. (1985) Aparelhos Ideológicos do Estado: nota sobre aparelhos ideológicos do Estado. Rio de Janeiro: Edições Graal.
CRAWFORD, K., & Calo, R. (2016). There is a blind spot in AI research. Nature, 538(7625), 311-313.
DWORK, C., & ROTH, A. (2014). The algorithmic foundations of differential privacy. DERNER, Erik; BATISTIČ, Kristina. (2023) Beyond the Safeguards: Exploring the Security Risks of ChatGPT. arXiv preprint arXiv:2305.08005.
GEBRU, T., MORGENSTERN, J., VECCHIONE, B., VAUGHAN, J. W., WALLACH, H., DAUMÉ III, H., & CRAWFORD, K. (2018). Datasheets for Datasets. arXiv preprint arXiv:1803.09010.
KASNECI, Enkelejda et al. (2023) ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences, v. 103, p. 102274.
MACHADO, Bruna. Inteligência artificial não é bagunça. Estas práticas podem te fazer ser banido do ChatGPT! Capitalist.com.br. 31/05/2023. Você pode ser banido do ChatGPT: como evitar perder o acesso à IA (capitalist.com.br). Disponível em: [link]. Acesso em 31/07/2023.
OS USUÁRIOS COMEÇARAM A ENGANAR MASSIVAMENTE O CHATGPT PARA OBTER INFORMAÇÕES PROIBIDAS DO CHATGPT. Avalanche Notícias, 2023. Disponível em: [link]. Acesso em: 31/07/2023.
SANTAELLA, Lucia. (2020) A pós-verdade é verdadeira ou falsa?. Editora estação das letras e cores.
SYOZI, Ricardo. É possível usar o ChatGPT para driblar os limites do próprio ChatGPT? Tecnoblog.net. Disponível em: [link]. Acesso em 31/07/2023.
TAMAYO, M. (2007) El proceso de la investigación científica. Limusa Noriega Editores.
FISHER, Max. (2023) A máquina do caos. Como as redes sociais reprogramaram nossa mente e nosso mundo. 1. ed. São Paulo: Todavia.
ANONIMO (2024). [Material suplementar] Tratativas entre pesquisador e GPT. figshare. Conference contribution. DOI: 10.6084/m9.figshare.25505836.v2
CRAWFORD, K., & Calo, R. (2016). There is a blind spot in AI research. Nature, 538(7625), 311-313.
DWORK, C., & ROTH, A. (2014). The algorithmic foundations of differential privacy. DERNER, Erik; BATISTIČ, Kristina. (2023) Beyond the Safeguards: Exploring the Security Risks of ChatGPT. arXiv preprint arXiv:2305.08005.
GEBRU, T., MORGENSTERN, J., VECCHIONE, B., VAUGHAN, J. W., WALLACH, H., DAUMÉ III, H., & CRAWFORD, K. (2018). Datasheets for Datasets. arXiv preprint arXiv:1803.09010.
KASNECI, Enkelejda et al. (2023) ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences, v. 103, p. 102274.
MACHADO, Bruna. Inteligência artificial não é bagunça. Estas práticas podem te fazer ser banido do ChatGPT! Capitalist.com.br. 31/05/2023. Você pode ser banido do ChatGPT: como evitar perder o acesso à IA (capitalist.com.br). Disponível em: [link]. Acesso em 31/07/2023.
OS USUÁRIOS COMEÇARAM A ENGANAR MASSIVAMENTE O CHATGPT PARA OBTER INFORMAÇÕES PROIBIDAS DO CHATGPT. Avalanche Notícias, 2023. Disponível em: [link]. Acesso em: 31/07/2023.
SANTAELLA, Lucia. (2020) A pós-verdade é verdadeira ou falsa?. Editora estação das letras e cores.
SYOZI, Ricardo. É possível usar o ChatGPT para driblar os limites do próprio ChatGPT? Tecnoblog.net. Disponível em: [link]. Acesso em 31/07/2023.
TAMAYO, M. (2007) El proceso de la investigación científica. Limusa Noriega Editores.
FISHER, Max. (2023) A máquina do caos. Como as redes sociais reprogramaram nossa mente e nosso mundo. 1. ed. São Paulo: Todavia.
ANONIMO (2024). [Material suplementar] Tratativas entre pesquisador e GPT. figshare. Conference contribution. DOI: 10.6084/m9.figshare.25505836.v2
Published
2024-07-21
How to Cite
PAIVA, João; CHAGAS, Jessé das; ALBUQUERQUE, Danyllo; RODRIGUES, Golbery.
AI Breached: crafting malicious prompts in ChatGPT and its impacts on society. In: WORKSHOP ON THE IMPLICATIONS OF COMPUTING IN SOCIETY (WICS), 5. , 2024, Brasília/DF.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2024
.
p. 132-144.
ISSN 2763-8707.
DOI: https://doi.org/10.5753/wics.2024.2855.
