Accessibility Assessment in Banking Chatbots using Texts Written by Deaf People who use Portuguese as a Second Language
Resumo
Context: The study examines the ability of banking chatbots to understand and respond to interactions with deaf people who use Portuguese as a second language (L2), with a focus on digital accessibility in automated banking services. Problem: The hypothesis is that banking chatbots have difficulty interpreting requests in Portuguese as L2 and expressions based on the gloss of Brazilian Sign Language (Libras), resulting in digital exclusion and barriers in service. Solution: The proposal diagnoses the ability of chatbots, aiming at their understanding in the interactions of deaf users in order to improve accessibility. SI Theory: The research uses Inclusive Design and Task-Technology Fit (TTF), assessing whether chatbots are suitable for the needs of users who use Portuguese as L2. Method: A case study was carried out, with a qualitative approach. Ten banking activities were simulated in the chatbots of Banco do Brasil, Bradesco and Itaú, using inputs in formal Portuguese and as L2, with the help of ChatGPT for translations. Summary of Results: The results indicate error rates between 10% and 70%, with most errors in inputs that used Portuguese as L2 or colloquial language, evidencing the inadequacy of the chatbots for the deaf community. Contributions and Impact to the Field of IS: The study suggests the need for improvements in the language models of the chatbots to make them more inclusive for deaf users, generating impact in academia and in the technology industry.
Palavras-chave:
Accessibility, Chatbots, ChatGPT, Portuguese as Second Language
Referências
Marília S. O. Araújo, Elenice R. F. Peixoto, and Rosângela S. N. Sousa. 2021. A constituição da Identidade Linguística Surda: a narrativização avaliativa sobre a língua portuguesa e LIBRAS. Nova Revista Amazonica 9, 2 (June 2021), 1–23.
Associação dos Gerentes do Banco do Brasil. 2022. Maioria dos bancos usa chatbot para atendimento no WhatsApp. [link]. Acessado em maio de 2024.
Benjamin J. Bahan. 1998. Non-Manual Realization of Agreement In American Sign Language. Ph.D. Dissertation. Boston University, Boston, MA, USA.
Banco do Brasil. 2023. BB usa tecnologia generativa para apoiar atendimento. [link]. Acessado em junho de 2024.
Priscila R. F. Bedana, Fernando A. Freitas, Sarajane M. Peres, and Felipe V. Barbosa. 2019. Analise de Tradução Automática Português-Libras no Contexto do Edital do Enem 2018. In VIII Congresso Brasileiro de Informática na Educação. DOI: 10.5753/cbie.sbie.2019.1151
Cynthia L Bennett and Os Keyes. 2020. What is the point of fairness? Disability, AI and the complexity of justice. ACM SIGACCESS Accessibility and Computing 125 (2020), 1–1.
Reuben Binns and Reuben Kirkham. 2021. How could equality and data protection law shape AI fairness for people with disabilities? ACM Transactions on Accessible Computing (TACCESS) 14, 3 (2021), 1–32.
Danielle Bragg, Oscar Koller, Mary Bellard, Larwan Berke, Patrick Boudreault, Annelies Braffort, Naomi Caselli, Matt Huenerfauth, Hernisa Kacorri, Tessa Verhoef, Christian Vogler, and Meredith Ringel Morris. 2019. Sign Language Recognition, Generation, and Translation: An Interdisciplinary Perspective. In Proceedings of the 21st International ACM SIGACCESS Conference on Computers and Accessibility (Pittsburgh, PA, USA) (ASSETS ’19). Association for Computing Machinery, New York, NY, USA, 16–31. DOI: 10.1145/3308561.3353774
Brasil. 2015. Lei Brasileira de Inclusão (LBI). Diário Oficial da União. [link] Lei nº 13.146, de 6 de julho de 2015.
Victor Caputo. 2017. Bradesco usa inteligência artificial no atendimento a clientes. [link].
L. Ciechanowski, A. Przegalinska, M. Magnuski, and P. Gloor. 2019. An experimental study of human–chatbot interaction. Future Generation Computer Systems 92 (2019), 539–548.
Estadão Conteúdo. 2024. Itaú estuda como levar inteligência artificial generativa para atendimento ao cliente. [link] Acessado em: 27 set. 2024.
Richelieu R. A. Costa, Derzu Omaia, Tiago M. U. Araujo, Jóison O. Pereira, Anderson S. Coutinho, Miguel P. S. Cruz, Victoria M. Pontes, Matheus M. Barbosa, Abner S. Silva, and Guido L. S. Filho. 2023. Acessibilidade na TV 3.0 Brasileira a partir de Mídias de Legenda, Glosa e Áudio Descrição. In Simpósio Brasileiro de Sistemas Multimídia e Web (WebMedia) (Ribeirão Preto - SP). Sociedade Brasileira de Computação, 123–126. [link]
Guilherme de Azambuja Lira and Tanya Amara Felipe de Souza. 2024. Dicionário de Libras. [link] Acessado em maio de 2024.
Matjaž Debevc, Primož Kosec, and Andreas Holzinger. 2011. Improving multimodal web accessibility for deaf people: Sign language interpreter module. Multimedia Tools and Applications 54 (08 2011), 181–199. DOI: 10.1007/s11042-010-0529-8
Cem Dilmegani. 2024. 10+ Epic Chatbot/Conversational Bot / LLM Failures (’24 Update). AI MUltiple Research. [link]
Sebastian Drude. 2003. Advanced Glossing — a language documentation format and its implementation with Shoebox. International LREC Workshop on Resources and Tools in Field Linguistics.
Cristiane Ellwanger, Cristina P. Santos, Pedro Soares, and Tiago L. Weisheimer. 2020. G’Libras: Um Sistema Especialista para Auxilio à Criação de Glosas. IV Workshop de Desafios da Computação aplicada à Educação, 101–110. DOI: 10.5753/desafie.2015.10045
Tanya A. Felipe. 1998. A Relação Sintático-Semântica dos Verbos e Seus Argumentos na Língua Brasileira de Sinais (LIBRAS).
Tanya A. Felipe and Myrna S. Monteiro. 2007. Libras em Contexto (6 ed.). Ministério da Educação, Brasília, DF.
B. Filipczyk, J. Gołuchowski, J. Paliszkiewicz, and A. Janas. 2016. Chapter 12 - Success and failure in improvement of knowledge delivery to customers using chatbot—result of a case study in a Polish SME. In Successes and Failures of Knowledge Management, Jay Liebowitz (Ed.). Morgan Kaufmann, Boston, 175–189. DOI: 10.1016/B978-0-12-805187-0.00012-7
Alana Gandra. 2022. Lei que reconhece Libras como Língua Oficial do País completa 20 anos. Agência Brasil. [link]
J. Gao, H.S.J. Tsao, and Y. Wu. 2003. Testing and Quality Assurance for Component-based Software. Artech House. [link]
Maria Cecília R. Góes. 2020. Linguagem, surdez e educação (1 ed.). Editora Autores Associados.
IBM. 2019. Com BIA, Bradesco e IBM transformam o atendimento de milhões de usuários. [link]. Acessado em maio de 2024.
Antje Janssen, Lukas Grützner, and Michael H. Breitner. 2021. A Critical Success Factors Analysis for Chatbots. In Proceedings of the Forty-Second International Conference on Information Systems. International Conference on Information Systems, Association for Information Systems, Austin, TX, USA. [link].
Tarcisio A. Leite, João P. Ampessan, Jaqueline Boldo, Juliana T. Lohn, and S. A. Oliveira, Graciete. 2021. Semântica Lexical na Libras: libertando-se da tirania das glosas. Revista da ABRANLIN 20, 2 (December 2021), 1–23. DOI: 10.25189
Manuela A. C. B. L. Lima. 2015. Tradução Automática com Adequação Sintático-Semântica para LIBRAS.
Davit Marikyan and Savvas Papagiannidis. 2023. Task-Technology Fit: A review. In TheoryHub Book, Savvas Papagiannidis (Ed.). Newcastle University. Available at [link].
Leland Mccleary, Evani Viotti, and Tarcísio A. Leite. 2010. Descrição das línguas sinalizadas: a questão da transcrição dos dados. ALFA: Revista de Linguística 54, 1 (July 2010), 73–96. [link]
Leland Emerson McCleary and Evani de Carvalho Viotti. 2007. Transcrição de dados de uma língua sinalizada: um estudo piloto da transcrição de narrativas na língua de sinais brasileira. Cânome Editorial, Goiânia, 73–96. [link]
Oisin Muldowney. 2017. CHATBOTS: An Introduction And Easy Guide To Making Your Own. Curses & Magic, Dublin, Ireland.
Glenford J. Myers, Corey Sandler, and Tom Badgett. 2012. The art of software testing (3rd ed ed.). John Wiley & Sons, Hoboken, NJ. [link]
Leoni R. S. Nascimento and Edivaldo S. C. Costa. 2022. Escrita de Sinais no Brasil e Suas Interfaces. Edufro - Editora da Universidade Federal de Rondônia, Porto Velho, RO.
Vinícius Nascimento. 2023. Do Campo ao Texto em Pesquisas com Tradutores e Intérpretes de Libras-Português: desafios na transcrição de corpora bilíngue intermodal simultâneo. DELTA: Documentação de Estudos em Lingüística Teórica e Aplicada 39, 4 (2023), 202339458715. DOI: 10.1590/1678-460X202339458715
Francisco A. S. Paiva, José M. Martino, Plínio A. Barbosa, Ângelo Benetti, and Ivani R. Silva. 2016. Um Sistema de Transcrição para Lingua de Sinais Brasileira: o caso de um avatar. Revista do GEL 13, 2 (December 2016), 202339458715. DOI: 10.21165
Mirlian Mara Novaes Parreira and Layane Rodrigues de Lima. 2020. Uma Análise da Interlíngua em Textos Escritos em Português como Segunda Língua de Estudantes Surdos da Educação Básica: A Influência da Libras. In Perspectivas para o ensino de línguas (1 ed.), Alexandre Melo de Sousa, Rosane Garcia, and Tatiane Castro dos Santos (Eds.). Vol. 4. Editora da Universidade Federal do Acre, Rio Branco, Acre, 78–94.
Umesh Persad, Patrick Langdon, and P. John Clarkson. 2007. A Framework for Analytical Inclusive Design Evaluation. In Proceedings of the International Conference on Engineering Design (ICED’07) (Cité des Sciences et de l’Industrie, Paris, France). The University of Cambridge.
Hans Persson, Henrik Åhman, Alexander Arvei Yngling, and Jan Gulliksen. 2014. Universal design, inclusive design, accessible design, design for all: different concepts—one goal? On the concept of accessibility—historical, methodological and philosophical aspects. Universal Access in the Information Society 14 (2014), 505–526. DOI: 10.1007/s10209-014-0358-z
R.S. Pressman and B. Maxim. 2016. Engenharia De Software: Uma Abordagem Profissional. MCGraw Hill - Artmed.
Luana Silva Reis, Tiago Maritan U. de Araújo, Maria Dayane F. Cirino Lima, Angelina S. da Silva Sales, and Yuska Paola Costa Aguiar. 2017. Avaliação de Usabilidade do Aplicativo VLibras-Móvel com Usuários Surdos. In Anais Estendidos do XXIII Simpósio Brasileiro de Sistemas Multimídia e Web (Gramado). Sociedade Brasileira de Computação, Porto Alegre, RS, Brasil, 123–126. [link]
Rafael Romer. 2024. Itaú Unibanco acelera desenvolvimento de código com copiloto de IA. [link] Acessado em: 27 set. 2024.
Roman Savenkov. 2008. How to Become a Software Tester. Roman Savenkov.
Jerry C. Schnepp. 2011. A Representation of Selected Nonmanual Signals in American Sign Language. College of Computing and Digital Media Dissertations. [link]
Dan Slobin. 2015. Quebrando modelos: as línguas de sinais e a natureza da linguagem humana. Fórum Linguístico 12 (09 2015), 844. DOI: 10.5007/1984-8412.2015v12n3p844
Shari Trewin, Sara Basson, Michael Muller, Stacy Branham, Jutta Treviranus, Daniel Gruen, Daniel Hebert, Natalia Lyckowski, and Erich Manser. 2019. Considerations for AI fairness for people with disabilities. AI Matters 5, 3 (2019), 40–63.
Alan M. Turing. 1950. Computing Machinery And Intelligence. Mind 49 (1950), 433–460.
Sherman Wilcox and Phyllis Wilcox. 1997. Learning to see: Teaching American Sign Language as a second language. University Press.
World Federation of the Deaf. 2016. Human Rights of the Deaf. [link].
World Health Organization. 2024. Deafness and Hearing Loss. [link].
Associação dos Gerentes do Banco do Brasil. 2022. Maioria dos bancos usa chatbot para atendimento no WhatsApp. [link]. Acessado em maio de 2024.
Benjamin J. Bahan. 1998. Non-Manual Realization of Agreement In American Sign Language. Ph.D. Dissertation. Boston University, Boston, MA, USA.
Banco do Brasil. 2023. BB usa tecnologia generativa para apoiar atendimento. [link]. Acessado em junho de 2024.
Priscila R. F. Bedana, Fernando A. Freitas, Sarajane M. Peres, and Felipe V. Barbosa. 2019. Analise de Tradução Automática Português-Libras no Contexto do Edital do Enem 2018. In VIII Congresso Brasileiro de Informática na Educação. DOI: 10.5753/cbie.sbie.2019.1151
Cynthia L Bennett and Os Keyes. 2020. What is the point of fairness? Disability, AI and the complexity of justice. ACM SIGACCESS Accessibility and Computing 125 (2020), 1–1.
Reuben Binns and Reuben Kirkham. 2021. How could equality and data protection law shape AI fairness for people with disabilities? ACM Transactions on Accessible Computing (TACCESS) 14, 3 (2021), 1–32.
Danielle Bragg, Oscar Koller, Mary Bellard, Larwan Berke, Patrick Boudreault, Annelies Braffort, Naomi Caselli, Matt Huenerfauth, Hernisa Kacorri, Tessa Verhoef, Christian Vogler, and Meredith Ringel Morris. 2019. Sign Language Recognition, Generation, and Translation: An Interdisciplinary Perspective. In Proceedings of the 21st International ACM SIGACCESS Conference on Computers and Accessibility (Pittsburgh, PA, USA) (ASSETS ’19). Association for Computing Machinery, New York, NY, USA, 16–31. DOI: 10.1145/3308561.3353774
Brasil. 2015. Lei Brasileira de Inclusão (LBI). Diário Oficial da União. [link] Lei nº 13.146, de 6 de julho de 2015.
Victor Caputo. 2017. Bradesco usa inteligência artificial no atendimento a clientes. [link].
L. Ciechanowski, A. Przegalinska, M. Magnuski, and P. Gloor. 2019. An experimental study of human–chatbot interaction. Future Generation Computer Systems 92 (2019), 539–548.
Estadão Conteúdo. 2024. Itaú estuda como levar inteligência artificial generativa para atendimento ao cliente. [link] Acessado em: 27 set. 2024.
Richelieu R. A. Costa, Derzu Omaia, Tiago M. U. Araujo, Jóison O. Pereira, Anderson S. Coutinho, Miguel P. S. Cruz, Victoria M. Pontes, Matheus M. Barbosa, Abner S. Silva, and Guido L. S. Filho. 2023. Acessibilidade na TV 3.0 Brasileira a partir de Mídias de Legenda, Glosa e Áudio Descrição. In Simpósio Brasileiro de Sistemas Multimídia e Web (WebMedia) (Ribeirão Preto - SP). Sociedade Brasileira de Computação, 123–126. [link]
Guilherme de Azambuja Lira and Tanya Amara Felipe de Souza. 2024. Dicionário de Libras. [link] Acessado em maio de 2024.
Matjaž Debevc, Primož Kosec, and Andreas Holzinger. 2011. Improving multimodal web accessibility for deaf people: Sign language interpreter module. Multimedia Tools and Applications 54 (08 2011), 181–199. DOI: 10.1007/s11042-010-0529-8
Cem Dilmegani. 2024. 10+ Epic Chatbot/Conversational Bot / LLM Failures (’24 Update). AI MUltiple Research. [link]
Sebastian Drude. 2003. Advanced Glossing — a language documentation format and its implementation with Shoebox. International LREC Workshop on Resources and Tools in Field Linguistics.
Cristiane Ellwanger, Cristina P. Santos, Pedro Soares, and Tiago L. Weisheimer. 2020. G’Libras: Um Sistema Especialista para Auxilio à Criação de Glosas. IV Workshop de Desafios da Computação aplicada à Educação, 101–110. DOI: 10.5753/desafie.2015.10045
Tanya A. Felipe. 1998. A Relação Sintático-Semântica dos Verbos e Seus Argumentos na Língua Brasileira de Sinais (LIBRAS).
Tanya A. Felipe and Myrna S. Monteiro. 2007. Libras em Contexto (6 ed.). Ministério da Educação, Brasília, DF.
B. Filipczyk, J. Gołuchowski, J. Paliszkiewicz, and A. Janas. 2016. Chapter 12 - Success and failure in improvement of knowledge delivery to customers using chatbot—result of a case study in a Polish SME. In Successes and Failures of Knowledge Management, Jay Liebowitz (Ed.). Morgan Kaufmann, Boston, 175–189. DOI: 10.1016/B978-0-12-805187-0.00012-7
Alana Gandra. 2022. Lei que reconhece Libras como Língua Oficial do País completa 20 anos. Agência Brasil. [link]
J. Gao, H.S.J. Tsao, and Y. Wu. 2003. Testing and Quality Assurance for Component-based Software. Artech House. [link]
Maria Cecília R. Góes. 2020. Linguagem, surdez e educação (1 ed.). Editora Autores Associados.
IBM. 2019. Com BIA, Bradesco e IBM transformam o atendimento de milhões de usuários. [link]. Acessado em maio de 2024.
Antje Janssen, Lukas Grützner, and Michael H. Breitner. 2021. A Critical Success Factors Analysis for Chatbots. In Proceedings of the Forty-Second International Conference on Information Systems. International Conference on Information Systems, Association for Information Systems, Austin, TX, USA. [link].
Tarcisio A. Leite, João P. Ampessan, Jaqueline Boldo, Juliana T. Lohn, and S. A. Oliveira, Graciete. 2021. Semântica Lexical na Libras: libertando-se da tirania das glosas. Revista da ABRANLIN 20, 2 (December 2021), 1–23. DOI: 10.25189
Manuela A. C. B. L. Lima. 2015. Tradução Automática com Adequação Sintático-Semântica para LIBRAS.
Davit Marikyan and Savvas Papagiannidis. 2023. Task-Technology Fit: A review. In TheoryHub Book, Savvas Papagiannidis (Ed.). Newcastle University. Available at [link].
Leland Mccleary, Evani Viotti, and Tarcísio A. Leite. 2010. Descrição das línguas sinalizadas: a questão da transcrição dos dados. ALFA: Revista de Linguística 54, 1 (July 2010), 73–96. [link]
Leland Emerson McCleary and Evani de Carvalho Viotti. 2007. Transcrição de dados de uma língua sinalizada: um estudo piloto da transcrição de narrativas na língua de sinais brasileira. Cânome Editorial, Goiânia, 73–96. [link]
Oisin Muldowney. 2017. CHATBOTS: An Introduction And Easy Guide To Making Your Own. Curses & Magic, Dublin, Ireland.
Glenford J. Myers, Corey Sandler, and Tom Badgett. 2012. The art of software testing (3rd ed ed.). John Wiley & Sons, Hoboken, NJ. [link]
Leoni R. S. Nascimento and Edivaldo S. C. Costa. 2022. Escrita de Sinais no Brasil e Suas Interfaces. Edufro - Editora da Universidade Federal de Rondônia, Porto Velho, RO.
Vinícius Nascimento. 2023. Do Campo ao Texto em Pesquisas com Tradutores e Intérpretes de Libras-Português: desafios na transcrição de corpora bilíngue intermodal simultâneo. DELTA: Documentação de Estudos em Lingüística Teórica e Aplicada 39, 4 (2023), 202339458715. DOI: 10.1590/1678-460X202339458715
Francisco A. S. Paiva, José M. Martino, Plínio A. Barbosa, Ângelo Benetti, and Ivani R. Silva. 2016. Um Sistema de Transcrição para Lingua de Sinais Brasileira: o caso de um avatar. Revista do GEL 13, 2 (December 2016), 202339458715. DOI: 10.21165
Mirlian Mara Novaes Parreira and Layane Rodrigues de Lima. 2020. Uma Análise da Interlíngua em Textos Escritos em Português como Segunda Língua de Estudantes Surdos da Educação Básica: A Influência da Libras. In Perspectivas para o ensino de línguas (1 ed.), Alexandre Melo de Sousa, Rosane Garcia, and Tatiane Castro dos Santos (Eds.). Vol. 4. Editora da Universidade Federal do Acre, Rio Branco, Acre, 78–94.
Umesh Persad, Patrick Langdon, and P. John Clarkson. 2007. A Framework for Analytical Inclusive Design Evaluation. In Proceedings of the International Conference on Engineering Design (ICED’07) (Cité des Sciences et de l’Industrie, Paris, France). The University of Cambridge.
Hans Persson, Henrik Åhman, Alexander Arvei Yngling, and Jan Gulliksen. 2014. Universal design, inclusive design, accessible design, design for all: different concepts—one goal? On the concept of accessibility—historical, methodological and philosophical aspects. Universal Access in the Information Society 14 (2014), 505–526. DOI: 10.1007/s10209-014-0358-z
R.S. Pressman and B. Maxim. 2016. Engenharia De Software: Uma Abordagem Profissional. MCGraw Hill - Artmed.
Luana Silva Reis, Tiago Maritan U. de Araújo, Maria Dayane F. Cirino Lima, Angelina S. da Silva Sales, and Yuska Paola Costa Aguiar. 2017. Avaliação de Usabilidade do Aplicativo VLibras-Móvel com Usuários Surdos. In Anais Estendidos do XXIII Simpósio Brasileiro de Sistemas Multimídia e Web (Gramado). Sociedade Brasileira de Computação, Porto Alegre, RS, Brasil, 123–126. [link]
Rafael Romer. 2024. Itaú Unibanco acelera desenvolvimento de código com copiloto de IA. [link] Acessado em: 27 set. 2024.
Roman Savenkov. 2008. How to Become a Software Tester. Roman Savenkov.
Jerry C. Schnepp. 2011. A Representation of Selected Nonmanual Signals in American Sign Language. College of Computing and Digital Media Dissertations. [link]
Dan Slobin. 2015. Quebrando modelos: as línguas de sinais e a natureza da linguagem humana. Fórum Linguístico 12 (09 2015), 844. DOI: 10.5007/1984-8412.2015v12n3p844
Shari Trewin, Sara Basson, Michael Muller, Stacy Branham, Jutta Treviranus, Daniel Gruen, Daniel Hebert, Natalia Lyckowski, and Erich Manser. 2019. Considerations for AI fairness for people with disabilities. AI Matters 5, 3 (2019), 40–63.
Alan M. Turing. 1950. Computing Machinery And Intelligence. Mind 49 (1950), 433–460.
Sherman Wilcox and Phyllis Wilcox. 1997. Learning to see: Teaching American Sign Language as a second language. University Press.
World Federation of the Deaf. 2016. Human Rights of the Deaf. [link].
World Health Organization. 2024. Deafness and Hearing Loss. [link].
Publicado
19/05/2025
Como Citar
GONÇALVES, Anna Paula Figueiredo; FREIRE, André Pimenta; PEREIRA, Denilson Alves.
Accessibility Assessment in Banking Chatbots using Texts Written by Deaf People who use Portuguese as a Second Language. In: SIMPÓSIO BRASILEIRO DE SISTEMAS DE INFORMAÇÃO (SBSI), 21. , 2025, Recife/PE.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2025
.
p. 449-458.
DOI: https://doi.org/10.5753/sbsi.2025.246536.
