Hand-Speaking Technology: An Expert and User-Based Assessment of the VLibrasWidget
Abstract
The use of assistive technology to support the inclusion of deaf individuals in the digital environment is a valuable resource when it becomes necessary to scale the translation services typically provided by human interpreters. VLibrasWidget is an open-source computational solution designed to translate digital content (text, audio, and video) into Brazilian Sign Language (Libras) through animation. This tool is available on more than 120,000 websites, with an average of 100,000 translations per day. Given the widespread use and social impact of VLibrasWidget, it is important to consider that usability and accessibility aspects are essential for its effective use. Therefore, this experience report presents the planning, execution, and results of an evaluation of VLibrasWidget, combining a heuristic usability review by experts with user testing involving both deaf and hearing participants—through usage observation and subjective satisfaction probing. The complementary results enabled the identification of 28 interface and interaction issues with varying severity levels (1 high; 8 medium; 10 low; 9 cosmetic), indicating that the tool has room to evolve in order to better serve its users.
Keywords:
Usability Test, Heuristic Evaluation, Machine Translators to Libras, Brazilian sign language (Libras), Accessibility, Deaf user, Quality Assurance
References
Acesso à Informação Pública: uma introdução à Lei nº 12.527, de 18 de novembro de 2011 2011. Brasil, Controladoria-Geral da União.
A. C. Aguiar, L. E. Melo Alves, Y. P. Costa Aguiar P. Lima, T. Maritan, and D. Omaia. 2024. Challenges and Lessons Learned to Improve the Deaf User Experience: of the XXIII Brazilian Symposium on Human Factors in Computing Systems (IHC 2024) (2024). DOI: 10.1145/3702038.3702041
Associação Brasileira de Normas Técnicas 2022. ABNT NBR 17060:2022 - Acessibilidade em comunicação na prestação de serviços.
Simone Barbosa, Bruno Santana da Silva, Milene Silveira, Isabela Gasparini, Ticianne Darin, and Gabriel Barbosa. 2024. Interação Humano-Computador e Experiência do Usuário. Leanpub.
E. Benveniste. 1976. Problemas de Linguística Geral. Ed. da Universidade de São Paulo, Chapter vol. 8.
John Brooke. 1995. SUS: A quick and dirty usability scale. Usability Evaluation in Industry (1995).
J. P Colling and C. Boscarioli. [n. d.]. Avaliação de Tecnologias de tradução Português-Libras visando o uso no ensino de crianças surdas.
C. H. d. A. Monteiro, L. F. I. L. Pecoraro, and A. R. Corbo et al. 2012. Utilização de novas tecnologias na popularização da Língua Brasileira de Sinais.
J. E. R. de Queiroz. 2001. Abordagem híbrida para a avaliação da usabilidade de interfaces com o usuário. Ph.D. Dissertation. Universidade Federal de Campina Grande, Centro de Engenharia Elétrica e Informática, Campina Grande.
J. E. R. de Queiroz and D. de Sousa Ferreira. 2009. A Multidimensional Approach for the Evaluation of Mobile Application User Interfaces. Human-Computer Interaction. New Trends (HCI 2009) (2009).
F. M. F. de Sá, L. E. M. Alves, A. C. Aguiar, and Y. P. Costa Aguiar. 2024. Theoretical test using Libras to obtain the National Driver’s License: Exploratory usability assessment with interpreters and deaf people. Proceedings of the XXIII Brazilian Symposium on Human Factors in Computing Systems (IHC 2024) (2024). DOI: 10.1145/3702038.3702051
Instituto Brasileiro de Geografia e Estatística 2024. Pesquisa Nacional por Amostra de Domicílios Contínua - PNAD Contínua.
Lei Brasileira de Inclusão da Pessoa com Deficiência (Estatuto da Pessoa com Deficiência) 2015. Lei nº 13.146, de 6 de julho de 2015.
Manuella A.C.B. Lima, Tiago M.U. de Araújo, and Erickson S. de Oliveira. 2015. Incorporation of Syntactic-Semantic Aspects in a LIBRAS Machine Translation Service to Multimedia Platforms. Proceedings of the 21st Brazilian Symposium on Multimedia and the Web (WebMedia ’15) (2015). DOI: 10.1145/2820426.2820434
Jakob Nielsen. 1994. 10 Usability Heuristics for User Interface Design. Nielsen Norman Group (1994).
Jakob Nielsen. 1994. How to Rate the Severity of Usability Problems. Nielsen Norman Group (1994).
Jakob Nielsen. 1994. Usability inspection methods. Conference Companion on Human Factors in Computing Systems (CHI ’94 Companion) (1994). DOI: 10.1145/259963.260531
Jakob Nielsen. 2000. Why You Only Need to Test with 5 Users. Nielsen Norman Group (2000).
Erik Da Costa Nunes, Guilherme Ribeiro, Ingrid Monteiro, and Enyo Gonçalves. 2023. Digital Accessibility at the Brazilian Symposium on Human Factors in Computing Systems (IHC): An Updated Systematic Literature Review. Proceedings of the 22nd Brazilian Symposium on Human Factors in Computing Systems (IHC ’23) (2023). DOI: 10.1145/3638067.3638075
L. S. Reis, T. M. U. Araujo, Y. P. Costa Aguiar, and M. A. C. B. Lima. 2020. A Methodology for Assessing Translation Quality Generated by Sign Language Machine Translators: A Case Study with VLibras. In Lecture Notes in Computer Science, Vol. 12189, Springer International Publishing, 132–146 (2020). DOI: 10.1007/978-3-030-49108-6_10
L. S. Reis, T. M. U. Araujo, Y. P. C. Aguiar, and M. A. C. B. Lima. 2023. A Multilevel Methodology to Assess the Quality of Machine Translators to Brazilian Sign Languages. XI Latin American Conference on Human Computer Interaction (CLIHC 2023) (2023). DOI: 10.1145/3630970.3631050
L. S. Reis, T. M. U. Araujo, Y. P. C. Aguiar, M. A. C. B. Lima, and A. S. S. Sales. 2018. Assessment of the Treatment of Grammatical Aspects of Machine Translators to Libras. Anais do XXIV Simpósio Brasileiro de Sistemas Multimídia eWeb:Workshops e Pôsteres, Salvador, BA, Brazil. Sociedade Brasileira de Computação (SBC) (2018).
L. S. Reis, A. S. S. Sales, M. D. F. C. Lima, T. M. U. Araujo, and Y. P. C. Aguiar. 2017. Avaliação de Usabilidade do Aplicativo VLibras-Móvel com Usuários Surdos. Anais do XXIII Simpósio Brasileiro de Sistemas Multimídia e Web: Workshops e Pôsteres, Gramado, Brazil. Sociedade Brasileira de Computação (SBC) (2017).
Yvonne Rogers, Helen Sharp, and Jennifer Preece. 2013. Design de interação. Bookman Editora.
Maristela C Vieira, Ygor Corrêa, Lucila MC Santarosa, and MCV BIAZUS. 2014. Análise de expressões não-manuais em avatares tradutores de Língua Portuguesa para Libras. In XIX Conferência Internacional sobre Informática na Educação-TISE.J. (2014).
World Health Organization 2021. World Report on Hearing. World Health Organization, Geneva.
A. C. Aguiar, L. E. Melo Alves, Y. P. Costa Aguiar P. Lima, T. Maritan, and D. Omaia. 2024. Challenges and Lessons Learned to Improve the Deaf User Experience: of the XXIII Brazilian Symposium on Human Factors in Computing Systems (IHC 2024) (2024). DOI: 10.1145/3702038.3702041
Associação Brasileira de Normas Técnicas 2022. ABNT NBR 17060:2022 - Acessibilidade em comunicação na prestação de serviços.
Simone Barbosa, Bruno Santana da Silva, Milene Silveira, Isabela Gasparini, Ticianne Darin, and Gabriel Barbosa. 2024. Interação Humano-Computador e Experiência do Usuário. Leanpub.
E. Benveniste. 1976. Problemas de Linguística Geral. Ed. da Universidade de São Paulo, Chapter vol. 8.
John Brooke. 1995. SUS: A quick and dirty usability scale. Usability Evaluation in Industry (1995).
J. P Colling and C. Boscarioli. [n. d.]. Avaliação de Tecnologias de tradução Português-Libras visando o uso no ensino de crianças surdas.
C. H. d. A. Monteiro, L. F. I. L. Pecoraro, and A. R. Corbo et al. 2012. Utilização de novas tecnologias na popularização da Língua Brasileira de Sinais.
J. E. R. de Queiroz. 2001. Abordagem híbrida para a avaliação da usabilidade de interfaces com o usuário. Ph.D. Dissertation. Universidade Federal de Campina Grande, Centro de Engenharia Elétrica e Informática, Campina Grande.
J. E. R. de Queiroz and D. de Sousa Ferreira. 2009. A Multidimensional Approach for the Evaluation of Mobile Application User Interfaces. Human-Computer Interaction. New Trends (HCI 2009) (2009).
F. M. F. de Sá, L. E. M. Alves, A. C. Aguiar, and Y. P. Costa Aguiar. 2024. Theoretical test using Libras to obtain the National Driver’s License: Exploratory usability assessment with interpreters and deaf people. Proceedings of the XXIII Brazilian Symposium on Human Factors in Computing Systems (IHC 2024) (2024). DOI: 10.1145/3702038.3702051
Instituto Brasileiro de Geografia e Estatística 2024. Pesquisa Nacional por Amostra de Domicílios Contínua - PNAD Contínua.
Lei Brasileira de Inclusão da Pessoa com Deficiência (Estatuto da Pessoa com Deficiência) 2015. Lei nº 13.146, de 6 de julho de 2015.
Manuella A.C.B. Lima, Tiago M.U. de Araújo, and Erickson S. de Oliveira. 2015. Incorporation of Syntactic-Semantic Aspects in a LIBRAS Machine Translation Service to Multimedia Platforms. Proceedings of the 21st Brazilian Symposium on Multimedia and the Web (WebMedia ’15) (2015). DOI: 10.1145/2820426.2820434
Jakob Nielsen. 1994. 10 Usability Heuristics for User Interface Design. Nielsen Norman Group (1994).
Jakob Nielsen. 1994. How to Rate the Severity of Usability Problems. Nielsen Norman Group (1994).
Jakob Nielsen. 1994. Usability inspection methods. Conference Companion on Human Factors in Computing Systems (CHI ’94 Companion) (1994). DOI: 10.1145/259963.260531
Jakob Nielsen. 2000. Why You Only Need to Test with 5 Users. Nielsen Norman Group (2000).
Erik Da Costa Nunes, Guilherme Ribeiro, Ingrid Monteiro, and Enyo Gonçalves. 2023. Digital Accessibility at the Brazilian Symposium on Human Factors in Computing Systems (IHC): An Updated Systematic Literature Review. Proceedings of the 22nd Brazilian Symposium on Human Factors in Computing Systems (IHC ’23) (2023). DOI: 10.1145/3638067.3638075
L. S. Reis, T. M. U. Araujo, Y. P. Costa Aguiar, and M. A. C. B. Lima. 2020. A Methodology for Assessing Translation Quality Generated by Sign Language Machine Translators: A Case Study with VLibras. In Lecture Notes in Computer Science, Vol. 12189, Springer International Publishing, 132–146 (2020). DOI: 10.1007/978-3-030-49108-6_10
L. S. Reis, T. M. U. Araujo, Y. P. C. Aguiar, and M. A. C. B. Lima. 2023. A Multilevel Methodology to Assess the Quality of Machine Translators to Brazilian Sign Languages. XI Latin American Conference on Human Computer Interaction (CLIHC 2023) (2023). DOI: 10.1145/3630970.3631050
L. S. Reis, T. M. U. Araujo, Y. P. C. Aguiar, M. A. C. B. Lima, and A. S. S. Sales. 2018. Assessment of the Treatment of Grammatical Aspects of Machine Translators to Libras. Anais do XXIV Simpósio Brasileiro de Sistemas Multimídia eWeb:Workshops e Pôsteres, Salvador, BA, Brazil. Sociedade Brasileira de Computação (SBC) (2018).
L. S. Reis, A. S. S. Sales, M. D. F. C. Lima, T. M. U. Araujo, and Y. P. C. Aguiar. 2017. Avaliação de Usabilidade do Aplicativo VLibras-Móvel com Usuários Surdos. Anais do XXIII Simpósio Brasileiro de Sistemas Multimídia e Web: Workshops e Pôsteres, Gramado, Brazil. Sociedade Brasileira de Computação (SBC) (2017).
Yvonne Rogers, Helen Sharp, and Jennifer Preece. 2013. Design de interação. Bookman Editora.
Maristela C Vieira, Ygor Corrêa, Lucila MC Santarosa, and MCV BIAZUS. 2014. Análise de expressões não-manuais em avatares tradutores de Língua Portuguesa para Libras. In XIX Conferência Internacional sobre Informática na Educação-TISE.J. (2014).
World Health Organization 2021. World Report on Hearing. World Health Organization, Geneva.
Published
2025-11-04
How to Cite
MACÊDO, Thaís Melquíades; GERMANO, Vinícius; COSTA, Carolina de Melo; AGUIAR, Yuska Paola Costa.
Hand-Speaking Technology: An Expert and User-Based Assessment of the VLibrasWidget. In: BRAZILIAN SOFTWARE QUALITY SYMPOSIUM (SBQS), 24. , 2025, São José dos Campos/SP.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2025
.
p. 326-336.
DOI: https://doi.org/10.5753/sbqs.2025.15028.
