Usability, Accessibility and User Experience Evaluation of ADA Blocks by HCI Experts
Abstract
Introduction: Educational technologies have been important in supporting the teaching and learning process. Objective: In this context, this paper presents a study evaluating the usability, accessibility, and user experience of the ADA Blocks virtual assistent that was designed to recommend block programming tools for teachers. Methodology or Steps: Ten HCI experts participated in this study, seeking to identify improvements and promote more effcient and satisfactory interactions for this assistant. Results: Problems such as design inconsistencies, lack of responsiveness on mobile devices, navigation diffculties, and accessibility barriers, among others, were identified. These findings enable improvements to ensure that ADA Blocks can be effective, inclusive, and generate a good experience for its users.
Keywords:
Usability, Accessibility, User Experience, ADA Blocks
References
Albert, W. e Tullis, T. (2022). Measuring the User Experience: Collecting, Analyzing, and Presenting UX Metrics. Morgan Kaufmann, Cambridge, MA, USA, 3rd edition.
Ballati, F., Corno, F., e De Russis, L. (2018). Assessing virtual assistant capabilities with italian dysarthric speech. In Proceedings of the 20th International ACM SIGACCESS Conference on Computers and Accessibility, pages 93–101.
BARBOSA, C. V. T. (2019). Chatbots e acessibilidade: uma investigação sobre a acessibilidade dos assistentes virtuais com enfoque em pessoas com deficiência visual. PhD thesis, Dissertação de Mestrado. Universidade Federal de Pernambuco.
Barbosa, M., Valle, P., Nakamura, W., Guerino, G., Finger, A., Lunardi, G., e Silva, W. (2022). Um estudo exploratório sobre métodos de avaliação de user experience em chatbots. In Anais da VI Escola Regional de Engenharia de Software, pages 21–30, Porto Alegre, RS, Brasil. SBC.
Brasil (2018). Base nacional comum curricular. [link]. Acesso em: 14 mai. 2025.
Cunha, J., Melo, M., Silva, S., e Silva, G. (2024). Uso de assistentes virtuais inteligentes em auxílio à educação para cegos: Um mapeamento sistemático. In Anais da XXIV Escola Regional de Computação Bahia, Alagoas e Sergipe, pages 419–429, Porto Alegre, RS, Brasil. SBC.
de Computação (SBC), S. B. (2018). Diretrizes para o ensino de computação na educação básica. [link]. Acesso em: 14 mai. 2025.
de Souza Rios, L. K., Junior, A. d. O. C., Lima, J. P. F., e Guedes, E. B. (2019). Uma análise comparativa entre ambientes de programação em blocos para a interação com o arduino. In Anais do Simpósio Ibero-Americano de Tecnologias Educacionais, pages 1–10, Porto Alegre, RS, Brasil. SBC.
Guzdial, M. (2004). Programming environments for novices. In Fincher, S. e Petre, M., editors, Computer Science Education Research, pages 127–154. Taylor & Francis, London, UK.
Hartono, S., Kosala, R., Supangkat, S. H., e Ranti, B. (2018). Smart hybrid learning framework based on three-layer architecture to bolster up education 4.0. In 2018 International Conference on ICT for Smart Society (ICISS), pages 1–5. IEEE.
International Organization for Standardization (2019). ISO 9241-210:2019 ergonomics of human-system interaction – part 210: Human-centred design for interactive systems. [link], note = Acesso em: 25 abr. 2025.
Medina-Flores, R. e Morales-Gamboa, R. (2015). Usability evaluation by experts of a learning management system. IEEE Revista Iberoamericana de Tecnologias del Aprendizaje, 10(4):197–203.
Menezes, K. (2022). META: Um método para avaliação de tecnologias educacionais acessíveis sob a perspectiva do design universal. Master’s thesis, Federal University of Paraná.
Mirmig, A. G., Meschtscherjakov, A., Wurhofer, D., Meneweger, T., e Tscheligi, M. (2015). A formal analysis of the ISO 9241-210 defnition of user experience. In Extended Abstracts of the 33rd Annual ACM Conference on Human Factors in Computing Systems, CHI EA ’15, pages 437–450, New York, NY, USA. ACM.
Misra, S., Kumar, V., Kumar, U., Fantazy, K., e Akhter, M. (2012). Agile software development practices: evolution, principles, and criticisms. International Journal of Quality & Reliability Management, 29(9):972–980.
Nielsen, J. (2003). Designing Web Usability. New Riders Publishing, Indianapolis, IN, USA.
Papert, S. e Harel, I. (1991). Situating constructionism. In Harel, I. e Papert, S., editors, Constructionism, pages 1–11. Ablex Publishing, Westport, CT, USA.
Pereira, R., Darin, T., e Silveira, M. (2024). Grandihc-br: Grand research challenges in human-computer interaction in brazil for 2025-2035. In Anais do XXIII Simpósio Brasileiro sobre Fatores Humanos em Sistemas Computacionais, pages 915–938, Porto Alegre, RS, Brasil. SBC.
Perin, A., Silva, D. E., e Valentim, N. (2021a). Um benchmark de ferramentas de programação em blocos que podem ser utilizadas nas salas de aula do ensino médio. In Anais do XXXII Simpósio Brasileiro de Informática na Educação, pages 1162–1173, Porto Alegre, RS, Brasil. SBC.
Perin, A., Silva, D. E., e Valentim, N. (2022a). Um estudo de viabilidade sobre a assistente virtual ADA Blocks com professores do ensino médio. In Anais do XXXIII Simpósio Brasileiro de Informática na Educação, pages 1243–1254, Porto Alegre, RS, Brasil. SBC.
Perin, A. P. J., dos S. Silva, D. E., e Valentim, N. M. C. (2023). Investigating block programming tools in high school to support education 4.0: A systematic mapping study. Informatics in Education, 22(3):463–498.
Perin, A. P. J., Silva, D. E., e Valentim, N. M. (2021b). Experiência de docentes do ensino médio em conduzir atividades remotas durante o distanciamento social: uma análise baseada no contexto da educação 4.0. In Anais do Computer on the Beach, volume 12, pages 141–148.
Perin, A. P. J., Silva, D. E., e Valentim, N. M. C. (2022b). Investigating the teaching of block programming in high school. In Anais do XVIII Brazilian Symposium on Information Systems, SBSI, New York, NY, USA. Association for Computing Machinery.
Tullis, T. e Albert, W. (2008). Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics. Morgan Kaufmann, Burlington, MA, USA, 1st edition.
(W3C), W. W. W. C. (2018). Web content accessibility guidelines (WCAG) 2.1. [link]. Acesso em: 25 abr. 2025.
World Economic Forum (2020). The future of [link]. 14 mai. 2025.
Ballati, F., Corno, F., e De Russis, L. (2018). Assessing virtual assistant capabilities with italian dysarthric speech. In Proceedings of the 20th International ACM SIGACCESS Conference on Computers and Accessibility, pages 93–101.
BARBOSA, C. V. T. (2019). Chatbots e acessibilidade: uma investigação sobre a acessibilidade dos assistentes virtuais com enfoque em pessoas com deficiência visual. PhD thesis, Dissertação de Mestrado. Universidade Federal de Pernambuco.
Barbosa, M., Valle, P., Nakamura, W., Guerino, G., Finger, A., Lunardi, G., e Silva, W. (2022). Um estudo exploratório sobre métodos de avaliação de user experience em chatbots. In Anais da VI Escola Regional de Engenharia de Software, pages 21–30, Porto Alegre, RS, Brasil. SBC.
Brasil (2018). Base nacional comum curricular. [link]. Acesso em: 14 mai. 2025.
Cunha, J., Melo, M., Silva, S., e Silva, G. (2024). Uso de assistentes virtuais inteligentes em auxílio à educação para cegos: Um mapeamento sistemático. In Anais da XXIV Escola Regional de Computação Bahia, Alagoas e Sergipe, pages 419–429, Porto Alegre, RS, Brasil. SBC.
de Computação (SBC), S. B. (2018). Diretrizes para o ensino de computação na educação básica. [link]. Acesso em: 14 mai. 2025.
de Souza Rios, L. K., Junior, A. d. O. C., Lima, J. P. F., e Guedes, E. B. (2019). Uma análise comparativa entre ambientes de programação em blocos para a interação com o arduino. In Anais do Simpósio Ibero-Americano de Tecnologias Educacionais, pages 1–10, Porto Alegre, RS, Brasil. SBC.
Guzdial, M. (2004). Programming environments for novices. In Fincher, S. e Petre, M., editors, Computer Science Education Research, pages 127–154. Taylor & Francis, London, UK.
Hartono, S., Kosala, R., Supangkat, S. H., e Ranti, B. (2018). Smart hybrid learning framework based on three-layer architecture to bolster up education 4.0. In 2018 International Conference on ICT for Smart Society (ICISS), pages 1–5. IEEE.
International Organization for Standardization (2019). ISO 9241-210:2019 ergonomics of human-system interaction – part 210: Human-centred design for interactive systems. [link], note = Acesso em: 25 abr. 2025.
Medina-Flores, R. e Morales-Gamboa, R. (2015). Usability evaluation by experts of a learning management system. IEEE Revista Iberoamericana de Tecnologias del Aprendizaje, 10(4):197–203.
Menezes, K. (2022). META: Um método para avaliação de tecnologias educacionais acessíveis sob a perspectiva do design universal. Master’s thesis, Federal University of Paraná.
Mirmig, A. G., Meschtscherjakov, A., Wurhofer, D., Meneweger, T., e Tscheligi, M. (2015). A formal analysis of the ISO 9241-210 defnition of user experience. In Extended Abstracts of the 33rd Annual ACM Conference on Human Factors in Computing Systems, CHI EA ’15, pages 437–450, New York, NY, USA. ACM.
Misra, S., Kumar, V., Kumar, U., Fantazy, K., e Akhter, M. (2012). Agile software development practices: evolution, principles, and criticisms. International Journal of Quality & Reliability Management, 29(9):972–980.
Nielsen, J. (2003). Designing Web Usability. New Riders Publishing, Indianapolis, IN, USA.
Papert, S. e Harel, I. (1991). Situating constructionism. In Harel, I. e Papert, S., editors, Constructionism, pages 1–11. Ablex Publishing, Westport, CT, USA.
Pereira, R., Darin, T., e Silveira, M. (2024). Grandihc-br: Grand research challenges in human-computer interaction in brazil for 2025-2035. In Anais do XXIII Simpósio Brasileiro sobre Fatores Humanos em Sistemas Computacionais, pages 915–938, Porto Alegre, RS, Brasil. SBC.
Perin, A., Silva, D. E., e Valentim, N. (2021a). Um benchmark de ferramentas de programação em blocos que podem ser utilizadas nas salas de aula do ensino médio. In Anais do XXXII Simpósio Brasileiro de Informática na Educação, pages 1162–1173, Porto Alegre, RS, Brasil. SBC.
Perin, A., Silva, D. E., e Valentim, N. (2022a). Um estudo de viabilidade sobre a assistente virtual ADA Blocks com professores do ensino médio. In Anais do XXXIII Simpósio Brasileiro de Informática na Educação, pages 1243–1254, Porto Alegre, RS, Brasil. SBC.
Perin, A. P. J., dos S. Silva, D. E., e Valentim, N. M. C. (2023). Investigating block programming tools in high school to support education 4.0: A systematic mapping study. Informatics in Education, 22(3):463–498.
Perin, A. P. J., Silva, D. E., e Valentim, N. M. (2021b). Experiência de docentes do ensino médio em conduzir atividades remotas durante o distanciamento social: uma análise baseada no contexto da educação 4.0. In Anais do Computer on the Beach, volume 12, pages 141–148.
Perin, A. P. J., Silva, D. E., e Valentim, N. M. C. (2022b). Investigating the teaching of block programming in high school. In Anais do XVIII Brazilian Symposium on Information Systems, SBSI, New York, NY, USA. Association for Computing Machinery.
Tullis, T. e Albert, W. (2008). Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics. Morgan Kaufmann, Burlington, MA, USA, 1st edition.
(W3C), W. W. W. C. (2018). Web content accessibility guidelines (WCAG) 2.1. [link]. Acesso em: 25 abr. 2025.
World Economic Forum (2020). The future of [link]. 14 mai. 2025.
Published
2025-09-08
How to Cite
PERIN, Ana Paula Juliana; EIVE DOS S. SILVA, Deivid; M. C. VALENTIM, Natasha.
Usability, Accessibility and User Experience Evaluation of ADA Blocks by HCI Experts. In: BRAZILIAN SYMPOSIUM ON HUMAN FACTORS IN COMPUTATIONAL SYSTEMS (IHC), 24. , 2025, Belo Horizonte/MG.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2025
.
p. 1135-1156.
DOI: https://doi.org/10.5753/ihc.2025.10788.
