Evaluating Speech-to-Text Models for Brazilian Portuguese in Égua Assist: Supporting Programming Learning for People with Visual Impairments
Resumo
Este artigo apresenta uma avaliação comparativa de nove configurações de modelos de Conversão de Fala em Texto (Speech-to-Text), incluindo a Web Speech API, o Gemini 2.0 Flash e sete variantes do OpenAI Whisper, para o português brasileiro no contexto do Égua Assist, uma ferramenta assistiva voltada ao apoio de estudantes com deficiência visual na aprendizagem inicial de programação. Utilizando 200 amostras de áudio (100 sintéticas e 100 reais) provenientes de 20 participantes, em diferentes condições acústicas, os modelos foram avaliados quanto à acurácia (WER, CER e BLEU), eficiência (RTF) e estabilidade (distribuição de erros e análise de valores atípicos). O Whisper via API apresentou o melhor equilíbrio entre precisão, latência e robustez, enquanto modelos locais compactos demonstraram alta instabilidade e falhas semelhantes a alucinações em áudios reais. Esses resultados fornecem evidências empíricas para orientar a seleção de modelos de reconhecimento automático de fala (ASR) em tempo real para aplicações educacionais assistivas baseadas em voz no português brasileiro.Referências
Abdi, H. (2007). The kendall rank correlation coefficient. Encyclopedia of measurement and statistics, 2:508–510.
Ardila, R., Branson, M., Davis, K., Henretty, M., Kohler, M., Meyer, J., Morais, R., Saunders, L., Tyers, F. M., and Weber, G. (2020). Common voice: A massively-multilingual speech corpus.
Babu, A., Wang, C., Tjandra, A., Lakhotia, K., Xu, Q., Goyal, N., Singh, K., von Platen, P., Saraf, Y., Pino, J., Baevski, A., Conneau, A., and Auli, M. (2021). Xls-r: Self-supervised cross-lingual speech representation learning at scale.
Baevski, A., Zhou, H., Mohamed, A., and Auli, M. (2020). wav2vec 2.0: A framework for self-supervised learning of speech representations.
Candido Junior, A., Casanova, E., Soares, A., de Oliveira, F. S., Oliveira, L., Junior, R. C. F., da Silva, D. P. P., Fayet, F. G., Carlotto, B. B., Gris, L. R. S., and Aluísio, S. M. (2023). Coraa asr: a large corpus of spontaneous and prepared speech manually validated for speech recognition in brazilian portuguese. Language Resources and Evaluation, 57(3):1139–1171.
Carvalho, C., Teixeira, F., Botelho, C., Pompili, A., Solera-Ureña, R., Paulo, S., Julião, M., Rolland, T., Mendonça, J., Pereira, D., Trancoso, I., and Abad, A. (2025). Camões: A comprehensive automatic speech recognition benchmark for european portuguese.
Chan, W., Jaitly, N., Le, Q. V., and Vinyals, O. (2015). Listen, attend and spell.
Cristófaro-Silva, T. (2010). Fonética e fonologia do português: roteiro de estudos e guia de exercícios. Editora Contexto, São Paulo, 10 edition.
da Silva, T. H. O., Furtado, V., Furtado, E., Mendes, M., Almeida, V., and Sales, L. (2024). How do illiterate people interact with an intelligent voice assistant? International Journal of Human–Computer Interaction, 40(3):584–602.
Hossain, S., Emi, M. A., Mishu, M. H., Zannat, R., et al. (2021). Code generator based on voice command for multiple programming language. In 2021 12th International Conference on Computing Communication and Networking Technologies (ICCCNT), pages 01–05. IEEE.
Jurafsky, D. and Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. 3rd edition. Online manuscript released January 6, 2026.
Kalai, A. T., Nachum, O., Vempala, S. S., and Zhang, E. (2025). Why language models hallucinate.
Levenshtein, V. I. (1966). Binary codes capable of correcting deletions, insertions, and reversals. Soviet Physics Doklady, 10(8):707–710.
Microsoft (2025). Evaluating performance of Embedded Speech. [link]. Última atualização em 07 agosto 2025; acessado em 09 janeiro 2026.
Neves, L. P. (2025). Linguagem Égua. [link]. Programação simples e moderna em português. Acessado em: 1 de março de 2025.
Nizzad, A. and Thelijjagoda, S. (2022). Designing of a voice-based programming ide for source code generation: A machine learning approach. In 2022 International Research Conference on Smart Computing and Systems Engineering (SCSE), volume 5, pages 14–21. IEEE.
Oliveira, A. R. G. d. (2022). Avaliação de ferramentas de reconhecimento automático de fala para língua portuguesa. Trabalho de conclusão de curso (graduação em ciência da computação), Universidade Federal de Lavras. Defendido em 28 Apr. 2022; 43 p.
Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). Bleu: a method for automatic evaluation of machine translation. In Isabelle, P., Charniak, E., and Lin, D., editors, Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pages 311–318, Philadelphia, Pennsylvania, USA. Association for Computational Linguistics.
Pires Magalhães, R., Rodrigues Vasconcelos, D. J., Sales Fernandes, G., Almada Cruz, L., Xavier Sampaio, M., Fernandes de Macêdo, J. A., and Linhares Coelho da Silva, T. (2022). Evaluation of automatic speech recognition approaches. Journal of Information and Data Management, 13(3).
Prabhavalkar, R., Hori, T., Sainath, T. N., Schlüter, R., and Watanabe, S. (2023). End-to-end speech recognition: A survey.
Pratap, V., Xu, Q., Sriram, A., Synnaeve, G., and Collobert, R. (2020). Mls: A large-scale multilingual dataset for speech research. In Interspeech 2020, interspeech 2020. ISCA.
Rabiner, L. (1989). A tutorial on hidden markov models and selected applications in speech recognition. Proceedings of the IEEE, 77(2):257–286.
Radford, A., Kim, J. W., Xu, T., Brockman, G., McLeavey, C., and Sutskever, I. (2022). Robust speech recognition via large-scale weak supervision.
Santos, D. S. d., Cardoso, P. C. F., and Pinto, V. H. S. C. (2025). Égua Assist: Uma ferramenta educacional assistiva para aprendizado de programação por pessoas com deficiência visual. In Anais do Workshop de Informática na Escola, pages 1–10. SBC.
Schober, P., Boer, C., and Schwarte, L. A. (2018). Correlation coefficients: Appropriate use and interpretation. Anesthesia and Analgesia, 126(5):1763–1768.
Sitaram, S., Chandu, K. R., Rallabandi, S. K., and Black, A. W. (2020). A survey of code-switched speech and language processing.
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L. u., and Polosukhin, I. (2017). Attention is all you need. In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R., editors, Advances in Neural Information Processing Systems, volume 30. Curran Associates, Inc.
Wang, D., Wang, X., and Lv, S. (2019). An overview of end-to-end automatic speech recognition. Symmetry, 11(8).
Zen, E., Da Costa, V. K., and Tavares, T. A. (2023). Understanding the accessibility barriers faced by learners with visual impairments in computer programming. In Proceedings of the XXII Brazilian Symposium on Human Factors in Computing Systems, pages 1–11.
Ardila, R., Branson, M., Davis, K., Henretty, M., Kohler, M., Meyer, J., Morais, R., Saunders, L., Tyers, F. M., and Weber, G. (2020). Common voice: A massively-multilingual speech corpus.
Babu, A., Wang, C., Tjandra, A., Lakhotia, K., Xu, Q., Goyal, N., Singh, K., von Platen, P., Saraf, Y., Pino, J., Baevski, A., Conneau, A., and Auli, M. (2021). Xls-r: Self-supervised cross-lingual speech representation learning at scale.
Baevski, A., Zhou, H., Mohamed, A., and Auli, M. (2020). wav2vec 2.0: A framework for self-supervised learning of speech representations.
Candido Junior, A., Casanova, E., Soares, A., de Oliveira, F. S., Oliveira, L., Junior, R. C. F., da Silva, D. P. P., Fayet, F. G., Carlotto, B. B., Gris, L. R. S., and Aluísio, S. M. (2023). Coraa asr: a large corpus of spontaneous and prepared speech manually validated for speech recognition in brazilian portuguese. Language Resources and Evaluation, 57(3):1139–1171.
Carvalho, C., Teixeira, F., Botelho, C., Pompili, A., Solera-Ureña, R., Paulo, S., Julião, M., Rolland, T., Mendonça, J., Pereira, D., Trancoso, I., and Abad, A. (2025). Camões: A comprehensive automatic speech recognition benchmark for european portuguese.
Chan, W., Jaitly, N., Le, Q. V., and Vinyals, O. (2015). Listen, attend and spell.
Cristófaro-Silva, T. (2010). Fonética e fonologia do português: roteiro de estudos e guia de exercícios. Editora Contexto, São Paulo, 10 edition.
da Silva, T. H. O., Furtado, V., Furtado, E., Mendes, M., Almeida, V., and Sales, L. (2024). How do illiterate people interact with an intelligent voice assistant? International Journal of Human–Computer Interaction, 40(3):584–602.
Hossain, S., Emi, M. A., Mishu, M. H., Zannat, R., et al. (2021). Code generator based on voice command for multiple programming language. In 2021 12th International Conference on Computing Communication and Networking Technologies (ICCCNT), pages 01–05. IEEE.
Jurafsky, D. and Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. 3rd edition. Online manuscript released January 6, 2026.
Kalai, A. T., Nachum, O., Vempala, S. S., and Zhang, E. (2025). Why language models hallucinate.
Levenshtein, V. I. (1966). Binary codes capable of correcting deletions, insertions, and reversals. Soviet Physics Doklady, 10(8):707–710.
Microsoft (2025). Evaluating performance of Embedded Speech. [link]. Última atualização em 07 agosto 2025; acessado em 09 janeiro 2026.
Neves, L. P. (2025). Linguagem Égua. [link]. Programação simples e moderna em português. Acessado em: 1 de março de 2025.
Nizzad, A. and Thelijjagoda, S. (2022). Designing of a voice-based programming ide for source code generation: A machine learning approach. In 2022 International Research Conference on Smart Computing and Systems Engineering (SCSE), volume 5, pages 14–21. IEEE.
Oliveira, A. R. G. d. (2022). Avaliação de ferramentas de reconhecimento automático de fala para língua portuguesa. Trabalho de conclusão de curso (graduação em ciência da computação), Universidade Federal de Lavras. Defendido em 28 Apr. 2022; 43 p.
Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). Bleu: a method for automatic evaluation of machine translation. In Isabelle, P., Charniak, E., and Lin, D., editors, Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pages 311–318, Philadelphia, Pennsylvania, USA. Association for Computational Linguistics.
Pires Magalhães, R., Rodrigues Vasconcelos, D. J., Sales Fernandes, G., Almada Cruz, L., Xavier Sampaio, M., Fernandes de Macêdo, J. A., and Linhares Coelho da Silva, T. (2022). Evaluation of automatic speech recognition approaches. Journal of Information and Data Management, 13(3).
Prabhavalkar, R., Hori, T., Sainath, T. N., Schlüter, R., and Watanabe, S. (2023). End-to-end speech recognition: A survey.
Pratap, V., Xu, Q., Sriram, A., Synnaeve, G., and Collobert, R. (2020). Mls: A large-scale multilingual dataset for speech research. In Interspeech 2020, interspeech 2020. ISCA.
Rabiner, L. (1989). A tutorial on hidden markov models and selected applications in speech recognition. Proceedings of the IEEE, 77(2):257–286.
Radford, A., Kim, J. W., Xu, T., Brockman, G., McLeavey, C., and Sutskever, I. (2022). Robust speech recognition via large-scale weak supervision.
Santos, D. S. d., Cardoso, P. C. F., and Pinto, V. H. S. C. (2025). Égua Assist: Uma ferramenta educacional assistiva para aprendizado de programação por pessoas com deficiência visual. In Anais do Workshop de Informática na Escola, pages 1–10. SBC.
Schober, P., Boer, C., and Schwarte, L. A. (2018). Correlation coefficients: Appropriate use and interpretation. Anesthesia and Analgesia, 126(5):1763–1768.
Sitaram, S., Chandu, K. R., Rallabandi, S. K., and Black, A. W. (2020). A survey of code-switched speech and language processing.
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L. u., and Polosukhin, I. (2017). Attention is all you need. In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R., editors, Advances in Neural Information Processing Systems, volume 30. Curran Associates, Inc.
Wang, D., Wang, X., and Lv, S. (2019). An overview of end-to-end automatic speech recognition. Symmetry, 11(8).
Zen, E., Da Costa, V. K., and Tavares, T. A. (2023). Understanding the accessibility barriers faced by learners with visual impairments in computer programming. In Proceedings of the XXII Brazilian Symposium on Human Factors in Computing Systems, pages 1–11.
Publicado
19/10/2026
Como Citar
SANTOS, Daniel Saavedra dos; CARDOSO, Paula Christina F.; PINTO, Victor Hugo S. C..
Evaluating Speech-to-Text Models for Brazilian Portuguese in Égua Assist: Supporting Programming Learning for People with Visual Impairments. In: ENCONTRO NACIONAL DE INTELIGÊNCIA ARTIFICIAL E COMPUTACIONAL (ENIAC), 23. , 2026, Cuiabá/MT.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2026
.
p. 2161-2172.
ISSN 2763-9061.
DOI: https://doi.org/10.5753/eniac.2026.31532.
