Manuscribe AI: Learning Support System for People with Fine Motor Impairments

Raquel K. C. Santos; Fábio S. da Silva

doi:10.5753/eniac.2026.30047

Raquel K. C. Santos SiDi Intelligence & Innovation Center
Fábio S. da Silva UEA

DOI: https://doi.org/10.5753/eniac.2026.30047

Resumo

Este artigo apresenta e avalia o Manuscribe AI, um sistema web baseado em modelos abertos de speech-to-text (STT) e Large Language Models (LLMs) para apoiar estudantes com limitações motoras finas por meio da geração automática de anotações de aulas gravadas, utilizando execução local e técnicas de engenharia de prompts. A avaliação concentrou-se em modelos de pequeno e médio porte para tarefas de transcrição e sumarização, utilizando um dataset próprio de transcrições de videoaulas em português brasileiro. Os resultados demonstram desempenho competitivo, com destaque para o Whisper Small na tarefa de transcrição e o GPT-OSS 20B na geração de resumos, evidenciando o potencial de modelos abertos e leves para aplicações educacionais assistivas.

Referências

Alpha Cephei Inc. (2020). Vosk speech recognition toolkit. Software. Disponível em: [link]. Acesso em: 4 jun. 2025.

Barbosa, F. D. D., Mariano, E. d. F., and Sousa, J. d. (2021). Tecnologia e educação: perspectivas e desafios para a ação docente. Conjecturas, 21(2):38–60.

Boyle, J. R. (2010). Note-taking skills of middle school students with and without learning disabilities. Journal of Learning Disabilities, 43(6):530–540. DOI: 10.1177/0022219410371679. Acesso em: 10 jun. 2025.

Boyle, J. R. (2012). Note–taking and secondary students with learning disabilities: Challenges and solutions. Learning Disabilities Research & Practice, 27(2):90–101. Disponível em: [link]. Acesso em: 10 jun. 2025.

Chang, Y., Wang, X., Wang, J., Han, Y., Li, C., Xu, S., Zhu, H., Dong, B., Zhang, Y., Yao, K., Lu, Z., Wu, Y., and Zhang, W. (2023). A survey on evaluation of large language models. arXiv preprint arXiv:2307.03109.

Chapman, P., Clinton, J., Kerber, R., Khabaza, T., Reinartz, T., Shearer, C., and Wirth, R. (2000). Crisp-dm 1.0: Step-by-step data mining guide. CRISP-DM Consortium.

Correa, Y., Moro, T. B., and Valentini, C. B. (2021). Tecnologia assistiva na educação inclusiva. Revista Ibero-Americana de Estudos em Educação, pages 2963–2970.

Dubey, A., Jauhri, A., Pandey, A., et al. (2024). The llama 3 herd of models. arXiv preprint arXiv:2407.21783.

Gemma Team (2024). Gemma 2: Improving open language models at a practical size. Disponível em: [link]. Acesso em: 06 jun. 2026.

Graham, C. and Roll, N. (2024). Evaluating openai’s whisper asr: Performance analysis across diverse accents and speaker traits. JASA Express Letters, 4(2).

Hadi, M. U., Al-Tashi, Q., Qureshi, R., Shah, A., Muneer, A., Irfan, M., Zafar, A., Shaikh, M., Akhtar, N., Wu, J., and Mirjalili, S. (2023). Large language models: A comprehensive survey of its applications, challenges, limitations, and future prospects.

Jiang, A. Q. et al. (2024). Mixtral of experts. arXiv preprint arXiv:2401.04088.

Knowt (2025). Student’s guide to getting started. Disponível em: [link]. Acesso em: 7 jun. 2025.

Kodalovic, M. (2025). Análise do plaud.ai — principais recursos, prós e contras explicados. [link]. Acesso em: 30 nov. 2025.

Lai, A. (2025). What is otter? Disponível em: [link]. Acesso em: 7 jun. 2025.

OpenAI (2025). gpt-oss-120b & gpt-oss-20b model card.

Otter.ai (2025). Otterai transcribe voice notes. Disponível em: [link]. Acesso em: 7 jun. 2025.

Peng, J., Wang, Y., Fang, Y., Xi, Y., Li, X., Zhang, X., and Yu, K. (2025). A survey on speech large language models. Disponível em: [link]. Acesso em: 4 jun. 2025.

Quizlet (2024). Como funciona o quizlet. Disponível em: [link]. Acesso em: 8 jun. 2025.

Radford, A. et al. (2023). Robust speech recognition via large-scale weak supervision. Online.

Ranzato, M., Chopra, S., Auli, M., and Zaremba, W. (2016). Sequence level training with recurrent neural networks. Disponível em: [link]. Acesso em: 4 jun. 2025.

Ravaglia, R. (2024). Quizlet using ai as a socratic tool to ask better questions. Forbes. Disponível em: [link]. Acesso em: 8 jun. 2025.

Sculley, D., Holt, G., Golovin, D., Davydov, E., Phillips, T., Ebner, D., Chaudhary, V., Young, M., Crespo, J.-F., and Dennison, D. (2015). Hidden technical debt in machine learning systems. In Proceedings of the 29th International Conference on Neural Information Processing Systems - Volume 2, NIPS’15, page 2503–2511, Cambridge, MA, USA. MIT Press.

Soni, A. A. (2025). Improving speech recognition accuracy using custom language models with the vosk toolkit. Disponível em: [link]. Acesso em: 7 jun. 2025.

Sutherland, A. (2010). Quizlet’s Andrew Sutherland on The Morning Show. YouTube video. Disponível em: [link]. Acesso em: 8 jun. 2025.

Svensson, I., Nordström, T., Lindeblad, E., Gustafson, S., Björn, M., Sand, C., Almgren/Bäck, G., and and, S. N. (2019). Effects of assistive technology for students with reading and writing disabilities. Disability and Rehabilitation: Assistive Technology, 16(2):196–208. DOI: 10.1080/17483107.2019.1646821. Acesso em 9 jun. 2025.

Tavares, A. A. and Cardoso, A. A. (2016). Inter-relações entre o desempenho no processo de aprendizagem escolar e o desenvolvimento das capacidades motoras: revisão da literatura. Revista de Terapia Ocupacional da Universidade de São Paulo, 27(1):88–93. Disponível em: [link]. Acesso em: 9 jun. 2025.

Transkriptor (2024). Transkriptor: O melhor aplicativo de conversão de fala para texto com ia. Disponível em: [link]. Acesso em: 4 jun. 2025.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). Attention is all you need. In Advances in neural information processing systems, volume 30.

Wataoka, K., Takahashi, T., and Ri, R. (2025). Self-preference bias in llm-as-a-judge. Disponível em: [link]. Acesso em: 06 jun. 2026.

Xiao, T. and Zhu, J. (2025). Foundations of large language models. Disponível em: [link]. Acesso em: 4 jun. 2025.

Xu, J., Wu, A., Filip, C., Patel, Z., Bernstein, S. R., Tanveer, R., Syed, H., and Kotroczo, T. (2024). Active recall strategies associated with academic achievement in young adults: A systematic review. Journal of Affective Disorders, 354:191–198. Disponível em: [link]. Acesso em: 9 jun. 2025.

Zhang, A., Lipton, Z. C., Li, M., and Smola, A. J. (2023). Dive into deep learning. Disponível em: [link]. Acesso em: 3 jun. 2025.

Zhang, Y., Jin, H., Meng, D., Wang, J., and Tan, J. (2025). A comprehensive survey on process-oriented automatic text summarization with exploration of llm-based methods. Disponível em: [link]. Acesso em: 12 jun. 2025.