Avaliação Automatizada em OSCE: Integração de STT e LLMs para Feedback Clínico Escalável

• Carlos Eduardo Borba Fernandes UFCAT
• Rafael do Nascimento Silva UFCAT
• Marcio de Souza Dias UFCAT

DOI: https://doi.org/10.5753/stil.2026.29875

Resumo

O Exame Clínico Objetivo Estruturado (OSCE) é o padrão-ouro na avaliação clínica, mas enfrenta limitações de escalabilidade devido aos altos custos operacionais da preceptoria humana. Este trabalho apresenta um sistema automatizado que integra pipelines de Speech-to-Text (STT) e Modelos de Linguagem de Larga Escala (LLMs) para transcrever, diarizar e interpretar heuristicamente consultas simuladas. O sistema mitiga ruídos acústicos, separa diálogos e aplica engenharia de prompt avançada (Chain-of-Thought, Few-shot) para mapear o desempenho do discente em esquemas JSON estruturados. Ao automatizar a identificação de entidades semióticas (sinais clínicos e sintomas) e a pontuação clínica, a solução visa reduzir a subjetividade da correção manual, viabilizando um feedback pedagógico imediato, padronizado e escalável.

Referências

Brown, T., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems (NeurIPS), 33, 1877-1901.

Gris, L. R. S., et al. (2022). Brazilian Portuguese speech recognition using Wav2vec 2.0. In: Lecture Notes in Artificial Intelligence, Springer, Cham, p. 320-330. DOI: 10.1007/978-3-030-98305-5_31.

Harden, R. M., Stevenson, M., Downie, W. W., & Wilson, G. M. (1975). Assessment of clinical competence using objective structured examination. British Medical Journal, 1(5955), 447-451.

Issenberg, S. B., et al. (2005). Features and uses of high-fidelity medical simulations that lead to most effective learning: a BEME systematic review. Medical Teacher, 27(1), 10-28.

Masters, K. (2023). Ethical use of artificial intelligence in health professions education: AMEE Guide No. 158. Medical Teacher, 45(6), 574-584. DOI: 10.1080/0142159X.2023.2186203.

Park, T. J., et al. (2022). A review of speaker diarization: Recent advances with deep learning. Computer Speech & Language, 72, 101317.

Radford, A., et al. (2023). Robust speech recognition via large-scale weak supervision. International Conference on Machine Learning (ICML).

Singhal, K., et al. (2023). Large language models encode clinical knowledge. Nature, 620(7972), 172-180.

Lee, P., Bubeck, S., & Petro, J. (2023). Benefits, limits, and risks of GPT-4 as an AI chatbot for medicine. New England Journal of Medicine, 388(13), 1233-1239. DOI: 10.1056/NEJMsr2214184.

Topol, E. J. (2019). High-performance medicine: the convergence of human and artificial intelligence. Nature Medicine, 25(1), 44-56.

Wei, J., et al. (2022). Chain-of-thought prompting elicits reasoning in large language models. Advances in Neural Information Processing Systems, 35, 24824-24837.

Ziv, A., Small, S. D., & Wolpe, P. R. (2000). Patient safety and simulation-based medical education. Medical Teacher, 22(5), 489-495.

Bai, J., et al. (2023). Qwen Technical Report. arXiv preprint arXiv:2309.16609.

Jiang, A. Q., et al. (2023). Mistral 7B. arXiv preprint arXiv:2310.06825.