Abordagem Híbrida para Reconhecimento Ótico de Música com Detecção de Objetos e LLMs Multimodais - Romão, Gustavo Henrique; Lara, Hygor Santiago; Ulysses, Jesuliana Nascimento (Anais do Simpósio Brasileiro de Computação Musical (SBCM), 2025)
Este estudo propõe uma abordagem híbrida para OMR, integrando modelos multimodais de linguagem (LLMs) com técnicas modernas de detecção de objetos. Para o reconhecimento de claves foi utilizado o Gemini 2.0 Flash, aproveitando sua capacidade de interpretação visual e contextual, enquanto YOLOv8 e YOLOv11 foram adotados para o processamento da detecção de valores de altura e ritmo. Esta divisão de tarefas reduz a complexidade da detecção de objetos, permitindo que os modelos YOLO se concentrem na localização precisa e classificação de símbolos musicais. A metodologia proposta apresentou resultados satisfatório na tarefa de reconhecimento de partituras monofônicas digitais, com o YOLOv11 atingindo um mAP50 de 0.995 quando a detecção de claves é realizada por meio de LLMs. reconhecimento óptico de música, aprendizado profundo, detecção de objetos, LLMs multimodais, YOLO, transcrição musical.