Abordagem Híbrida para Reconhecimento Ótico de Música com Detecção de Objetos e LLMs Multimodais - Romão, Gustavo Henrique; Lara, Hygor Santiago; Ulysses, Jesuliana Nascimento (Anais do Simpósio Brasileiro de Computação Musical (SBCM); 2025: Anais Estendidos do XIX Simpósio Brasileiro de Computação MusicalDO - 10.5753/sbcm_estendido.2025.14777, 2025)
Este estudo propõe uma abordagem híbrida para OMR, integrando modelos multimodais de linguagem (LLMs) com técnicas modernas de detecção de objetos. Para o reconhecimento de claves foi utilizado o Gemini 2.0 Flash, aproveitando sua capacidade de interpretação visual e contextual, enquanto YOLOv8 e YOLOv11 foram adotados para o processamento da detecção de valores de altura e ritmo. Esta divisão de tarefas reduz a complexidade da detecção de objetos, permitindo que os modelos YOLO se concentrem na localização precisa e classificação de símbolos musicais. A metodologia proposta apresentou resultados satisfatório na tarefa de reconhecimento de partituras monofônicas digitais, com o YOLOv11 atingindo um mAP50 de 0.995 quando a detecção de claves é realizada por meio de LLMs. reconhecimento óptico de música, aprendizado profundo, detecção de objetos, LLMs multimodais, YOLO, transcrição musical.