Tecnologia Assistiva Multimodal para Descrição de Interfaces Gráficas a Pessoas Cegas - Silva Junior, Claudio Honorio da; Felipetto, Guilherme; Tampelini, Leonardo Garcia (Anais do Congresso Latino-Americano de Software Livre e Tecnologias Abertas (Latinoware); 2025: Anais do XXII Congresso Latino-Americano de Software Livre e Tecnologias AbertasDO - 10.5753/latinoware.2025.16467, 2025)
O aumento da dependência de plataformas digitais em contextos educacionais tem gerado barreiras significativas para pessoas com deficiência visual, uma vez que a maioria das interfaces gráficas não é projetada com foco em acessibilidade. Para enfrentar esse desafio, este artigo apresenta um sistema assistivo multimodal voltado para promover a acessibilidade digital em ambientes educacionais. A solução integra técnicas de visão computacional, OCR e TTS para fornecer descrições em áudio estruturadas de elementos da interface gráfica. Utiliza-se YOLOv8 para detecção visual, PaddleOCR para extração textual, uma CNN leve para classificação de ícones e o modelo GPT-4 para interpretação contextual. O sistema foi avaliado por meio de um estudo de caso com um aluno cego do curso de Inteligência Artificial, buscando analisar o impacto das descrições funcionais na autonomia do usuário, na eficiência de navegação e no acesso a conteúdos multimodais. Os resultados apontam para o potencial da combinação entre modelos de aprendizado profundo e tecnologias de linguagem natural no avanço da educação inclusiva por meio de soluções assistivas práticas e escaláveis.