Síntese Gestual Zero-Shot: Transferência de Estilo Comportamental Multimodal de Poses Tridimensionais - Bispo, Anna Carolina Souza; Santos, Breno Ramon Santana dos; Menezes, Erick Marck de Barros; Guimarães, Lívia Pereira; Tatum, Melyssa Maria Macedo; Silva, Rafael José Mecenas; Araujo, Victor Flávio (Anais Estendidos do Simpósio Brasileiro de Jogos e Entretenimento Digital (SBGames), 2025)
Introdução: Este trabalho apresenta um modelo de síntese multimodal para a geração de gestos corporais tridimensionais a partir de dados de fala e texto. Objetivo: O objetivo deste trabalho é projetar e avaliar um modelo de síntese gestual multimodal capaz de gerar movimentos 3D a partir de fala e texto, permitindo a transferência de estilo zero-shot entre diferentes falantes, visando desacoplar o conteúdo semântico do estilo do locutor. Metodologia ou Etapas: A arquitetura neural, baseada em GANs, emprega um codificador de conteúdo, um codificador de estilo e um gerador sequência-a-sequência para desacoplar efetivamente o conteúdo semântico das características estilísticas do falante. O modelo processa características acústicas de Mel-espectrogramas e representações semânticas de vetores BERT, utilizando uma perda de reconstrução fisicamente fundamentada com uma camada diferenciável de Forward Kinematics (FK) para minimizar o erro posicional das articulações no espaço 3D, combinada com uma representação de rotação 6D contínua para movimentos estáveis. Resultados: Os experimentos demonstram a geração de gestos coerentes, validados por métricas quantitativas e análise qualitativa, confirmando a capacidade do modelo de transferir estilo preservando a intenção semântica.