EyetrackingMOS: Proposta de um método de avaliação online para modelos de síntese de fala - Araújo, Gustavo E.; Galdino, Julio C.; Lima, Rodrigo de F.; Ishida, Leonardo; Lopes, Gustavo W.; Oliveira Jr., Miguel; Cândido Jr., Arnaldo; Aluísio, Sandra M.; Ponti, Moacir A. (Anais do Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL), 2024)
Avaliar sistemas Text-To-Speech (TTS) é um desafio, uma vez que a qualidade crescente da síntese impõe obstáculos em discriminar a capacidade de modelos em reproduzir atributos prosódicos, especialmente para o português brasileiro. Métricas de avaliação offline não medem a reação genuína de avaliadores aos estímulos de áudios. Propõe-se, portanto, um método de avaliação online com rastreamento de globo ocular. Os experimentos com 76 anotadores apontam que há uma correlação razoável entre EyetrackingMOS e MOS, assim como uma redução em sua duração total. Desta forma, acredita-se que esta métrica forneça uma informação precisa e potencialmente rápida para complementar os métodos de avaliação.