Accessibility Evaluation of LLM-Generated Android Code in React Native - Ventura, Carlos David; Rabelo, Daniel Mesquita Feijó; Darin, Ticianne; Viana, Windson (Anais do Simpósio Brasileiro sobre Fatores Humanos em Sistemas Computacionais (IHC), 2025)
Introdução: O uso de LLMs na criação de interfaces gera dúvidas sobre sua capacidade de incluir acessibilidade. Objetivo: Neste estudo, a acessibilidade do código React Native gerado pelo ChatGPT 4.o mini, DeepSeek V3 e Gemini 2.0 Flash foi avaliada com a comparação de tipos de prompts e idiomas distintos. Metodologia ou Etapas: Analisaram-se 252 amostras de telas com o Accessibility Scanner, que encontrou 1.159 erros de acessibilidade. Resultados: Os prompts do tipo few-shot superaram os zero-shot, enquanto o idioma usado não teve efeito significativo. Esses resultados destacam as limitações dos LLMs na geração de telas acessíveis, enfatizando a necessidade do estudo de metodologias que considerem o papel do desenvolvedor no uso dessas ferramentas no design inclusivo.