Guidelines for AI-Adapted Photograph Descriptions in the Context of Social Media
Abstract
Introduction: The evolution of generative artificial intelligence (AI) systems has enabled significant advances in digital accessibility, particularly in image description, making visual content more accessible to people with visual impairments. Objective: In this study, we proposed a set of guidelines to support the description of photographs in the context of online social media, based on previous works but focused on generative AI models. Methodology: The guidelines were developed in previous work and adapted for use with a widely adopted AI model. Two AI-generated photo descriptions, created based on these guidelines, were evaluated by two individuals with total visual impairment. Participants assessed the ease of understanding and compared the descriptions generated using the proposed guidelines with those produced using basic instructions. Results: Findings from the users’ assessment enabled an initial refinement of the guidelines.
Keywords:
Accessibility, Image description, Alternative text, Generative AI, People with visual impairments
References
ABNT (2016). Abnt nbr 16452: Acessibilidade na comunicação – audiodescrição. Disponível em: [link]. Acesso em: 08 ago. 2025.
Amiralian, M. L. T. (1997). Compreendendo o cego: uma visão psicanalítica da cegueira por meio de desenhos-estórias. Casa do Psicólogo, São Paulo. Disponível em: [link]. Acesso em: 20 ago. 2025.
Barbosa, S. D. J., da Silva, B. S., Silveira, M., Gasparini, I., Darin, T., e Barbosa, G. (2021). Interação humano-computador e experiência do usuário [E-book]. Leanpub. Disponível em: [link]. Acesso em: 08 ago. 2025.
Berton, E., Molina, L., Júnior, O., e Santana, W. (2024). Ia avança nas descrições de imagens, mas ainda não substitui a revisão humana. Movimento Web para Todos. Disponível em: [link]. Acesso em: 08 ago. 2025.
Bommasani, R., Hudson, D. A., Adeli, E., Altman, R., e et al. (2022). On the opportunities and risks of foundation models. Disponível em: [link]. Acesso em 08 ago. 2025.
Clause, A.-A. (2025). Open ai nvda add-on. Github. Disponível em: [link]. Acesso em: 08 ago. 2025.
Duarte, E. F., Porto, G. L. P. M. B., Nascimento, A., Palomino, P. T., dos Santos Portela, C., Aguiar, Y. P. C., Falcão, T. P., Ribeiro, D. F., Souza, M., Gasparotto, A. M. S., e Toda, A. M. (2024). Grandihc-br 2025-2035 - gc6: Implications of artificial intelligence in hci: A discussion on paradigms ethics and diversity equity and inclusion. In IHC 24: Proceedings of the XXIII Brazilian Symposium on Human Factors in Computing Systems, pages 1–19. Association for Computing Machinery. Disponível em: [link]. Acesso em: 08 ago. 2025.
Ferreira, S. B. L., Chauvel, M. A., e do Amaral Ferreira, M. G. (2006). e-acessibilidade: tornando visível o invisível. In 30º Encontro da ANPAD. Disponível em: [link]. Acesso em: 08 ago. 2025.
Furuya, B. (2024). Como a ia já está ajudando pessoas com deficiência. Olhar Digital. Disponível em: [link]. Acesso em: 08 ago. 2025.
Gasparetto, M. E. R. F. (2007). A pessoa com visão subnormal e seu processo pedagógico. In Masini, E. F. S. e Gasparetto, M. E. R. F., editors, Visão subnormal: um enfoque educacional, chapter 2. Vetor, São Paulo, 1 edition.
Gleason, C., Pavel, A., McCamey, E., Low, C., Carrington, P., Kitani, K. M., e Bigham, J. P. (2020). Twitter a11y: A browser extension to make twitter images accessible. In Conference on Human Factors in Computing Systems - Proceedings, pages 1–12. Association for Computing Machinery. Disponível em: [link]. Acesso em: 08 ago. 2025.
IBGE (2024). Pesquisa nacional por amostra de domicílios contínua: Acesso à internet e à televisão e posse de telefone móvel celular para uso pessoal 2023. Disponível em: [link]. Acesso em: 08 ago. 2025.
IFPB (2018). Cegueira x baixa visão. Instituto Federal da Paraiba. Disponível em: [link]. Acesso em: 08 ago. 2025.
Jacques, E. G., Sacramento, C., Gouveia, Y., Silva, W. N., Barros, Y. S., e Ferreira, S. B. L. (2025). Preservação da memória com acessibilidade digital: um plugin para descrição de imagens com ia generativa. In Anais Estendidos do Simpósio Brasileiro de Sistemas de Informação (SBSI). Trilha Indústria e Inovação em Sistemas de Informação, pages 157–161. SBC. Disponível em: [link]. Acesso em: 08 ago. 2025.
Jandrey, A. H., Ruiz, D. D. A., e Silveira, M. S. (2021). Image descriptions’ limitations for people with visual impairments: Where are we and where are we going? In IHC 21: Proceedings of the XX Brazilian Symposium on Human Factors in Computing Systems. Association for Computing Machinery. Disponível em: [link]. Acesso em: 08 ago. 2025.
Kaplan, A. M. e Haenlein, M. (2010). Users of the world, unite! the challenges and opportunities of social media. Business Horizons, 53:59–68. Disponível em: [link]. Acesso em: 08 ago. 2025.
Mack, K., Cutrell, E., Lee, B., e Morris, M. R. (2021). Designing tools for high-quality alt text authoring. In ASSETS 2021 - 23rd International ACM SIGACCESS Conference on Computers and Accessibility. Association for Computing Machinery, Inc. Disponível em: [link]. Acesso em: 08 ago. 2025.
MacLeod, H., Bennett, C. L., Morris, M. R., e Cutrell, E. (2017). Understanding blind people’s experiences with computer-generated captions of social media images. In Conference on Human Factors in Computing Systems - Proceedings, volume 2017-May, pages 5988–5999. Association for Computing Machinery. Disponível em: DOI: 10.1145/3025453.3025814. Acesso em: 08 ago. 2025.
Matsushita, R. (2019). Curso de introdução à audiodescrição: diretrizes gerais de ad. All Dubbing Group, Rio de Janeiro.
Mohanbabu, A. G. e Pavel, A. (2024). Context-aware image descriptions for web accessibility. In ASSETS 2024 - Proceedings of the 26th International ACM SIGACCESS Conference on Computers and Accessibility, volume 17. Association for Computing Machinery, Inc. Disponível em: [link]. Acesso em: 08 ago. 2025.
Moraes, C. P. (2018). Cego também usa facebook: pracegover. Monografia (Bacharel em Publicidade e Propaganda). Universidade de Passo Fundo, Passo Fundo, RS. Disponível em: [link]. Acesso em: 08 ago. 2025.
Morash, V. S., Siu, Y. T., Miele, J. A., Hasty, L., e Landau, S. (2015). Guiding novice web workers in making image descriptions using templates. In ACM Transactions on Accessible Computing (TACCESS), volume 7. ACMPUB27New York, NY, USA. Disponível em: [link]. Acesso em: 08 ago. 2025.
Morris, M. R., Johnson, J., Bennett, C. L., e Cutrell, E. (2018). Rich representations of visual content for screen reader users. In Conference on Human Factors in Computing Systems - Proceedings, volume 2018-April. Association for Computing Machinery. Disponível em: [link]. Acesso em: 08 ago. 2025.
Nardi, C. C. D. S. (2021). Diretrizes para produção de alternativas ao conteúdo visual em mídias sociais online sob a perspectiva de pessoas com defciência visual. Tese (Doutorado em Informática). Universidade Federal do Estado do Rio de Janeiro, Rio de Janeiro, RJ. Disponível em: [link]. Acesso em: 08 ago. 2025.
Nunes, S. D. S. e Lomônaco, J. F. B. (2008). Desenvolvimento de conceitos em cegos congênitos: caminhos de aquisição do conhecimento. Psicologia Escolar e Educacional, 12:119–138. Disponível em: [link]. Acesso em: 08 ago. 2025.
OpenAI (2025). Key guidelines for writing instructions for custom gpts | openai help center. Disponível em: [link]. Acesso em: 08 ago. 2025.
Pedrosa, L. (2015). Inclusão: quais são as redes sociais populares entre deficientes visuais? Portal EBC. Disponível [link]. Acesso em: 08 ago. 2025.
Perdigão, L. T., Monteiro, F. V., Peixotto, B. J., Bianco, V. L., e Fernandes, E. M. (2023). Inteligência artificial para audiodescrição de imagens: uma análise da pessoa com deficiência visual. In Congresso sobre Tecnologias na Educação (Ctrl+E), pages 182–191. SBC. Disponível em: [link]. Acesso em: 08 ago. 2025.
Sacramento, C. e Ferreira, S. B. L. (2022). Accessibility on social media: exploring congenital blind people’s interaction with visual content. In IHC 22: Proceedings of the 21st Brazilian Symposium on Human Factors in Computing Systems. Association for Computing Machinery. Disponível em: [link]. Acesso em: 08 ago. 2025.
Sacramento, C., Ferreira, S. B. L., e Remedios, S. (2022). Um estudo sobre descrição de imagens em mídias sociais online na perspectiva de pessoas com cegueira congênita. In Anais do XIII Workshop sobre Aspectos da Interação Humano-Computador na Web Social (WAIHCWS), pages 63–70. SBC. Disponível em: [link]. Acesso em: 08 ago. 2025.
Sacramento, C., Nardi, L., Ferreira, S. B. L., e Marques, J. M. D. S. (2020). Pracegover: Investigating the description of visual content in brazilian online social media. In IHC 2020 - Proceedings of the 19th Brazilian Symposium on Human Factors in Computing Systems. Association for Computing Machinery, Inc. Disponível em: [link]. Acesso em: 08 ago. 2025.
Salisbury, E., Kamar, E., e Morris, M. R. (2017). Toward scalable social alt text: Conversational crowdsourcing as a tool for refining vision-to-language technology for the blind. In Proceedings of the AAAI Conference on Human Computation and Crowdsourcing, volume 5, pages 147–156. AAAI Press. Disponível em: [link]. Acesso em: 08 ago. 2025.
Singh, N., Wang, L. L., e Bragg, J. (2024). Figura11y: Ai assistance for writing scientific alt text. In IUI ’24: Proceedings of the 29th International Conference on Intelligent User Interfaces, pages 886–906. Association for Computing Machinery. Disponível em: [link]. Acesso em: 08 ago. 2025.
WebAIM (2025). Webaim: The webaim million - the 2025 report on the accessibility of the top 1,000,000 home pages. Disponível em: [link]. Acesso em: 08 ago. 2025.
Wu, S. e Adamic, L. (2014). Visually impaired users on an online social network. In Conference on Human Factors in Computing Systems - Proceedings, pages 3133–3142. Association for Computing Machinery. Disponível em: [link]. Acesso em: 08 ago. 2025.
Wu, S., Wieland, J., Farivar, O., e Schiller, J. (2017). Automatic alt-text: Computer-generated image descriptions for blind users on a social network service. Proceedings of the ACM Conference on Computer Supported Cooperative Work, CSCW, pages 1180–1192. Disponível em: DOI: 10.1145/2998181.2998364. Acesso em: 08 ago. 2025.
Amiralian, M. L. T. (1997). Compreendendo o cego: uma visão psicanalítica da cegueira por meio de desenhos-estórias. Casa do Psicólogo, São Paulo. Disponível em: [link]. Acesso em: 20 ago. 2025.
Barbosa, S. D. J., da Silva, B. S., Silveira, M., Gasparini, I., Darin, T., e Barbosa, G. (2021). Interação humano-computador e experiência do usuário [E-book]. Leanpub. Disponível em: [link]. Acesso em: 08 ago. 2025.
Berton, E., Molina, L., Júnior, O., e Santana, W. (2024). Ia avança nas descrições de imagens, mas ainda não substitui a revisão humana. Movimento Web para Todos. Disponível em: [link]. Acesso em: 08 ago. 2025.
Bommasani, R., Hudson, D. A., Adeli, E., Altman, R., e et al. (2022). On the opportunities and risks of foundation models. Disponível em: [link]. Acesso em 08 ago. 2025.
Clause, A.-A. (2025). Open ai nvda add-on. Github. Disponível em: [link]. Acesso em: 08 ago. 2025.
Duarte, E. F., Porto, G. L. P. M. B., Nascimento, A., Palomino, P. T., dos Santos Portela, C., Aguiar, Y. P. C., Falcão, T. P., Ribeiro, D. F., Souza, M., Gasparotto, A. M. S., e Toda, A. M. (2024). Grandihc-br 2025-2035 - gc6: Implications of artificial intelligence in hci: A discussion on paradigms ethics and diversity equity and inclusion. In IHC 24: Proceedings of the XXIII Brazilian Symposium on Human Factors in Computing Systems, pages 1–19. Association for Computing Machinery. Disponível em: [link]. Acesso em: 08 ago. 2025.
Ferreira, S. B. L., Chauvel, M. A., e do Amaral Ferreira, M. G. (2006). e-acessibilidade: tornando visível o invisível. In 30º Encontro da ANPAD. Disponível em: [link]. Acesso em: 08 ago. 2025.
Furuya, B. (2024). Como a ia já está ajudando pessoas com deficiência. Olhar Digital. Disponível em: [link]. Acesso em: 08 ago. 2025.
Gasparetto, M. E. R. F. (2007). A pessoa com visão subnormal e seu processo pedagógico. In Masini, E. F. S. e Gasparetto, M. E. R. F., editors, Visão subnormal: um enfoque educacional, chapter 2. Vetor, São Paulo, 1 edition.
Gleason, C., Pavel, A., McCamey, E., Low, C., Carrington, P., Kitani, K. M., e Bigham, J. P. (2020). Twitter a11y: A browser extension to make twitter images accessible. In Conference on Human Factors in Computing Systems - Proceedings, pages 1–12. Association for Computing Machinery. Disponível em: [link]. Acesso em: 08 ago. 2025.
IBGE (2024). Pesquisa nacional por amostra de domicílios contínua: Acesso à internet e à televisão e posse de telefone móvel celular para uso pessoal 2023. Disponível em: [link]. Acesso em: 08 ago. 2025.
IFPB (2018). Cegueira x baixa visão. Instituto Federal da Paraiba. Disponível em: [link]. Acesso em: 08 ago. 2025.
Jacques, E. G., Sacramento, C., Gouveia, Y., Silva, W. N., Barros, Y. S., e Ferreira, S. B. L. (2025). Preservação da memória com acessibilidade digital: um plugin para descrição de imagens com ia generativa. In Anais Estendidos do Simpósio Brasileiro de Sistemas de Informação (SBSI). Trilha Indústria e Inovação em Sistemas de Informação, pages 157–161. SBC. Disponível em: [link]. Acesso em: 08 ago. 2025.
Jandrey, A. H., Ruiz, D. D. A., e Silveira, M. S. (2021). Image descriptions’ limitations for people with visual impairments: Where are we and where are we going? In IHC 21: Proceedings of the XX Brazilian Symposium on Human Factors in Computing Systems. Association for Computing Machinery. Disponível em: [link]. Acesso em: 08 ago. 2025.
Kaplan, A. M. e Haenlein, M. (2010). Users of the world, unite! the challenges and opportunities of social media. Business Horizons, 53:59–68. Disponível em: [link]. Acesso em: 08 ago. 2025.
Mack, K., Cutrell, E., Lee, B., e Morris, M. R. (2021). Designing tools for high-quality alt text authoring. In ASSETS 2021 - 23rd International ACM SIGACCESS Conference on Computers and Accessibility. Association for Computing Machinery, Inc. Disponível em: [link]. Acesso em: 08 ago. 2025.
MacLeod, H., Bennett, C. L., Morris, M. R., e Cutrell, E. (2017). Understanding blind people’s experiences with computer-generated captions of social media images. In Conference on Human Factors in Computing Systems - Proceedings, volume 2017-May, pages 5988–5999. Association for Computing Machinery. Disponível em: DOI: 10.1145/3025453.3025814. Acesso em: 08 ago. 2025.
Matsushita, R. (2019). Curso de introdução à audiodescrição: diretrizes gerais de ad. All Dubbing Group, Rio de Janeiro.
Mohanbabu, A. G. e Pavel, A. (2024). Context-aware image descriptions for web accessibility. In ASSETS 2024 - Proceedings of the 26th International ACM SIGACCESS Conference on Computers and Accessibility, volume 17. Association for Computing Machinery, Inc. Disponível em: [link]. Acesso em: 08 ago. 2025.
Moraes, C. P. (2018). Cego também usa facebook: pracegover. Monografia (Bacharel em Publicidade e Propaganda). Universidade de Passo Fundo, Passo Fundo, RS. Disponível em: [link]. Acesso em: 08 ago. 2025.
Morash, V. S., Siu, Y. T., Miele, J. A., Hasty, L., e Landau, S. (2015). Guiding novice web workers in making image descriptions using templates. In ACM Transactions on Accessible Computing (TACCESS), volume 7. ACMPUB27New York, NY, USA. Disponível em: [link]. Acesso em: 08 ago. 2025.
Morris, M. R., Johnson, J., Bennett, C. L., e Cutrell, E. (2018). Rich representations of visual content for screen reader users. In Conference on Human Factors in Computing Systems - Proceedings, volume 2018-April. Association for Computing Machinery. Disponível em: [link]. Acesso em: 08 ago. 2025.
Nardi, C. C. D. S. (2021). Diretrizes para produção de alternativas ao conteúdo visual em mídias sociais online sob a perspectiva de pessoas com defciência visual. Tese (Doutorado em Informática). Universidade Federal do Estado do Rio de Janeiro, Rio de Janeiro, RJ. Disponível em: [link]. Acesso em: 08 ago. 2025.
Nunes, S. D. S. e Lomônaco, J. F. B. (2008). Desenvolvimento de conceitos em cegos congênitos: caminhos de aquisição do conhecimento. Psicologia Escolar e Educacional, 12:119–138. Disponível em: [link]. Acesso em: 08 ago. 2025.
OpenAI (2025). Key guidelines for writing instructions for custom gpts | openai help center. Disponível em: [link]. Acesso em: 08 ago. 2025.
Pedrosa, L. (2015). Inclusão: quais são as redes sociais populares entre deficientes visuais? Portal EBC. Disponível [link]. Acesso em: 08 ago. 2025.
Perdigão, L. T., Monteiro, F. V., Peixotto, B. J., Bianco, V. L., e Fernandes, E. M. (2023). Inteligência artificial para audiodescrição de imagens: uma análise da pessoa com deficiência visual. In Congresso sobre Tecnologias na Educação (Ctrl+E), pages 182–191. SBC. Disponível em: [link]. Acesso em: 08 ago. 2025.
Sacramento, C. e Ferreira, S. B. L. (2022). Accessibility on social media: exploring congenital blind people’s interaction with visual content. In IHC 22: Proceedings of the 21st Brazilian Symposium on Human Factors in Computing Systems. Association for Computing Machinery. Disponível em: [link]. Acesso em: 08 ago. 2025.
Sacramento, C., Ferreira, S. B. L., e Remedios, S. (2022). Um estudo sobre descrição de imagens em mídias sociais online na perspectiva de pessoas com cegueira congênita. In Anais do XIII Workshop sobre Aspectos da Interação Humano-Computador na Web Social (WAIHCWS), pages 63–70. SBC. Disponível em: [link]. Acesso em: 08 ago. 2025.
Sacramento, C., Nardi, L., Ferreira, S. B. L., e Marques, J. M. D. S. (2020). Pracegover: Investigating the description of visual content in brazilian online social media. In IHC 2020 - Proceedings of the 19th Brazilian Symposium on Human Factors in Computing Systems. Association for Computing Machinery, Inc. Disponível em: [link]. Acesso em: 08 ago. 2025.
Salisbury, E., Kamar, E., e Morris, M. R. (2017). Toward scalable social alt text: Conversational crowdsourcing as a tool for refining vision-to-language technology for the blind. In Proceedings of the AAAI Conference on Human Computation and Crowdsourcing, volume 5, pages 147–156. AAAI Press. Disponível em: [link]. Acesso em: 08 ago. 2025.
Singh, N., Wang, L. L., e Bragg, J. (2024). Figura11y: Ai assistance for writing scientific alt text. In IUI ’24: Proceedings of the 29th International Conference on Intelligent User Interfaces, pages 886–906. Association for Computing Machinery. Disponível em: [link]. Acesso em: 08 ago. 2025.
WebAIM (2025). Webaim: The webaim million - the 2025 report on the accessibility of the top 1,000,000 home pages. Disponível em: [link]. Acesso em: 08 ago. 2025.
Wu, S. e Adamic, L. (2014). Visually impaired users on an online social network. In Conference on Human Factors in Computing Systems - Proceedings, pages 3133–3142. Association for Computing Machinery. Disponível em: [link]. Acesso em: 08 ago. 2025.
Wu, S., Wieland, J., Farivar, O., e Schiller, J. (2017). Automatic alt-text: Computer-generated image descriptions for blind users on a social network service. Proceedings of the ACM Conference on Computer Supported Cooperative Work, CSCW, pages 1180–1192. Disponível em: DOI: 10.1145/2998181.2998364. Acesso em: 08 ago. 2025.
Published
2025-09-08
How to Cite
SACRAMENTO, Carolina; LEAL FERREIRA, Simone Bacellar; BRAZ, Priscilla Fonseca de Abreu; DOS REMEDIOS, Sara Elene Lobato; MARQUES, João Marcelodos Santos.
Guidelines for AI-Adapted Photograph Descriptions in the Context of Social Media. In: BRAZILIAN SYMPOSIUM ON HUMAN FACTORS IN COMPUTATIONAL SYSTEMS (IHC), 24. , 2025, Belo Horizonte/MG.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2025
.
p. 1000-1024.
DOI: https://doi.org/10.5753/ihc.2025.10802.
