Framework para avaliação de fairness em modelos de classificação aplicados à saúde

• Letícia Lopes Mendes da Silva UNICAMP
• Diedre Santos do Carmo UNICAMP
• Letícia Rittner UNICAMP

Resumo

Modelos de inteligência artificial (IA) têm sido amplamente utilizados em aplicações médicas, com destaque para tarefas de classificação de imagens. No entanto, há uma crescente preocupação sobre o viés algorítmico, especialmente em cenários em que atributos sensíveis como sexo ou idade impactam a performance do modelo. Neste trabalho, propomos um framework visual e interativo para avaliação de fairness em diferentes modelos classificadores, a partir de diferentes métricas de justiça algorítmica. Como estudo de caso, foi escolhida a tarefa de detecção automática de achados clínicos em radiografias de tórax, utilizando três conjuntos de dados públicos e variantes da arquitetura EfficientNet. Os resultados mostram que, mesmo em modelos com alto desempenho segundo as métricas tradicionais de classificação, as métricas de fairness revelam disparidades entre diferentes grupos de pacientes, reforçando a importância de abordagens específicas para avaliação de equidade. O framework proposto se mostra útil para auxiliar na análise crítica de modelos em contextos médicos.

Referências

P. Rajpurkar, E. Chen, O. Banerjee, and E. J. Topol, “AI in health and medicine,” Nat. Med., vol. 28, no. 1, pp. 31–38, 2022.

F. Dehghani, N. Malik, J. Lin, S. Bayat, and M. Bento, “Fairness in healthcare: Assessing data bias and algorithmic fairness,” in Proc. 20th Int. Symp. Med. Inf. Process. Anal. (SIPAIM), 2024, pp. 1–6.

L. Seyyed-Kalantari, G. Liu, M. McDermott, I. Y. Chen, and M. Ghassemi, “CheXclusion: Fairness gaps in deep chest x-ray classifiers,” in Proc. Biocomputing 2021: Pac. Symp., 2020, pp. 232–243.

A. J. Larrazabal, N. Nieto, V. Peterson, D. H. Milone, and E. Ferrante, “Gender imbalance in medical imaging datasets produces biased classifiers for computer-aided diagnosis,” P. Natl. Acad. Sci. U.S.A., vol. 117, no. 23, pp. 12 592–12 594, 2020.

R. K. E. Bellamy, K. Dey, M. Hind, S. C. Hoffman, S. Houde, K. Kannan et al., “AI Fairness 360: An extensible toolkit for detecting, understanding, and mitigating unwanted algorithmic bias,” 2018, arXiv:1810.01943.

P. Saleiro, B. Kuester, A. Stevens, A. Anisfeld, L. Hinkson, J. London et al., “Aequitas: A bias and fairness audit toolkit,” 2018, arXiv:1811.05577.

H. Weerts, M. Dud´ık, R. Edgar, A. Jalali, R. Lutz, and M. Madaio, “Fairlearn: Assessing and improving fairness of AI systems,” J. Mach. Learn. Res., vol. 24, no. 257, pp. 1–8, 2023.

J. Irvin, P. Rajpurkar, M. Ko, Y. Yu, S. Ciurea-Ilcus, C. Chute et al., “CheXpert: A large chest radiograph dataset with uncertainty labels and expert comparison,” 2019, arXiv:1901.07031.

A. E. W. Johnson, T. J. Pollard, S. J. Berkowitz, N. R. Greenbaum, M. P. Lungren, C. ying Deng et al., “MIMIC-CXR, a de-identified publicly available database of chest radiographs with free-text reports,” Sci. Data, vol. 6, no. 1, p. 317, 2019.

E. P. Reis, J. P. Q. de Paiva, M. C. B. da Silva, G. A. S. Ribeiro, V. F. Paiva, L. Bulgarelli et al., “BRAX, Brazilian labeled chest x-ray dataset,” Sci. Data, vol. 9, no. 1, p. 487, 2022.

F. Zulfiqar, U. I. Bajwa, and Y. Mehmood, “Multi-class classification of brain tumor types from MR images using EfficientNets,” Biomed. Signal Process. Control, vol. 84, p. 104777, 2023.

M. Tan and Q. Le, “EfficientNet: Rethinking model scaling for convolutional neural networks,” in Proc. 36th Int. Conf. Mach. Learn. (ICML), vol. 97, Jun 2019, pp. 6105–6114.

M. Tan and Q. Le, “EfficientNetV2: Smaller models and faster training,” in Proc. 38th Int. Conf. Mach. Learn. (ICML), vol. 139, Jul 2021, pp. 10 096–10 106.

Y. Yang, Y. Liu, X. Liu, A. Gulhane, D. Mastrodicasa, W. Wu et al., “Demographic bias of expert-level vision-language foundation models in medical imaging,” Sci. Adv., vol. 11, no. 13, p. eadq0305, 2025.