Enabling safe AI deployment: an automated Fitzpatrick skin type guardrail for out-of-distribution dermatology

• Pedro H. G. Bouzon UFES
• Eduarda P. Magesk UFES
• Luis A. de Souza Jr. UFES
• André G. C. Pacheco UFES

DOI: https://doi.org/10.5753/sbcas.2026.21435

Resumo

Modelos dermatológicos de IA falham frequentemente em tons de pele mais escuros, representando significativos riscos regulatórios e de segurança. Para evitar inferências inseguras fora da distribuição de treinamento (out-of-distribution), propomos um classificador interpretável da Escala de Fitzpatrick (FST) que atua como um mecanismo de proteção algorítmico ativo. Nossa abordagem de Correspondência de Protótipos (Prototype Matching) classifica imagens clínicas em FST I-IV ou V-VI. Para garantir a robustez, empregamos a pré-segmentação com o modelo SAM3 para isolar a pele saudável antes da extração de características. Isso evita rigorosamente o aprendizado por atalhos (shortcut learning) causado por artefatos clínicos e pela morfologia da lesão. Avaliado no conjunto de dados Diverse Dermatology Images (DDI), nosso método alcançou um Kappa de Cohen de 0,78, Acurácia Balanceada de 0,88 e F1-Score Macro de 0,89, superando substancialmente os métodos de referência estabelecidos. Ao recuperar os protótipos mais próximos para verificação visual, nosso framework fornece a interpretabilidade necessária para a implantação segura e em conformidade de IA na área médica.

Referências

Byra, M. et al. (2018). Transfer learning with deep convolutional neural network for liver steatosis assessment in ultrasound images. International Journal of Computer Assisted Radiology and Surgery, 13:1895–1903.

Chen, M., Shi, X., Zhang, Y., Wu, D., and Guizani, M. (2021). Deep feature learning for medical image analysis with convolutional autoencoder neural network. IEEE Transactions on Big Data, 7(4):750–758.

Constantinescu, E. C., Udris, toiu, A.-L., Udris, toiu, C., Iacob, A. V., Gruionu, L. G., Gruionu, G., Săndulescu, L., and Săftoiu, A. (2021). Transfer learning with pre-trained deep convolutional neural networks for the automatic assessment of liver steatosis in ultrasound images. Medical ultrasonography, 23(2):135–139.

Fetzer, D. T., Pierce, T. T., Robbin, M. L., Cloutier, G., Mufti, A., Hall, T. J., Chauhan, A., Kubale, R., and Tang, A. (2023). Us quantification of liver fat: past, present, and future. Radiographics, 43(7):e220178.

Gomide, L. C. and Machado, A. M. C. (2025). Classificação de texturas em imagens médicas através de modelos generativos e aprendizado autossupervisionado. In Anais do XXV Simpósio Brasileiro de Computação Aplicada à Saúde (SBCAS 2025), pages 967–972, Porto Alegre, RS, Brasil. SBC.

He, K., Chen, X., Xie, S., Li, Y., Dollár, P., and Girshick, R. (2022). Masked autoencoders are scalable vision learners. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 15979–15988.

Johnson, S. I., Fort, D., Shortt, K. J., Therapondos, G., Galliano, G. E., Nguyen, T., and Bluth, E. I. (2021). Ultrasound stratification of hepatic steatosis using hepatorenal index. Diagnostics, 11(8):1443.

Kingma, D. P. and Welling, M. (2014). Auto-encoding variational bayes. In International Conference on Learning Representations (ICLR).

Liang, Y. et al. (2024). Hierarchical vector-quantized variational autoencoder and vector credibility mechanism for high-quality image inpainting. Electronics, 13(10):1852.

Marshall, R. H., Eissa, M., Bluth, E. I., Gulotta, P. M., and Davis, N. K. (2012). Hepatorenal index as an accurate, simple, and effective tool in screening for steatosis. American journal of roentgenology, 199(5):997–1002.

Owjimehr, M., Danyali, H., and Helfroush, M. S. (2015). An improved method for liver diseases detection by ultrasound image analysis. Journal of Medical Signals & Sensors, 5(1):21–29.

Razavi, A., van den Oord, A., and Vinyals, O. (2019). Generating diverse high-fidelity images with vq-vae-2. In Advances in Neural Information Processing Systems, volume 32. Curran Associates, Inc.

Rezende, D. and Mohamed, S. (2015). Variational inference with normalizing flows. In Proceedings of the 32nd International Conference on Machine Learning (ICML), pages 1530–1538.

Stahlschmidt, F. L., Tafarel, J. R., Menini-Stahlschmidt, C. M., and Baena, C. P. (2021). Hepatorenal index for grading liver steatosis with concomitant fibrosis. PLoS One, 16(2):e0246837.

van den Oord, A., Vinyals, O., and Kavukcuoglu, K. (2017). Neural discrete representation learning. In Neural Information Processing Systems, pages 1–10, Long Beach.

Zsombor, Z., Rónaszéki, A. D., Csongrády, B., Stollmayer, R., Budai, B. K., Folhoffer, A., Kalina, I., Győri, G., Bérczi, V., Maurovich-Horvat, P., et al. (2023). Evaluation of artificial intelligence-calculated hepatorenal index for diagnosing mild and moderate hepatic steatosis in non-alcoholic fatty liver disease. Medicina, 59(3):469.