Explainability of Predictive Models in Healthcare: An Analysis of SHAP’s Local and Global Explanation Plots

• Matheus Henrique Pereira Borba INSPER https://orcid.org/0009-0003-2050-0352
• Fabrício Jailson Barth INSPER https://orcid.org/0000-0001-6263-121X

DOI: https://doi.org/10.5753/eniac.2026.30883

Resumo

Este artigo analisa como as explicações geradas pela ferramenta SHAP são comunicadas ao usuário final em modelos de aprendizado de máquina supervisionada aplicados à saúde. Para isso, foi desenvolvido um modelo preditivo com o algoritmo CatBoost, cujas explicações locais e globais foram avaliadas por 22 médicos segundo atributos de orientação ao usuário e ao contexto, objetividade, compreensibilidade e informatividade. Os resultados indicaram uma percepção mais positiva das explicações locais, enquanto clareza e informatividade receberam avaliações relativamente menores. Como contribuição adicional, foi desenvolvido e aplicado um questionário consistente para avaliar ferramentas de explicabilidade sob a perspectiva do usuário final.

Referências

Bharati, S., Mondal, M. R. H., and Podder, P. (2023). A review on explainable artificial intelligence for healthcare: why, how, and when? arXiv, abs/2304.04780.

Chaddad, A., Peng, J., Xu, J., and Bouridane, A. (2023). Survey of explainable ai techniques in healthcare. Sensors, 23(2):634.

da Silva, M. V. S. (2023). Explainable artificial intelligence on medical images: a survey. arXiv, abs/2305.07511.

Hassija, V. (2023). Interpreting black-box models: a review on explainable artificial intelligence. Cognitive Computation, 16(1):45–74.

Kyrimi, E. (2024). Explainable ai: definition and attributes of a good explanation for health ai. arXiv, abs/2409.15338.

Lundberg, S. and Lee, S.-I. (2017). A unified approach to interpreting model predictions. In Advances in Neural Information Processing Systems (NeurIPS).

Markus, A. F., Kors, J. A., and Rijnbeek, P. R. (2021). The role of explainability in creating trustworthy artificial intelligence for health care: a comprehensive survey of the terminology, design choices, and evaluation strategies. Journal of Biomedical Informatics, 113:103655.

Nizri, M. (2026). Covid-19 dataset. [link]. Kaggle dataset. Accessed: 2026-05-25.

Ribeiro, M. T., Singh, S., and Guestrin, C. (2016). Why should i trust you?: explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pages 1135–1144, New York, NY. Association for Computing Machinery.

Ribeiro, M. T., Singh, S., and Guestrin, C. (2018). Anchors: high-precision model-agnostic explanations. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 32.

Salih, A. M., Galazzo, I. B., Gkontra, P., Rauseo, E., Lee, A. M., Lekadir, K., Radeva, P., Petersen, S. E., and Menegaz, G. (2024). A review of evaluation approaches for explainable ai with applications in cardiology.