Machine Learning Applied to the INSS Benefit Request - Extended Analysis

Authors

  • Ney Barchilon Pontifícia Universidade Católica (PUC-Rio)
  • Tatiana Escovedo Pontifícia Universidade Católica (PUC-Rio)
  • Marcos Kalinowski Pontifícia Universidade Católica (PUC-Rio)

DOI:

https://doi.org/10.5753/isys.2022.2224

Keywords:

Algorithms, Machine Learning, Models, Prediction, Welfare

Abstract

The materialization of social protection, foreseen in the Brazilian Constitution’s Social Security chapter, specifically in the scope of Welfare, occurs through the granting and maintenance of benefits to all Brazilians who need this protection This right generates a huge demand of millions of requests for annual benefits to the INSS (National Institute of Social Security), which is the operator of these services. Receiving and analyzing benefit requests, in a timely manner and with assertiveness, is complex and challenging. The volume of millions of applications for benefits annually, the diversity of benefits available, different criteria for granting and the urgency that the nature of these applications requires for the maintenance of life for applicants, express this complex and challenging environment. Within this context, the present study aims to develop some models, using machine learning techniques, and select the best one, which can predict whether a certain benefit request will be granted or rejected. This prediction would help in the analysis of new benefit requests, making room for the dynamics of the analysis process to be directed more quickly and assertively. The data source for the construction of the models in this work was obtained from the INSS Open Data Portal, which are included in the INSS Open Data Plan. This dataset is composed of monthly files of Decided Benefits (Granted and Dismissed) from December 2018 to June 2020. As a scope of analysis, algorithms such as KNN, SVC, Decision Trees, Logistic Regression, etc. were addressed. Models were also built using the Ensemble Bagging and Boosting techniques, reaching a set of seventeen analyzed algorithms. The algorithm that obtained the best performance, using the F1 metric as the determinant, was the eXtreme Gradient Boosting (XGB) Classifier with 80%. With this, the model performs the prediction with approximately 84% Accuracy, 76% Sensitivity and 81% for AUC (Area Under the Curve). As a result of the study, a model capable of predicting whether a given benefit requirement would be granted or denied was obtained, based on the requirement data, with a performance within the expectations established in the objectives. Therefore, this article analyzed seventeen machine learning algorithms with the aim of building a model to predict whether a given benefit request to the INSS will be granted or rejected. As a contribution of this article to the IS, we highlight the initiative to apply a machine learning model in a domain not yet explored by other research, using, as a data source, open data made available by the federal government in the cloud. It is hoped that the result of this study will open space for new scientific research in the field of machine learning to be developed in this domain, with the aim of helping with real problems in this sensitive part of the lives of Brazilians and of public administration.

Downloads

Download data is not yet available.

References

Bhatt, U., Xiang, A., Sharma, S., Weller, A., Taly, A., Jia, Y., Ghosh, J., Puri, R., Moura, J.M., Eckersley, P. (2020) “Explainable machine learning in deployment”. In: Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, pp 648–657, Disponível em: [link], Acessado em: 08/08/2021.

Barchilon, N. e Escovedo, T. (2021) “Machine Learning Applied to the INSS Benefit Request”. In: XVII Brazilian Symposium on Information Systems (SBSI).

Casalicchio G., Molnar C., Bischl, B. (2019) “Visualizing the Feature Importance for Black Box Models”. Lect Notes Comput Sci 11051:655–670, Disponível em: [link]. Acessado em: 08/08/2021.

Cunha, J.P.Z. (2019). “Um estudo comparativo das técnicas de validação cruzada aplicadas a modelos mistos”. Dissertação de Mestrado. Instituto de Matemática e Estatística, USP. São Paulo, 2019. Disponível em [link]. Acessado em: 10/09/2020.

CNJ (2020), “A judicialização de benefícios previdenciários e assistenciais / Instituto de Ensino e Pesquisa (INSPER)”, Relatório Final de Pesquisa, Conselho Nacional de Justiça - CNJ, Disponível em [link]. Acessado em 08/05/2020.

Developers (2020) “XGBoost Documentation”, Disponível em: [link]. Acessado em: 08/08/2021.

DOU (2015), “INSTRUÇÃO NORMATIVA Nº 77, DE 21 DE JANEIRO DE 2015”, Diário Oficial da União, 21/01/2015, Disponível em [link]. Acessado em 08/05/2020.

EBC (2020), “INSS realiza força-tarefa para agilizar concessão de benefícios”, EBC – Empresa Brasileira de Notícias - Agência Brasil, 11/01/2020, 2020, Disponível em [link]. Acessado em 08/05/2020.

Escovedo, T. e Koshiyama, A. (2020), “Introdução a Data Science – Algoritmos de Machine Learning e métodos de análise”, Casa do Código.

Estadão, Jornal 2020, “Tribunal manda INSS cumprir prazo na análise de pedidos de benefícios”, Estadão, 12/02/2020, Disponível em: [link]. Acessado em: 08/05/2020.

Geron, A. (2019), “Mãos à Obra: Aprendizado de Máquina com Scikit-Learn &TensorFlow”, Editora Alta Books; Edição: 1.

Grus, J. (2016), “Data Science do Zero”, Editora Alta Books.

INSS (2018), “89,7 mil benefícios foram concedidos de forma automática pelo INSS”, Ministério da Economia - INSS, Disponível em [link]. Acessado em 08/05/2020.

INSS Dados (2020), “Conjunto de Dados Abertos”, Ministério da Economia - INSS, Disponível em [link]. Acessado em 20/05/2020.

INSS Atendimento (2020), “INSS suspende atendimento presencial nas suas agências em todo o país”, Ministério da Economia - INSS, Disponível em [link]. Acessado em 08/05/2020.

INSS (2017), “Institucional”, Ministério da Economia - INSS, Disponível em: [link]. Acessado em: 10/05/2020.

INSS 2019, “Resultado do Regime Geral de Previdência Social – RGPS”, Ministério da Economia - INSS - Secretaria de Previdência - Subsecretaria do Regime Geral de Previdência Social, Disponível em: [link]. Acessado em: 08/05/2020.

INSS Notificação (2020), “INSS inicia notificação de beneficiários após revisão administrativa”, Ministério da Economia - INSS, 2020, Disponível em [link]. Acessado em 05/09/2020.

INSS Plano (2020), “Plano de Dados Abertos - Julho/2016-Julho/2018”, Ministério da Economia -INSS, Disponível em [link]. Acessado em 08/05/2020.

INSS Resolução (2019), “Resolução publicada pelo INSS vai acelerar concessão de benefícios”, 12/08/2019, Disponível em [link]. Acessado em 08/05/2020.

INSS Fraudes (2019), “Medida provisória combate fraudes e melhora a qualidade dos gastos na Previdência”, Ministério da Economia - INSS, Disponível em [link]. Acessado em: 10/05/2020.

INSS Boletim (2020), “Boletim Estatístico da Previdência Social - Volume 25 Nr 4”, Ministério da Economia - Secretaria de Políticas de Previdência Social, Abril 2020, Disponível em [link]. Acessado em: 10/05/2020.

INSS Treinamento (2019), “Instituto Nacional do Seguro Social, Treinamento em Serviço em Reconhecimento Inicial de Direito e Cadastro para Concessores”, Ministério da Economia - INSS, Disponível em [link]. Acessado em 20/05/2020.

IPEA 2009, “Acompanhamento e análise - Vinte Anos da Constituição Federal - Volume 1”, IPEA - Diretoria de Estudos e Políticas Sociais, Políticas Sociais, Disponível em: [link]. Acessado em: 10/05/2020.

Lundberg, S. e Lee, S.I. (2017). “A Unified Approach to Interpreting Model Predictions”, Disponível em: [link]. Acessado em: 08/08/2021.

Mitchel, T. (1997), “Machine Learning”. New York; McGraw-Hill Science/Engineering/Math; (March 1, 1997).

Molnar, C. (2019) "Interpretable machine learning. A Guide for Making Black Box Models Explainable", Disponível em: [link]. Acessado em: 08/05/2020.

MP-DF 2019, “Ação Civil Pública“, Ministério Público Federal, Procuradoria da República no DF, 31/07/2019, Disponível em: [link]. Acessado em: 02/05/2020.

Pacheco Junior, João Carlos. Modelos para detecção de fraudes utilizando técnicas de aprendizado de máquina / João Carlos Pacheco Junior. - 2019. Disponível em: [link]. Acessado em: 02/05/2020.

Rangel, L. A. e Caetano, M.A.R. (2015), “Previdência Social, Políticas Sociais: Acompanhamento e Análise”, Artigos - Nr 2, IPEA, Disponível em: [link]. Acessado em: 10/05/2020.

Senado Federal (2008), “Direitos da Seguridade Social”, Coleção Direitos Sociais - Volume II, Lei Orgânica da Seguridade Social - Lei nº8212 de 24/07/1991 / PL - Poder Legislativo Federal (D.O.U. 25/07/1991), Disponível em: [link]. Acessado em: 10/05/2020.

Tesouro (2019), “Boletim Resultado do Tesouro Nacional (RTN)”, Ministério da Economia – Secretaria Especial de Fazenda - Secretaria do Tesouro Nacional, Disponível em: [link]. Acessado em: 08/05/2020.

Published

2022-10-18

How to Cite

Barchilon, N., Escovedo, T., & Kalinowski, M. (2022). Machine Learning Applied to the INSS Benefit Request - Extended Analysis. ISys - Brazilian Journal of Information Systems, 15(1), 5:1–5:28. https://doi.org/10.5753/isys.2022.2224

Issue

Section

Extended versions of selected articles