A Framework for Extraction, Population, and Publication of Open Data: A Case Study with the Socioeconomic Yearbook of the State of Sergipe

• Daniel Santos UFS
• Wedson Teixeira de Almeida UFS
• Methanias Colaço Júnior UFS
• André Vinicius R. P. Nascimento UFS

DOI: https://doi.org/10.5753/erbase.2022.228871

Abstract

Socio-economic atlas are compilations of open data organized into historical series with the aim of presenting indicators on topics of social interest. Collecting data from different sources is the most time-consuming step in creating an atlas. The time spent extracting information from disparate sources is the main cause for some publications to be delayed, not available in a given year, or to present outdated data. This work presents an architecture for an automatic process of extracting open data in the context of the Sergipe state atlas to help the design of data visual representations for socio-economic indicators.

References

Adamson, C. Star Schema: The Complete Reference. United States: McGraw-Hill, 2010.

Anuário estatístico de Mato Grosso, 2016. Disponível em: [link]. Acesso em: 21 set. 2022.

Anuário Socioeconômico de Sergipe. Café com Dados, 2022. Disponível em: [link]. Acesso em: 14 jun. 2021.

CEPERJ. Anuários Estatísticos do estado do Rio de Janeiro. 2013. Disponível em: [link]. Acesso em: 21 set. 2022.

CKAN － The open source data management system, 2018. Disponível em: [link]. Acesso em: 5 mar. 2022.

CONDEPE FIDEM. Anuários Estatísticos, 2016. Disponível em: [link]. Acesso em: 21 set. 2022.

Dados abertos. Manual dos dados abertos: governo (2011) Disponível em: [link]. Acesso em: 17 mar. 2022.

Hevner, A.; Chatterjee S. Design Research in Information Systems: Theory and Practice. London: Springer, 2010.

Inmon, W. H.; Building the Data Warehouse. 4ª edição. Indianapolis, Indiana: Wiley Publishing, Inc., 2005.

Kimball, R. Ross, M.; The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling. 3ª edição. Indianapolis, Indiana: John Wiley & Sons, Inc., 2013.

Kimball, R. Ross, M. Thornthwaite, W.; The Data Warehouse Lifecycle Toolkit. 2ª edição. Indianapolis, Indiana: Wiley Publishing Inc., 2008.

Kimball, R.; The Data Warehouse ETL Toolkit. 1ª edição. Indianapolis, Indiana: Wiley Publishing, Inc., 2004.

Lima, M. R. F.; Souza, J.. Desenvolvimento de um Data Mart e Automatização do Processo ETL no contexto da Produção Acadêmica do CEULP/ULBRA. In: ENCOINFO - Congresso de Computação e Tecnologias da Informação, 21., 2019, Palmas - TO.

Macedo, D. F.; Lemos, D. L. S. Dados abertos governamentais: iniciativas e desafios na abertura de dados no Brasil e outras esferas internacionais. AtoZ: novas práticas em informação e conhecimento, 10(2),14 – 26. 2021.

Oliva, S. Z. Ambiente de Data Warehousing para integração de dados de saúde pública em âmbito de gestão regional. [s.l.] Universidade de São Paulo, Agência USP de Gestão da Informação Acadêmica (AGUIA), 2017.

Quingerski, L.; Marques, D.; Freire, P. DE S. ETL process using open data from e-gov for discovery and knowledge representation. Proceedings of the 13th CONTECSI International Conference on Information Systems and Technology Management. Anais...TECSI, 2016.

Reis Júnior, Cleyton Peixoto dos; Holanda, M. T. d. UnBGOLDProv: Arquitetura De Proveniência De Dados Para Um Workflow De Publicação De Dados Abertos Governamentais. 2020.

Ribeiro, F. C. et al. VisPublica: Uma proposta para aprimorar a transparência de dados públicos. Anais do VIII Simpósio Brasileiro de Sistemas de Informação (SBSI 2012). Anais...Sociedade Brasileira de Computação, 2012.

SEPLAG. Anuário Estatístico do Estado de Alagoas － Alagoas em Dados e Informações, 2015. Disponível em: [link]. Acesso em: 21 set. 2022.

The Open Definition － Open Definition - Defining Open in Open Data, Open Content and Open Knowledge, 2015. Disponível em: [link]. Acesso em: 20 fev. 2022.

Transparência Traduzida, 2021. Disponível em: [link]. Acesso em: 17 out. 2022.