Utilização de Bots para Obtenção Automática de Dados Públicos usando as Técnicas de Web Crawling e Web Scraping
Resumo
A Escola Virtual.Gov (EV.G), recebe recursos de instituições parceiras para disponibilizar a oferta de cursos que são demandados por elas. A fins de promover uma transparência ativa e em conformidade com a Lei de Acesso à Informação, a prestação de contas da aplicação desses recursos precisa estar disponível ao cidadão comum. A partir disto, a EV.G gerencia a aplicação dos recursos através de um sistema próprio. Desse modo, a alimentação do sistema é feita de forma manual. Nessa situação, dada a necessidade da EV.G, este trabalho simplifica o processo de atualização do Portal em Números, automatizando as atividades de alimentação manual hoje realizadas pela EV.G e publicando as informações obtidas na fonte de dados do portal.
Palavras-chave:
Escola Virtual.Gov, Lei de Acesso à Informação, Web Crawling, Web Scraping
Referências
Arruda, D. G. and Araujo, I. P. (2017). "Contabilidade publica" . Editora Saraiva, São Paulo, SP. D3
D’Haen, J., Van den Poel, D., Thorleuchter, D., et al. (2016). Integrating expert knowledge and multilingual web crawling data in a lead qualification system. Decision Support Systems, 82:69–78. D3
Khalil, S. and Fakir, M. (2017). RCrawler: An R package for parallel web crawling and scraping. SoftwareX, 6:98–106. D3
Omari, A., Shoham, S., and Yahav, E. (2016). Cross-supervised synthesis of webcrawlers. In Proceedings of the 38th International Conference on Software Engineering, pages 368–379, New York, NY, USA. ACM. D3
Santos, M. G. (2018). Portal da transparência da cidade de Bananeiras: uma análise segundo parâmetros da lei de acesso à informação e requisitos de usabilidade. Master’s thesis, Universidade Estadual da Paraíba (UEPB), João Pessoa, PB. D3
Zhao, B. (2017). Web scraping. In Schintler, L. and McNeely, C., editors, Encyclopedia of Big Data. Springer, Cham. D3
D’Haen, J., Van den Poel, D., Thorleuchter, D., et al. (2016). Integrating expert knowledge and multilingual web crawling data in a lead qualification system. Decision Support Systems, 82:69–78. D3
Khalil, S. and Fakir, M. (2017). RCrawler: An R package for parallel web crawling and scraping. SoftwareX, 6:98–106. D3
Omari, A., Shoham, S., and Yahav, E. (2016). Cross-supervised synthesis of webcrawlers. In Proceedings of the 38th International Conference on Software Engineering, pages 368–379, New York, NY, USA. ACM. D3
Santos, M. G. (2018). Portal da transparência da cidade de Bananeiras: uma análise segundo parâmetros da lei de acesso à informação e requisitos de usabilidade. Master’s thesis, Universidade Estadual da Paraíba (UEPB), João Pessoa, PB. D3
Zhao, B. (2017). Web scraping. In Schintler, L. and McNeely, C., editors, Encyclopedia of Big Data. Springer, Cham. D3
Publicado
30/06/2020
Como Citar
GALDINO, Igor Martins; GALLINDO, Erica de Lima; MOREIRA, Mário W. L..
Utilização de Bots para Obtenção Automática de Dados Públicos usando as Técnicas de Web Crawling e Web Scraping. In: WORKSHOP DE COMPUTAÇÃO APLICADA EM GOVERNO ELETRÔNICO (WCGE), 8. , 2020, Cuiabá.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2020
.
p. 172-179.
ISSN 2763-8723.
DOI: https://doi.org/10.5753/wcge.2020.11269.
