Painel de Proveniência: análise durante o treinamento de Redes Neurais Profundas

• Filipe Silva Universidade Federal do Rio de Janeiro (UFRJ)
• Débora Pina Universidade Federal do Rio de Janeiro (UFRJ)
• Liliane Kunstmann Universidade Federal do Rio de Janeiro (UFRJ)
• Marta Mattoso Universidade Federal do Rio de Janeiro (UFRJ)

DOI: https://doi.org/10.5753/sbbd_estendido.2021.18158

Resumo

O treinamento de redes neurais profundas requer o ajuste de hiperparâmetros. Este processo é custoso e ainda que existam ferramentas para escolha automática da melhor configuração de hiperparâmetros, o usuário é responsável pela decisão final. Para isso, é necessário analisar o impacto de diferentes hiperparâmetros sobre métricas como acurácia e perda. A proveniência é uma forma de representar as relações de derivação de dados, que fornecem um suporte importante nesta análise de dados. Observando as dificuldades para análises de proveniência e aprendizado profundo, propusemos anteriormente uma ferramenta que coleta proveniência diretamente do Keras e permite análises em tempo de execução, chamada Keras-Prov. Para aperfeiçoar suas capacidades analíticas, apresentamos neste artigo uma integração dessa ferramenta com o Elasticsearch e o Kibana, criando um Painel de Proveniência para análise durante o treinamento. Apresentamos uma avaliação experimental dessa integração usando a CNN AlexNet.

Palavras-chave: Proveniência, Redes Neurais Profundas, Consultas

Referências

Gil, Y., Honaker, J., Gupta, S., Ma, Y., D’Orazio, V., Garijo, D., Gadewar, S., Yang, Q., and Jahanshad, N. (2019). Towards human-guided machine learning. In Proceedings of the 24th International Conference on Intelligent User Interfaces, pages 614–624.

Gunning, D. and Aha, D. (2019). Darpa’s explainable artificial intelligence (xai) program. AI Magazine, 40(2):44–58.

Huynh, T. D., Ebden, M., Fischer, J., Roberts, S., and Moreau, L. (2018). Provenance network analytics. Data Mining and Knowledge Discovery, 32(3):708–735.

Krizhevsky, A., Sutskever, I., and Hinton, G. E. (2017). Imagenet classification with deep convolutional neural networks. Commun. ACM, 60(6):84–90.

Kronthaler, F. and Zollner, S. (2021). Data Analysis with RStudio. Springer.

Moreau, L. and Groth, P. (2013). Provenance: an introduction to prov. Synthesis Lectures on the Semantic Web: Theory and Technology, 3(4):1–129.

Namaki, M. H., Floratou, A., Psallidas, F., Krishnan, S., Agrawal, A., Wu, Y., Zhu, Y., and Weimer, M. (2020). Vamsa: Automated provenance tracking in data science scripts. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, pages 1542–1551.

Nilsback, M. . and Zisserman, A. (2006). A visual vocabulary for flower classification. In 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’06), volume 2, pages 1447–1454.

Pasquier, T., Lau, M. K., Trisovic, A., Boose, E. R., Couturier, B., Crosas, M., Ellison, A. M., Gibson, V., Jones, C. R., and Seltzer, M. (2017). If these data could talk. Scientific Data, 4(1):170114.

Pina, D. (2020). Captura de dados de proveniência para apoiar a análise de hiperparâmetros em redes de aprendizado profundo. Dissertação de mestrado PESC/COPPE/UFRJ.

Pina, D., Kunstmann, L., Oliveira, D., Valduriez, P., and Mattoso, M. (2020). Uma abordagem para coleta e análise de dados de configurações em redes neurais profundas. In Anais do XXXV SBBD, pages 187–192.