Particionamento de Redes Neurais Profundas com Saídas Antecipadas

Roberto G. Pacheco; Rodrigo de Souza Couto

doi:10.5753/sbrc_estendido.2021.17168

Roberto G. Pacheco UFRJ
Rodrigo de Souza Couto UFRJ

DOI: https://doi.org/10.5753/sbrc_estendido.2021.17168

Resumo

Este trabalho aborda o problema de particionamento de Redes Neurais Profundas (Deep Neural Networks DNNs) com saídas antecipadas, para classificação de imagens. Essa solução objetiva reduzir o tempo de inferência, considerando que a borda executa parte da DNN e a nuvem executa a outra parte. O problema consiste em escolher qual camada divide a DNN em duas partes. A dissertação modela o particionamento como um problema de caminho mais curto em um grafo, sendo resolvido em tempo polinomial. O modelo é usado como base para propor o sistema POPEX (Partitioning OPtimization for deep neural networks with Early eXits). Além disso, analisa-se o impacto da distorção da imagem e da calibração da DNN no particionamento. Este trabalho mostra que essa solução proposta reduz o tempo de inferência e aprimora as decisões de oﬄoading à nuvem.

Referências

Bolukbasi, T., Wang, J., Dekel, O. e Saligrama, V. (2017). Adaptive neural networks for efficient inference. Em Proceedings of the 34th International Conference on Machine Learning-Volume 70, p. 527–536. JMLR. org.

Guo, C., Pleiss, G., Sun, Y. e Weinberger, K. Q. (2017). On calibration of modern neural networks. Em International Conference on Machine Learning, p. 1321–1330. PMLR.

Hu, C., Bao, W., Wang, D. e Liu, F. (2019). Dynamic adaptive DNN surgery for inference acceleration on the edge. Em IEEE Conference on Computer Communications (INFOCOM), p. 1423–1431.

Kang, Y., Hauswald, J., Gao, C., Rovinski, A., Mudge, T., Mars, J. e Tang, L. (2017). Neurosurgeon: Collaborative intelligence between the cloud and mobile edge. Em ACM Computer Architecture News (SIGARCH), volume 45, p. 615–629.

Li, E., Zeng, L., Zhou, Z. e Chen, X. (2019). Edge ai: On-demand accelerating deep neural network inference via edge computing. IEEE Transactions on Wireless Communications, 19(1):447–457.

Teerapittayanon, S., McDanel, B. e Kung, H.-T. (2016). Branchynet: Fast inference via early exiting from deep neural networks. Em IEEE International Conference on Pattern Recognition (ICPR), p. 2464–2469.

Teerapittayanon, S., McDanel, B. e Kung, H.-T. (2017). Distributed deep neural networks over the cloud, the edge and end devices. Em IEEE International Conference on Distributed Computing Systems (ICDCS), p. 328–339.