Particionamento de Redes Neurais Profundas com Saídas Antecipadas

  • Roberto G. Pacheco UFRJ
  • Rodrigo de Souza Couto UFRJ

Resumo


Este trabalho aborda o problema de particionamento de Redes Neurais Profundas (Deep Neural Networks DNNs) com saídas antecipadas, para classificação de imagens. Essa solução objetiva reduzir o tempo de inferência, considerando que a borda executa parte da DNN e a nuvem executa a outra parte. O problema consiste em escolher qual camada divide a DNN em duas partes. A dissertação modela o particionamento como um problema de caminho mais curto em um grafo, sendo resolvido em tempo polinomial. O modelo é usado como base para propor o sistema POPEX (Partitioning OPtimization for deep neural networks with Early eXits). Além disso, analisa-se o impacto da distorção da imagem e da calibração da DNN no particionamento. Este trabalho mostra que essa solução proposta reduz o tempo de inferência e aprimora as decisões de offloading à nuvem.

Referências

Bolukbasi, T., Wang, J., Dekel, O. e Saligrama, V. (2017). Adaptive neural networks for efficient inference. Em Proceedings of the 34th International Conference on Machine Learning-Volume 70, p. 527–536. JMLR. org.

Guo, C., Pleiss, G., Sun, Y. e Weinberger, K. Q. (2017). On calibration of modern neural networks. Em International Conference on Machine Learning, p. 1321–1330. PMLR.

Hu, C., Bao, W., Wang, D. e Liu, F. (2019). Dynamic adaptive DNN surgery for inference acceleration on the edge. Em IEEE Conference on Computer Communications (INFOCOM), p. 1423–1431.

Kang, Y., Hauswald, J., Gao, C., Rovinski, A., Mudge, T., Mars, J. e Tang, L. (2017). Neurosurgeon: Collaborative intelligence between the cloud and mobile edge. Em ACM Computer Architecture News (SIGARCH), volume 45, p. 615–629.

Li, E., Zeng, L., Zhou, Z. e Chen, X. (2019). Edge ai: On-demand accelerating deep neural network inference via edge computing. IEEE Transactions on Wireless Communications, 19(1):447–457.

Teerapittayanon, S., McDanel, B. e Kung, H.-T. (2016). Branchynet: Fast inference via early exiting from deep neural networks. Em IEEE International Conference on Pattern Recognition (ICPR), p. 2464–2469.

Teerapittayanon, S., McDanel, B. e Kung, H.-T. (2017). Distributed deep neural networks over the cloud, the edge and end devices. Em IEEE International Conference on Distributed Computing Systems (ICDCS), p. 328–339.
Publicado
16/08/2021
PACHECO, Roberto G.; COUTO, Rodrigo de Souza. Particionamento de Redes Neurais Profundas com Saídas Antecipadas. In: CONCURSO DE TESES E DISSERTAÇÕES - SIMPÓSIO BRASILEIRO DE REDES DE COMPUTADORES E SISTEMAS DISTRIBUÍDOS (SBRC), 39. , 2021, Uberlândia. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2021 . p. 169-176. ISSN 2177-9384. DOI: https://doi.org/10.5753/sbrc_estendido.2021.17168.