Otimizando Saídas Antecipadas em Redes Neurais Profundas: Como Lidar com Buffers? - Pacheco, Roberto G.; Bajpai, Divya J.; Shifrin, Mark; Couto, Rodrigo S.; Menasché, Daniel Sadoc; Hanawal, Manjesh K.; Campista, Miguel Elias M. (Anais do Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos (SBRC); 2025: Anais do XLIII Simpósio Brasileiro de Redes de Computadores e Sistemas DistribuídosDO - 10.5753/sbrc.2025.6319, 2025)
Redes Neurais Profundas com Saídas Antecipadas (EE-DNNs) inserem ramos laterais que permitem a inferência local quando a confiança ultrapassa um limiar pré-definido, reduzindo a dependência da nuvem. No entanto, um limiar fixo não se adapta às variações contextuais do mundo real. Este trabalho investiga a adaptação dinâmica dos limiares utilizando algoritmos de multi-armed bandits (MABs). Além disso, um buffer de entradas finito é introduzido para equilibrar o compromisso entre acurácia e latência, considerando a confiança e o tamanho da fila. Os resultados experimentais demonstram que os limiares ajustados por MABs convergem rapidamente em diversos contextos, enquanto o buffer garante um equilíbrio eficiente entre acurácia e latência.