FedSeleKDistill: Empoderando a Escolha de Clientes com a Destilação do Conhecimento para Aprendizado Federado em Dados Não-IID - Mohamed, Aissa H.; Souza, Allan M. de; Costa, Joahannes B. D. da; Villas, Leandro A.; Reis, Julio C. Dos (Anais do Workshop de Computação Urbana (CoUrb); 2024: Anais do VIII Workshop de Computação UrbanaDO - 10.5753/courb.2024.3238, 2024)
FL é uma abordagem distribuída na qual múltiplos dispositivos colaboram para treinar um modelo global compartilhado. Durante seu treinamento, os dispositivos clientes devem comunicar seus gradientes ao servidor central para atualizar os pesos do modelo global. Isso acarreta custos significativos de comunicação (utilização de largura de banda e o número de mensagens trocadas). A natureza heterogênea dos conjuntos de dados dos clientes representa um desafio adicional. Nesse sentido, introduzimos o FedSeleKDistill, Federated Selection and Knowledge Distillation Algorithm, para reduzir os custos de comunicação globais. O FedSeleKDistill é uma combinação inovadora de: (i) seleção de clientes e (ii) abordagens de destilação de conhecimento com três objetivos principais: (i) reduzir o número de dispositivos treinando em cada rodada; (ii) diminuir o número de rodadas para atingir a convergência; e (iii) mitigar o efeito dos dados heterogêneos do cliente na eficácia do modelo global. Nossas avaliações experimentais em conjunto de dados MNIST demonstram que o FedSeleKDistill é altamente eficiente no treinamento do modelo global até a convergência. O FedSeleKDistill alcança uma pontuação de precisão mais alta e uma convergência mais rápida do que os modelos baseados em estado da arte. Nossos resultados também mostram um desempenho superior ao analisar as pontuações de precisão nos conjuntos de dados locais do cliente.