Seleção de Modelo de Aprendizado Federado Baseado em Busca e Poda para Detecção de Defeitos Industriais
Resumo
O aprendizado federado surge como uma alternativa ao aprendizado de máquina tradicional ao descentralizar o treinamento dos modelos. Os dispositivos clientes se comunicam com um servidor central e treinam o modelo definido de maneira iterativa. A definição antecipada do modelo a ser treinado, porém, é um desafio pouco discutido. Este trabalho propõe a seleção da melhor rede neural a partir de um procedimento de busca envolvendo múltiplas redes, e posterior poda daquelas que se mostrarem menos promissoras durante o treinamento. Para isso, em uma dada rodada de avaliação, os nós enviam os resultados de desempenho a um nó comparador que utiliza a métrica AUC-ROC (Area Under The Receiver Operating Characteristics Curve) para seleção do melhor modelo. Os experimentos utilizam uma aplicação de detecção de mal funcionamento de equipamentos industriais através dos sons emitidos. Os resultados demonstram que os modelos encontrados ao executar a poda na rodada 5 e 10 do treinamento atingem valores finais de AUC-ROC de aproximadamente 0,95 e 0,91 no melhor cenário, respectivamente. Esses valores representam um aumento de até 6,25% em relação ao aprendizado federado sem poda e 18,75% em relação ao aprendizado centralizado tradicional.
Referências
Beutel, D. J., Topal, T., Mathur, A., Qiu, X., Parcollet, T., de Gusmão, P. P., e Lane, N. D. (2020). Flower: A friendly federated learning research framework. arXiv preprint arXiv:2007.14390.
Bochie, K., Gilbert, M. S., Gantert, L., Barbosa, M. S., Medeiros, D. S., e Campista, M. E. M. (2021). A survey on deep learning for challenged networks: Applications and trends. Journal of Network and Computer Applications, 194:103213.
Chawla, N. V., Bowyer, K. W., Hall, L. O., e Kegelmeyer, W. P. (2002). Smote: synthetic minority over-sampling technique. Journal of artificial intelligence research, 16:321–357.
de Souza, L. A. C., Camilo, G. F., Sammarco, M., Campista, M. E. M., e Costa, L. H. M. (2022). Aprendizado federado com agrupamento hierárquico de clientes para aumento da acurácia. In Anais do XL Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos, pages 545–558. SBC.
Fu, L., Zhang, H., Gao, G., Zhang, M., e Liu, X. (2023). Client selection in federated learning: Principles, challenges, and opportunities. IEEE Internet of Things Journal.
Gantert, L., Sammarco, M., Detyniecki, M., e Campista, M. E. M. (2021). A supervised approach for corrective maintenance using spectral features from industrial sounds. In 2021 IEEE 7th World Forum on Internet of Things (WF-IoT), pages 723–728. IEEE.
Gantert, L., Sammarco, M., Detyniecki, M., e Campista, M. E. M. (2022). Super learner ensemble for sound classification using spectral features. In 2022 IEEE Latin-American Conference on Communications (LATINCOM), pages 1–6. IEEE.
Jiang, Y., Wang, S., Valls, V., Ko, B. J., Lee, W.-H., Leung, K. K., e Tassiulas, L. (2022). Model pruning enables efficient federated learning on edge devices. IEEE Transactions on Neural Networks and Learning Systems.
Li, L., Fan, Y., Tse, M., e Lin, K.-Y. (2020). A review of applications in federated learning. Computers & Industrial Engineering, 149:106854.
Lin, R., Xiao, Y., Yang, T.-J., Zhao, D., Xiong, L., Motta, G., e Beaufays, F. (2022). Federated pruning: improving neural network efficiency with federated learning. arXiv preprint arXiv:2209.06359.
McFee, B., Raffel, C., Liang, D., Ellis, D. P., McVicar, M., Battenberg, E., e Nieto, O. (2015). librosa: Audio and music signal analysis in python. In Proceedings of the 14th python in science conference, volume 8, pages 18–25.
McMahan, B., Moore, E., Ramage, D., Hampson, S., e y Arcas, B. A. (2017). Communication-efficient learning of deep networks from decentralized data. In Artificial intelligence and statistics, pages 1273–1282. PMLR.
Natesha, B. e Guddeti, R. M. R. (2021). Fog-based intelligent machine malfunction monitoring system for industry 4.0. IEEE Transactions on Industrial Informatics, 17(12):7923–7932.
Neto, H. N., Mattos, D. M., e Fernandes, N. C. (2020). Privacidade do usuário em aprendizado colaborativo: Federated learning, da teoria à prática. Sociedade Brasileira de Computação.
Purohit, H., Tanabe, R., Ichige, K., Endo, T., Nikaido, Y., Suefusa, K., e Kawaguchi, Y. (2019). Mimii dataset: Sound dataset for malfunctioning industrial machine investigation and inspection. arXiv preprint arXiv:1909.09347.
Ramos, H. S., Maia, G., Papa, G. L., Alvim, M. S., Loureiro, A. A., Cardoso-Pereira, I., Campos, D. H., Filipakis, G., Riquetti, G., Chagas, E. T., et al. (2021). Aprendizado federado aplicado à internet das coisas. Sociedade Brasileira de Computação.
Suefusa, K., Nishida, T., Purohit, H., Tanabe, R., Endo, T., e Kawaguchi, Y. (2020). Anomalous sound detection based on interpolation deep neural network. In ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages 271–275. IEEE.
Tao, B., Chen, C., e Chen, H. (2023). Communication efficient federated learning via channel-wise dynamic pruning. In 2023 IEEE Wireless Communications and Networking Conference (WCNC), pages 1–6. IEEE.
