Agrupamentos em Redes IIoT Baseados em Q-Learning Resilientes à Falhas de Quebra de Enlace

• Carlos Pedroso UFPR
• Vitor Fagundes UFMG
• Aldri Santos UFPR / UFMG

DOI: https://doi.org/10.5753/sbrc.2026.19899

Resumo

A adoção da Internet das Coisas Industrial (IIoT) é fundamental aos ambientes produtivos, exigindo redes de comunicação robustas e resilientes que garantam as suas operações. À medida que as falhas de enlace ameaçam a continuidade das operações industriais, elas comprometem a qualidade do serviço e paralisam processos críticos. Este trabalho propõe o SECTIONAL, uma abordagem baseada em Q-Learning para promover a resiliência das organizações topológicas de agrupamentos em redes IIoT. Um agente é treinado online em ambiente simulado para detectar falhas e tomar decisões corretivas de forma autônoma, reorganizando a estrutura da rede diante de alterações na conectividade. O SECTIONAL visa reduzir o impacto de falhas de comunicação, melhorar a continuidade dos serviços e demonstrar a viabilidade do uso de inteligência artificial para o gerenciamento adaptativo de redes industriais. O SECTIONAL foi avaliado no NS-3 gerenciando um ambiente IIoT e obteve uma eficiência na mitigação de falhas, alcançando taxas de realocação superiores a 96% em alguns casos e mantendo a rede operacional nos cenários avaliados.

Referências

Abdulrab, H., Hussin, F. A., Abd Aziz, A., Awang, A., Ismail, I., and Devan, P. A. M. (2022). Reliable fault tolerant-based multipath routing model for industrial wireless control systems. Applied Sciences, 12(2):544.

Cardel, V. S., Rettore, P. H., and Santos, B. P. (2024). Uma abordagem q-learning para escalonamento dinâmico de comunicação do tsch. In Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos (SBRC), páginas 113–126. SBC.

Feng, Z., Deng, Q., Cai, M., and Li, J. (2022). Efficient reservation-based fault-tolerant scheduling for ieee 802.1 qbv time-sensitive networking. Journal of Systems Architecture, 123:102381.

Förster, A., Hollick, M., Katzenbeisser, S., and Krauss, C. (2026). Resilience meets security in cyber-physical systems and critical infrastructures. Commun. ACM, 69(2):35–38.

Gaba, G. S., Sari, A., Butun, I., Singh, P., Gurtov, A., and Liyanage, M. (2025). A survey on security and privacy of industry 4.0 and beyond: Technical aspects, use cases, challenges, and research directions. IEEE Open Journal of the Communication Society.

Gu, S., Yang, L., Du, Y., Chen, G., Walter, F., Wang, J., and Knoll, A. (2024). A review of safe reinforcement learning: Methods, theories and applications. IEEE Transactions on Pattern Analysis and Machine Intelligence.

Hu, Y., Jia, Q., Yao, Y., Lee, Y., Lee, M., Wang, C., Zhou, X., Xie, R., and Yu, F. R. (2024). Industrial internet of things intelligence empowering smart manufacturing: A literature review. IEEE Internet of Things Journal, 11(11):19143–19167.

International Telecommunication Union (2017). Minimum requirements related to technical performance for imt-2020 radio interface(s). Technical Report Report M.2410-0, ITU-R.

Kaur, G. and Chanak, P. (2022). An intelligent fault tolerant data routing scheme for wireless sensor network-assisted industrial internet of things. IEEE Transactions on Industrial Informatics, 19(4):5543–5553.

Kumar, A. and Singh, D. (2024). Adaptive epsilon greedy reinforcement learning method in securing iot devices in edge computing. Discover Internet of Things, 4(1):27.

Masum, R. (2023). Cyber security in smart manufacturing (threats, landscapes challenges). arXiv preprint arXiv:2304.10180.

Nandyala, C. S., Kim, H.-W., and Cho, H.-S. (2023). Qtar: A q-learning-based topology-aware routing protocol for underwater wireless sensor networks. Computer Networks, 222:109562.

Pedroso, C., de Moraes, Y. U., Nogueira, M., and Santos, A. (2020). Managing consensus-based cooperative task allocation for iiot networks. In 2020 IEEE ISCC, páginas 1–6. IEEE.

Pedroso, C. and Santos, A. (2022). Dissemination control in dynamic data clustering for dense iiot against false data injection attack. International Journal of Network Management, 32(5):e2201.

Pedroso, C. and Santos, A. (2025). A survey on faults and vulnerabilities in network topological connectivity: Logical and physical perspectives. ACM Comput. Surv., 58(5).

Qiu, F., Kumar, A., Hu, J., Sharma, P., Tang, Y. B., Xu Xiang, Y., and Hong, J. (2025). A review on integrating iot, iiot, and industry 4.0: A pathway to smart manufacturing and digital transformation. IET Information Security, 2025(1):9275962.

Rawal, A. P. and Chanak, P. (2024). A q-learning-based fault-tolerance data routing scheme for iot-enabled wsns. IEEE Internet of Things Journal, 11(14):25283–25293.

Sun, D., Hu, J., Wu, H., Wu, J., Yang, J., Sheng, Q. Z., and Dustdar, S. (2023). A comprehensive survey on collaborative data-access enablers in the iiot. ACM Computing Surveys, 56(2):1–37.

Yaraziz, M. S. and Hill, R. (2025). Federated q-learning-based optimization for resource allocation in industrial iot networks. IEEE Access.

Zhang, T., Xue, C., Wang, J., Yun, Z., Lin, N., and Han, S. (2024). A survey on industrial internet of things (iiot) testbeds for connectivity research.