Self-Supervised Learning for Early Preamble Collision Detection in Cellular IoT Networks
Resumo
Cenários de Massive Machine-Type Communications (mMTC) em redes Cellular Internet of Things (CIoT) podem gerar picos de tentativas simultâneas de acesso, tornando o procedimento de acesso aleatório (random access, RA) um gargalo crítico. Nessas condições, colisões de preâmbulos aumentam a contenção, as retransmissões e o atraso de acesso. Abordagens supervisionadas recentes baseadas em características do power-delay profile (PDP) têm apresentado resultados promissores para detecção antecipada de colisão de preâmbulos, mas dependem de conjuntos de dados rotulados. Nesse domínio, dados rotulados são custosos e podem não estar disponíveis (e.g., em novas implantações de rede), uma vez que os rótulos de colisão exigem simulação detalhada e verificação em nível de protocolo. Este artigo investiga o uso de self-supervised learning (SSL) para reduzir a dependência de rótulos e, ao mesmo tempo, melhorar a classificação de colisão na tarefa downstream e a robustez entre cenários. Um codificador baseado em Transformer é pré-treinado com sequências de PDP não rotuladas, e as representações aprendidas são então transferidas por meio de fine-tuning com um pequeno subconjunto rotulado, empregando um classificador simples do tipo multilayer perceptron (MLP) como cabeça de predição. Duas tarefas de pré-texto baseadas em mascaramento são avaliadas, a saber, random token masking e contiguous masked-span prediction, utilizando conjuntos de dados com características distintas, como tipo de canal, velocidade e raio de cobertura. Os resultados de simulação mostram que o SSL melhora o desempenho da tarefa downstream em todas as avaliações no mesmo cenário e em cinco dos seis pares de transferência entre cenários, com os maiores ganhos observados sob desajuste de domínio. Esses resultados indicam que o SSL reduz a dependência de dados rotulados ao mesmo tempo em que melhora a transferibilidade entre diferentes condições de canal de rádio.
Referências
Cardenas, G. M., Gonzalez, D. C., Guevara, J. C., Astudillo, C. A., and da Fonseca, N. L. S. (2025). Ml-based preamble collision detection in the random access procedure of cellular IoT networks. arXiv preprint arXiv:2510.25145.
de Andrade, T. P., Astudillo, C. A., Sekijima, L. R., and da Fonseca, N. L. S. (2017). The random access procedure in long term evolution networks for the internet of things. IEEE Communications Magazine, 55(3):124–131.
Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171–4186.
Dong, J., Wu, H., Zhang, H., Zhang, L., Wang, J., and Long, M. (2023). SimMTM: A simple pre-training framework for masked time-series modeling. In Advances in Neural Information Processing Systems, volume 36.
Enoki, G. S. and Astudillo, C. A. (2025). Self-supervised learning for spectrogram-based identification of mobile communications technologies. In Wireless Days Conference (WD).
Hajiramezanali, E., Diamant, N., Scalia, G., and Shen, M. W. (2023). STab: Self-supervised learning for tabular data. OpenReview. Available at OpenReview.
Jang, H. S., Lee, H., Quek, T. Q. S., and Shin, H. (2021). Deep learning-based cellular random access framework. IEEE Transactions on Wireless Communications, 20(11):7503–7518.
Li, X., Zhao, Z., Zhang, Y., Zheng, S., and Dai, S. (2023a). Spectrum sensing algorithm based on self-supervised contrast learning. Electronics, 12(6):1317.
Li, Z., Rao, Z., Pan, L., Wang, P., and Xu, Z. (2023b). Ti-MAE: Self-supervised masked time series autoencoders. arXiv preprint arXiv:2301.08871.
Magrin, D., Pielli, C., Stefanovic, C., and Zorzi, M. (2019). Enabling LTE RACH collision multiplicity detection via machine learning. In 2019 International Symposium on Modeling and Optimization in Mobile, Ad Hoc, and Wireless Networks (WiOPT), pages 1–8.
Milosheski, L., Cerar, G., Bertalanič, B., Fortuna, C., and Mohorčič, M. (2023). Self-supervised learning for clustering of wireless spectrum activity. Computer Communications, 212:353–365.
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). Attention is all you need. In Advances in Neural Information Processing Systems, volume 30.
Wei, C., Bianchi, G., and Cheng, R. (2015). Modeling and analysis of random access channels with bursty arrivals in OFDMA wireless networks. IEEE Transactions on Wireless Communications, 14(4):1940–1953.
Yin, Y., Zhao, D., Li, X., and Zeng, S. (2023). Learning based preamble collision detection of cellular random access by physical layer features. In 2023 International Conference on Networking and Network Applications (NaNA), pages 28–33.
