Decision Threshold Selection and Low-Pass Filter Application for Anomaly Detection with Sparse Autoencoder

• Maira Farias Andrade Lira Universidade Federal de Pernambuco
• Elias Amancio Siqueira-Filho Instituto Avançado de Tecnologia e Inovação
• Ricardo Bastos Cavalcante Prudêncio Universidade Federal de Pernambuco

DOI: https://doi.org/10.5753/eniac.2023.234280

Resumo

Técnicas de detecção de anomalias em equipamentos mecânicos podem antecipar falhas e evitar paradas ou manutenções corretivas não programadas. Novas técnicas de detecção, baseadas em aprendizado profundo e na disponibilidade de dados de monitoramento de sinais em tempo real fundamentam esse sucesso. Neste trabalho, investigamos o uso de Sparse Autoencoders (SAE) para detecção de anomalias online para manutenção preditiva em uma base de dados pública referente ao metrô da cidade do Porto. Avaliamos abordagens para cálculo dos limiares de decisão sobre o score de anomalia retornado pelo SAE e verificamos que a abordagem influencia fortemente as métricas de detecção. Também investigamos o uso de filtros passa-baixa para reduzir falsos alarmes e o impacto destes na detecção de anomalias reais. A aplicação do filtro passa-baixa após uma classificação preliminar de anomalias reduziu em até 5,5 vezes a taxa de falsos positivos quando comparada ao SAE sem filtro, porém também levou a redução da detecção de anomalias reais. Verificamos ainda que a utilização do filtro foi essencial para detectar sequências de anomalias.

Palavras-chave: detecção de anomalias, sparse autoencoder, limiar de decisão, filtro passa-baixa

Referências

Borghesi, A., Bartolini, A., Lombardi, M., Milano, M., and Benini, L. (2019). Anomaly detection using autoencoders in high performance computing systems. In The Thirty-First AAAI Conference on Innovative Applications of Artificial Intelligence (IAAI-19), volume 33, pages 9428–9433. AAAI.

Chandola, V., Banerjee, A., and Kumar, V. (2009). Anomaly detection: A survey. ACM Comput. Surv., 41(3).

Davari, N., Veloso, B., Costa, G. d. A., Pereira, P. M., Ribeiro, R. P., and Gama, J. (2021a). A survey on data-driven predictive maintenance for the railway industry. Sensors, 21(17).

Davari, N., Veloso, B., Ribeiro, R. P., Pereira, P. M., and Gama, J. (2021b). Predictive maintenance based on anomaly detection using deep learning for air production unit in the railway industry. In 2021 IEEE 8th International Conference on Data Science and Advanced Analytics (DSAA), pages 1–10. IEEE.

Fernandes, M., Corchado, J. M., and Marreiros, G. (2022). Machine learning techniques applied to mechanical fault diagnosis and fault prognosis in the context of real industrial manufacturing use-cases: a systematic literature review. Applied Intelligence, 52:14246–14280.

Gama, J., Ribeiro, R. P., and Veloso, B. (2022). Data-driven predictive maintenance. IEEE Intelligent Systems, 37(4):27–29.

Goodfellow, I., Bengio, Y., and Courville, A. (2016). Deep Learning. MIT Press. http://www.deeplearningbook.org.

Kim, D., Lee, S., and Kim, D. (2021). An applicable predictive maintenance framework for the absence of run-to-failure data. Applied Sciences, 11(11).

Li, Z., Sun, Y., Yang, L., Zhao, Z., and Chen, X. (2022). Unsupervised machine anomaly detection using autoencoder and temporal convolutional network. IEEE Transactions on Instrumentation and Measurement, 71.

Ng, A. et al. (2011). Sparse autoencoder. CS294A Lecture notes, 72(2011):1–19.

Perini, L., Bürkner, P.-C., and Klami, A. (2023). Estimating the contamination factor’s distribution in unsupervised anomaly detection. PMLR 202, pages 27668–27679, Honolulu, United States of America. Proceedings of Machine Learning Research.

Ribeiro, R. P., Pereira, P., and Gama, J. (2016). Sequential anomalies: a study in the railway industry. Machine Learning, 105:127–153.

Sun, W., Shao, S., Zhao, R., Yan, R., Zhang, X., and Chen, X. (2016). A sparse auto-encoder-based deep neural network approach for induction motor faults classification. Measurement, 89:171–178.

Tun, M. T., Nyaung, D. E., and Phyu, M. P. (2020). Network anomaly detection using threshold-based sparse. In IAIT2020: Proceedings of the 11th International Conference on Advances in Information Technology. Association for Computing Machinery.

Umer, M. A., Junejo, K. N., Jilani, M. T., and Mathur, A. P. (2022). Machine learning for intrusion detection in industrial control systems: Applications, challenges, and recommendations. International Journal of Critical Infrastructure Protection, 38:100516.

Veloso, B., Ribeiro, R. P., Gama, J., and Pereira, P. M. (2022). The metropt dataset for predictive maintenance. Scientific Data, 9:764.

Wen, L., Gao, L., and Li, X. (2019). A new deep transfer learning based on sparse auto-encoder for fault diagnosis. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 49(1):136–144.