Application of Digital Image Processing in a Deepfake Detection Network

• Lucas Migliorin da Rosa Universidade do Estado do Amazonas
• Carlos Mauricio Serodio Figueiredo Universidade do Estado do Amazonas

DOI: https://doi.org/10.5753/eniac.2023.234266

Resumo

A evolução das redes Generative Adversarial Networks (GANs) abre um leque de possibilidades para que usuários mal intencionados aproveitem essa tecnologia a fim extrair informações de outros usuários e falsificando suas identidades. Ferramentas, como DeepFaceLab é um exemplo da utilização dessas redes a fim de criar Deepfakes cada vez mais realísticos no qual permite que a troca dos rostos das pessoas em imagens ou vídeos seja cada vez mais fácil. O presente trabalho apresenta uma evolução de modelos de detecção de deepfakes por meio da aplicação de técnicas de processamento digital de imagens e evolução de modelos da literatura aplicando backbones convolucionais mais atuais. Tais modelos são avaliados em datasets da literatura como o Deepfake Detection Challenge e Faceforensics++.

Referências

Abbas, G., Humayoun, S. R., AlTarawneh, R., and Ebert, A. (2018). Simple shape-based touch behavioral biometrics authentication for smart mobiles. In Proceedings of the 2018 International Conference on Advanced Visual Interfaces, pages 1–3.

Brian Dolhansky, Joanna Bitton, B. P. J. L. R. H. M. W. C. C. F. (2020). The deepfake detection challenge dataset.

Coccomini, D. A., Messina, N., Gennaro, C., and Falchi, F. (2022). Combining efficientnet and vision transformers for video deepfake detection. In Image Analysis and Processing–ICIAP 2022: 21st International Conference, Lecce, Italy, May 23–27, 2022, Proceedings, Part III, pages 219–229. Springer.

Gonzalez, R. C. and Woods, R. E. (2009). Processamento Digital de Imagens, volume 3. Person.

Guarnera, L., Giudice, O., and Battiato, S. (2020). Deepfake detection by analyzing convolutional traces. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops, pages 666–667.

Ismail, A., Elpeltagy, M., Zaki, M. S., and Eldahshan, K. (2021). A new deep learning-based methodology for video deepfake detection using XGBoost. Sensors, 21(16):5413.

Lewis, J. K., Toubal, I. E., Chen, H., Sandesera, V., Lomnitz, M., Hampel-Arias, Z., Prasad, C., and Palaniappan, K. (2020). Deepfake video detection based on spatial, spectral, and temporal inconsistencies using multimodal deep learning. In 2020 IEEE Applied Imagery Pattern Recognition Workshop (AIPR), pages 1–9. IEEE.

Perov, I., Gao, D., Chervoniy, N., Liu, K., Marangonda, S., Umé, C., Dpfks, M., Facenheim, C. S., RP, L., Jiang, J., Zhang, S., Wu, P., Zhou, B., and Zhang, W. (2020). Deepfacelab: Integrated, flexible and extensible face-swapping framework.

Rössler, A., Cozzolino, D., Verdoliva, L., Riess, C., Thies, J., and Nießner, M. (2019). Faceforensics++: Learning to detect manipulated facial images. CoRR, abs/1901.08971.

Tan, M. and Le, Q. V. (2021). Efficientnetv2: Smaller models and faster training. CoRR, abs/2104.00298.

Zhang, K., Zhang, Z., Li, Z., and Qiao, Y. (2016). Joint face detection and alignment using multi-task cascaded convolutional networks. CoRR, abs/1604.02878.

Zhao, H., Zhou, W., Chen, D., Wei, T., Zhang, W., and Yu, N. (2021). Multi-attentional deepfake detection. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 2185–2194.