Метод нейромережевого розпізнавання фальсифікованих зображень
DOI:
https://doi.org/10.30837/bi.2020.2(95).05Ключові слова:
ТЕХНОЛОГІЯ DEEPFAKE, РОЗПІЗНАВАННЯ ФАЛЬСИФІКОВАНИХ ЗОБРАЖЕНЬ, ЗГОРТКОВА НЕЙРОННА МЕРЕЖА, ATTENTION МЕХАНІЗМ, АНСАМБЛЬ МОДЕЛЕЙАнотація
Розглянуто методи генерації зображень, фальсифікованих за допомогою технологій Deepfake, і методи їх виявлення. Пропонується метод виявлення фальсифікованих зображень, який оснований на спільному використанні ансамблю згорткових нейронних моделей, механізму Attention та стратегії сіамського навчання мережі. Ансамблі моделей формувалися різними способами (з використанням двох, трьох або більшої кількості складових). Результат обчислювався як середнє значення показників AUC і LogLoss з усіх моделей, що входять в ансамбль. Такий підхід дозволяє покращити точність різних нейромережевих класифікаторів для виявлення статичних та динамічних зображень, створених за технологіями Deepfake
Посилання
Gonzalez R.C. Digital Image Processing / R.C. Gonzalez, R.E. Woods // 4th edition Pearson/Prentice Hall, 2018. – 1168р.
Norvig P. Artificial Intelligence: A Modern Approach / P. Norvig, S. Russell // Global Edition. – Pearson Education Limited, 2016. – 1152p.
Güera D. Deepfake Video Detection Using Recurrent Neural Networks / D. Güera, E. Delp // Proc. of 15th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS), Auckland, New Zealand. – 2018, P. 1-6.
McCann M. Convolutional neural networks for inverse problems in imaging / M. McCann, K. Jin., M Unser //: A review //IEEE Signal Processing Magazine. – 2017. – V. 34. – №. 6. – P. 85-95.
Sikorskiy O. Сonvolutional neural networks in image classification / O. Sikorskiy // Information Innovative Technologies – 2017. – №1.– P. 397-401. [6] Schmidhuber J. Deep learning in neural networks: An overview / J. Schmidhuber / /Neural networks. – 2015. – V. 61. – P. 85-117.
Goodfellow Ian J. Generative Adversarial Networks / Ian J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde- Farley, S. Ozair, A. Courville, Y. Bengio // Proc. of 27th International Conference on Neural Information Processing Systems. – 2014. – P. 2672-2680.
Bezsonov O. Processing of noisy digital images with use of evolving autoencoders / O. Bezsonov, O. Rudenko, S. Udovenko, O. Dudinova // Eastern-European Journal of Enterprise Technologies. – V. 6/9(90). – 2017. – P. 63-69.
Nirkin Y. FSGAN: Subject Agnostic Face Swapping and Reenactment / Y. Nirkin, Y. Keller, T. Hassner //. – arXiv:1908.05932v1 – 2014. – P. 2672-2680.
Afchar D. MesoNet:: a Compact Facial Video Forgery Detection Network / D. Afchar, V. Nozick, J. Yamagishi, I. Echizen // eprint arXiv:1809.00888. – 2019. – 8 p.
Tan M. Le. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks / M. Tan, Q. V. Le // – 2019. – Arxiv link: https://arxiv.org/abs/1905.11946
Dolhansky B. et al. The deepfake detection challenge datase / 2020. – URL https://arxiv.org/abs/2006.07397
Schubert E. Intrinsic t-Stochastic Neighbor Embedding for Visualization and Outlier Detection / E. Schubert, M. Gertz // Proc. of 10th International Conference on Similarity Search and Applications. – 2017. – P. 188–203.
