Методи аналізу великих даних для архітектури сховища зображень
DOI:
https://doi.org/10.30837/bi.2024.2(101).10Ключові слова:
ДАТА МАЙНІНГ, ВЕЛИКІ ДАНІ, ЗОБРАЖЕННЯ,, АНАЛІЗ, УПРАВЛІННЯ ЗНАННЯМИ, СХОВИЩЕ, СХОВИЩЕ ЗОБРАЖЕНЬ, БІЗНЕС-АНАЛІТИКА, МАШИННЕ НАВЧАННЯ, ГЛИБИННЕ НАВЧАННЯ, НЕЙРОННІ МЕРЕЖІ, РОЗПІЗНАВАННЯ ЗОБРАЖЕНЬ, АНОТАЦІЯ ЗОБРАЖЕНЬ, ВІЗУАЛІЗАЦІЯ ДАНИХ, АНАЛІТИКА ТЕКСТУ, ТЕКСТОВО-ГРАФІЧНІ ДОКУМЕНТИ, МЕТАДАНІАнотація
Зі стрімким зростанням у останні роки обсягів зображень ефективне управління та пошук зображень набувають все більшої важливості. У цій статті пропонується архітектура сховища зображень в епоху великих даних, яка поєднує попередню обробку даних, компресію та видалення дублікатів, розподілену обробку та паралельні обчислення, методи машинного та глибинного навчання, а також техніки забезпечення безпеки та конфіденційності для підвищення ефективності та масштабованості сховища зображень. Проведені експерименти на великому наборі зображень, і продемонстровані результати, що даний підхід перевершує існуючі методи за точністю та ефективністю пошуку. Запропонована архітектура забезпечує перспективне рішення для управління та пошуку зображень в епоху великих даних.
Посилання
Céline F., John B., et al. (2018). Choosing the best algorithm for event detection based on the intended application: A conceptual framework for syndromic surveillance. Journal of Biomedical Informatics, 86, 117-129. doi: 10.1016/j.jbi.2018.08.001.
Yojna A., et al. (2021). A Survey on Deep learning Models for Effective Content Based Image Retrieval. International Journal of Computer Science Trends and Technology (IJCST) – Volume 9 Issue 3.
Hongyan S., et al. (2021). Design of the online platform of an intelligent library based on machine learning and image recognition. Microprocessors and Microsystems, 3. https://doi.org/10.1016/j.micpro.2021.103851
Ashwin B., Raghuram T., S. M. Reza S., et al. (2020). Big Data Analytics in Healthcare. Journal of Biomedical Informatics, 79, doi: 10.1155/2015/370194.
Shaohua J., Na W., Jing W., et al. (2019). Combining BIM and Ontology to Facilitate Intelligent Green Building Evaluation, 33(1), 04018062. doi: 10.1061/(ASCE)CP.1943-5487.0000786.
Tong L., Jinzhen W., Qing L., et al. (2023). High-Ratio Lossy Compression: Exploring the Autoencoder to Compress Scientific Data. IEEE Transactions on Big Data, 6(2), 22-36. doi: 10.1109/TBDATA.2021.3066151.
Caihong M., Chen F., Yang J. et al. (2019). A remote-sensing image-retrieval model based on an ensemble neural network. Big Earth Data, 351-367. doi: 10.1080/20964471.2019.1570815.
Zheng Y., Xie X., Ma W., et al. (2019). Distributed Architecture for Large Scale Image-Based Search. IEEE Xplore. doi: 10.1109/ICME.2007.4284716.
D. Fawzy, S. M. Moussa and N. L. Badr, "The Internet of Things and Architectures of Big Data Analytics: Challenges of Intersection at Different Domains," in IEEE Access, vol. 10, pp. 4969-4992, 2022, doi: 10.1109/ACCESS.2022.3140409.
Simran, et al. (2021). Content-Based Image Retrieval Using Deep Learning Convolutional Neural Network. IOP Conf. Ser.: Mater. Sci. Eng. 1084 012026. doi: 10.1088/1757-899X/1084/1/012026
Gu, J. Bu, X. Zhou et al. (2022). Cross-modal image retrieval with deep mutual information maximization. Neurocomputing Volume 496, 28 July 2022, Pages 166-177. doi: 10.1016/j.neucom.2022.01.078.
Hussain, H. Li, Muqadar A. et al. (2022). An Efficient Supervised Deep Hashing Method for Image Retrieval. Entropy, Volume 24, Issue 10. doi: 10.3390/e24101425.
Han L., Wenqing W., Pengfei J., et al. (2019). Content-Based Image Retrieval via Sparse Representation and Feature Fusion. The 2019 IEEE 8th Data-Driven Control and Learning Systems Conference. Doi: 10.1109/DDCLS.2019.8908926.
Peikun X., Enchen M., Zaihua X.,et al. (2021). Cloud Computing Image Recognition System Assists the Construction of the Internet of Things Model of Administrative Management Event Parameters. Advances in Computational Intelligence Techniques for Next Generation Internet of Things. doi: 10.1155/2021/8630256.
Anna M. B,, Osama E., Francesca M., et al. (2019). Image data reduction and big data analysis for targeted biopsy of prostate cancer. Journal of Medical Systems. doi: 10.1007/s00261-015-0353-8.
Noha A. S., Ali.I. ELdesouky, Hesham A., et al. (2018). An efficient fast-response content-based image retrieval framework for big data. Computers & Electrical Engineering. doi: 10.1016/j.compeleceng.2016.04.015.
Amirhessam T., Anahid E., Behshad M., Amir H G., Katja Pinker, et al. (2019). Big data analytics in medical imaging using deep learning. Big Data: Learning, Analytics, and Applications. doi: 10.1117/12.2516014.
J. S. Li, I. H. Liu, C. J. Tsai, Z. Y. Su, C. F. Li, and C. G. Liu, "Secure Content-Based Image Retrieval in the Cloud With Key Confidentiality," in IEEE Access, vol. 8, pp. 114940–114952, 2020, doi: 10.1109/ACCESS.2020.3003928.
Wan J., et al. (2018). Deep Learning for Content-Based Image Retrieval: A Comprehensive Study. MM '14: Proceedings of the 22nd ACM International Conference on Multimedia, November 2014, Pages 157–166. doi.org/10.1145/2647868.2654948
Shaojuan L., Lizhi W., Jia L., et al. (2020). Image Classification Algorithm Based on Improved AlexNet. Journal of Physics: Conference Series. doi: 10.1088/1742-6596/1813/1/012051.
Ruqia B., Zahid M., Asmaa M., et al. (2022). Deep features optimization based on a transfer learning, genetic algorithm, and extreme learning machine for robust content-based image retrieval. doi: 10.1371/journal.pone.0274764.
D. Niu, X. Zhao , X. Lin, et al. (2020). A novel image retrieval method based on multi-feature fusion. Signal Processing: Image Communication Volume 87, September 2020, 115911. doi: 10.1016/j.image.2020.115911.
Bamidele, F. W. M. Stentiford, J. Morphett (2019). An Attention-Based Approach to Content-Based Image Retrieval BT Technology Journal volume 22, pages151–160.
Sharonova, N., Kyrychenko, I., & Tereshchenko, G. Application of big data methods in E-learning systems. 5th International Conference on Computational Linguistics and Intelligent Systems (COLINS-2021), Kharkiv, Ukraine, April 22-23, 2021. – CEUR Workshop Proceedings 2870, Volume I, РР. 1302-1311, ISSN 6130073.
Tereshchenko G.Yu., Kyrychenko I.V., Smelyakov K.S., Oliynyk A.Ye. Analysis of Image Compression Methods for Storage in Decentralized Blockchain Repositories // Bionics of Intelligence. – Kharkiv: KhNURE. – 2024. No. 1 (100). pp. 23–35, doi: 10.30837/bi.2024.1(100).04.
D. Jiang, J. Kim (2021). Image Retrieval Method Based on Image Feature Fusion and Discrete Cosine Transform. Applied Computer Vision and Pattern Recognition. doi: 10.3390/app11125701
O. Cherednichenko, I. Kyryrchenko, G. Tereshchenko. D. Miand, S. Pylypenko. Comparison of Blockchain–Based Data Storage Systems. 2024 CEUR-WS, 2024, v. 3688, рр 134–144. ISSN 16130073. doi: 10.31110/COLINS/2024-3/010.
Branch, Richard & Tjeerdsma, Heather & Wilson, Cody & Hurley, Richard & Mcconnell, Sabine. (2014). Cloud Computing and Big Data: A Review of Current Service Models and Hardware Perspectives. Journal of Software Engineering and Applications. 7. 686-693. 10.4236/jsea.2014.78063.
E. S. Hussein, A. El-Bastawissy, M, Hazman, et al. (2020). Lake Data Warehouse Architecture for Big Data Solutions. International Journal of Advanced Computer Science and Applications. doi: 10.14569/IJACSA.2020.0110854.
Chai, L., et al. (2020). A big data architecture for intelligent image search in digital libraries. Journal of Big Data, 7(1), 27. doi: 10.1186/s40537-020-00304-4.
Qi G., Zhihua X., Xingming S. (2022). Multi-Source Privacy-Preserving Image Retrieval in Cloud Computing. Future Generation Computer Systems Volume 134, September 2022, Pages 78-92. doi: 10.1016/j.future.2022.03.040.
M. Muniswamaiah, T. Agerwala, C. Tappert (2019). Big data in cloud computing review and opportunities. International Journal of Computer Science & Information Technology (IJCSIT) Vol 11, No 4.
Tchagna Kouanou, Aurelle & Tchiotsop, Daniel & Kengne, Romanic & Djoufack Tansaa, Zephirin & Adele, Ngo & Tchinda, Réné. (2018). An optimal big data workflow for biomedical image analysis. Informatics in Medicine Unlocked. 11. 10.1016/j.imu.2018.05.001.
I. Kyrychenko, G. Tereshchenko and K. Smelyakov. Optimized Indexing Method in a Hybrid Image Storage Model for Efficient Storage and Access in Big Data Environments. 2024 Lecture Notes in Electrical Engineering, Vol. 1198 LNEE2024, IEEE International Conference on Advanced Trends in Radioelectronics, Telecommunications and Computer Engineering, TCSET 2024, Springer Science and Business Media Deutschland GmbH, pp.412-415, Electronic ISBN:979-8-3315-2056-4. Print on Demand (PoD) ISBN:979-8-3315-2057-1. doi: 10.1109/TCSET64720.2024.10755763.
