Мультимодальна технологія пошуку та кластеризації слабоструктурованих текстово-графічних документів.
DOI:
https://doi.org/10.30837/bi.2024.2(101).01Ключові слова:
ТЕКСТОВО-ГРАФІЧНІ ДОКУМЕНТИ, МУЛЬТИМОДАЛЬНА СИСТЕМА, КЛАСТЕРИЗАЦІЯ, АЛГОРИТМ SOINN, ПОРІВНЯННЯ ТЕКСТОВО-ГРАФІЧНИХ ФРАГМЕНТІВ, АНОТАЦІЯ ЗОБРАЖЕНЬАнотація
Досліджено проблему пошуку та кластеризації слабоструктурованих текстово-графічних документів (ТГД) з використанням нейромережевих технологій. Запропоновано підхід до побудови мультимодальної системи пошуку та аналізу ТГД, що передбачає використання гібридного крітерія порівняння текстових та графічних фрагментів в аналізованих документах. Розглянуто процедуру поєднання процесів пошуку текстово-графічних фрагментів електронних документів за характеристиками зображення та текстовими підписами (ключовими словами). Запропоновано метод кластеризації та індексації ТГД за результатами аналізу іх текстової частини, заснований на застосуванні алгоритму SOINN, лінгвістичних дескрипторів та модульної системи обробки файлових масивів. Метод дозволяє формувати динамічну структуру кластерів ТГД зі створенням єдиних індексів. Наведено результати тестування і рекомендації щодо використання нейромережевих моделей для практичної реалізації запропонованого підходу до пошуку та кластеризації ТГД.
Посилання
A Guide on Word Embeddings in NLP. URL: https://www.turing.com/kb/guide-on-word-embeddings-in-nlp (last accessed: 15.05.2024).
Kumar J., Ye P., Doermann D. Structural Similarity for Document Image Classification and Retrieval. Pattern Recognition Letters, 2014, vol 43, pp. 119-126. DOI: 10.1016/j.patrec.2013.10.030
Удовенко С.Г. Метод порівняння текстово-графічних фрагментів в електронних документах за гібриднимкритерієм / С.Г. Удовенко, Л.Е. Чала, Є.С. Кушвід // Біоніка интелекту. – 2019. – Вып. 1 (92). – С. 71-76.
Text Normalization for Natural Language Processing (NLP) [Електронний ресурс]. – 2021. – Режим доступу:
https://towardsdatascience.com/text-normalization-for-natural-language-processing-nlp-70a314bfa646
Удовенко С. Мультимодальна система порівняння текстово-графічних фрагментів в електронних документах / С. Удовенко, Л. Чала, Є. Кушвід // Матеріали Міжнародної наукової конференції «Інтелектуальні системи прийняття рішень і проблеми обчислювального інтелекту (ISDMCI’2019)». – Залізний Порт, 2019 – С. 184-186.
Veena R, Ramesh D., Automatic text summarization – A systematic literature review, World Journal of Advanced Engineering Technology and Sciences, 2023, 08(02), pp. 126–129. DOI: https://doi.org/10.30574/wjaets.2023.8.2.0080
B. Kumar, B. Sathya, P. Anima. Automatic Keyword Extraction for Text Summarization in Multi-document Articles (2017). European Journal of Advances in Engineering and Technology, Vol. 4 (6), Р. 410 – 427.
Wiwatcharakoses C., Berrar D. (2021) A self-organizing incremental neural network for continual supervised learning. Expert Systems with Applications. Volume 185, 115662. https://doi.org/10.1016/j.eswa.2021.115662
Wiwatcharakoses C. , Berrar D. (2020) SOINN+, a Self-Organizing Incremental Neural Network for Unsupervised Learning from Noisy Data Streams. Expert Systems with Applications. Volume 143, 113069. https://doi.org/10.1016/j.eswa.2019.113069.
Nguyen N,·Coustaty М., Ogier J. (2020). An adaptive document recognition system for latrines. International Journal on Document Analysis and Recognition (IJDAR) (2020) 23:115–128 https://doi.org/10.1007/s10032-019-00346-9
Лізунов, П. П. Автоматичний аналіз подібностей схем та діаграм в електронних текстових документах / П. П. Лізунов, А. О. Білощицький, Л. Е. Чала, С.В. Білощицька, О. Ю. Кучанський, С. Г. Удовенко // Управління розвитком складних систем. – 2017. – № 28. – C. 147 – 1568. Кузнецов О.В.
Liu Z., Lin Y., Cao Y., Hu H., Wei Y., Zhang Z., Lin S., Guo B. Swin. Transformer: Hierarchical Vision Transformer using Shifted Windows. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). 2021. P. 9992-10002. DOI: doi.org/10.1109/ICCV48922.2021.00986
Chen C., Fan Q., Panda R. CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification. ICCV. 2021. P.1-10. DOI: doi.org/10.1109/ICCV48922.2021.00041
Misra R. News Category Dataset (2018). URL: https://www.kaggle.com/rmisra/news-category-dataset (last accessed: 15.05.2024).
