Інформаційна технологія моделювання кризових ситуацій у VR/AR з елементами гейміфікації для навчання домедичній допомозі цивільного населення

Автор(и)

DOI:

https://doi.org/10.30837/bi.2025.2(103).11

Ключові слова:

VR/AR-СИМУЛЯТОР, ДОМЕДИЧНА ДОПОМОГА, ТАКТИЧНА МЕДИЦИНА, UNREAL ENGINE 5, TRIPO, MESHY, STABLE DIFFUSION, ГЕНЕРАТИВНИЙ ШТУЧНИЙ ІНТЕЛЕКТ, ФОТОГРАММЕТРІЯ, КАНВА БІЗНЕС-МОДЕЛІ, TRIAGE

Анотація

Актуальність дослідження зумовлена критичною потребою в ефективній та психологічно реалістичній підготовці фахівців і цивільного населення до надання домедичної допомоги в умовах воєнних дій та кризових ситуацій. Традиційні методи навчання не можуть повною мірою симулювати стресові фактори та інтерактивну динаміку реальних надзвичайних подій. Метою дослідження є розробка інформаційної технології для інтерактивного VR/AR-симулятора домедичної допомоги, що дозволяє користувачам без ризику відпрацьовувати критично важливі навички в середовищі, максимально наближеному до бойових умов. Для реалізації проекту використано технології формування Бізнес-моделі та Структури декомпозиції робіт (WBS) для MVP; генеративного штучного інтелекту (DALL-E, Trellis3D, Tripo, Meshy, Stable Diffusion) для швидкої генерації реалістичного 2D та 3D-контенту (руїни, постраждалі, поранення); створення VR-сцени у Unreal Engine 5 на базі шаблону VR Template; реалізацію ключових VR-механік, таких як Smooth Locomotion, система захоплення об'єктів (Grabbable Objects), а також інтеграцію навчального мультимедійного контенту. Результати демонструють успішне створення прототипу VR-середовища з інтерактивним сценарієм надання допомоги, наприклад, після ракетного удару. Сформовано десятки моделей різних елементів реального середовища сучасного українського міста за допомогою мобільної фотограмметрії, використовуючи RealityScan, зі зниженою кількістю фото (близько 30-50 кадрів замість 80-100) для досягнення ефекту пошкоджених об’єктів. Імпортовано 3D-моделі, згенеровані ШІ (Tripo, Meshy) та знайдені на маркетплейсах, а також реалізовано коректну колізію, телепорт і плавне переміщення користувача. Висновки підтверджують ефективність інтеграції генеративного ШІ та ігрових технологій для оперативного створення спеціалізованого VR-контенту. Експеримент із фотограмметрією показав, що свідоме зменшення кількості вхідних даних (використано лише 37,5–62,5% від рекомендованої кількості фото) є життєздатним творчим методом для моделювання зони ураження шляхом індукування некритичних спотворень сітки та текстур. Отримані навички дозволяють ефективно застосовувати AI-інструменти для розробки навчальних та симуляційних VR/AR-середовищ, що має високе прикладне значення у сфері безпеки та медицини.

Посилання

A ‘mixed reality’simulator concept for future Medical Emergency Response Team training / [R. J. Stone, R. Guest, P. Mahoney, D. Lamb, C. Gibson] // BMJ Military Health. – 2017. – Vol. 163(4). – P. 280-287. DOI: 10.1136/jramc-2016-000726

SimX VR. Virtual Reality Medical Simulation. – Access mode: https://www.simxvr.com/

Laerdal Medical. 3 Benefits of VR Simulation Training for Hospitals. – Access mode: https://laerdal.com/information/3-benefits-of-vr-simulation-training-for-hospitals/

Tretyak V. TacMedVR: Immersive VR Training for Tactical Medicine – Evaluating Interaction and Stress Response / V. Tretyak, E. Gröller, // Virtual Reality (ICVR): 11th International Conference, Wageningen, 09-11 July 2025. – Wageningen, Netherlands: IEEE, 2025. – P. 345-350. DOI: 10.1109/ICVR66534.2025.11172647

Effectiveness of Virtual and Augmented Reality for Emergency Healthcare Training: A Randomized Controlled Trial / [J. M. Castillo-Rodríguez, J. L. Gómez-Urquiza, S. García-Oliva, N. Suleiman-Martos] // Healthcare. – 2025. – Vol. 13(9). – P. 1034. DOI: 10.3390/healthcare13091034

XR Stager. AI-Powered 3D Model Generation in Unreal Engine. – Access mode: https://www.xrstager.com/en/ai-powered-3d-model-generation-in-unreal-engine

Alpha3D. Creating sellable 3D assets with generative AI: a guide for developers. – Access mode: https://www.alpha3d.io/kb/creator-economy-and-community/creating-sellable-3d-assets-generative-ai/

Wesencraft K.M. Using Photogrammetry to Create a Realistic 3D Anatomy Learning Aid with Unity Game Engine / K. M. Wesencraft, J. A. Clancy // Biomedical Visualisation. – 2019. – Vol. 5. – P. 93-104. Cham: Springer International Publishing. DOI: 10.1007/978-3-030-31904-5_7

Yiğit A. Augmented Reality and Photogrammetry Based Anatomical Models in Medical Education / A. Yiğit, Y. Kaya // SN Computer Science. – 2025. – Vol. 6. – P. 667. DOI: 10.1007/s42979-025-04218-4

Berrezueta-Guzman, S. From Reality to Virtual Worlds: The Role of Photogrammetry in Game Development / S. Berrezueta-Guzman, A. Koshelev, S. Wagner // arXiv preprint arXiv. – 2025. – Access mode: https://arxiv.org/html/2505.16951v1

Military-Medicine.com. Immersive Technologies Answer the Call for Sustainable, Scalable Military Medical Simulation Training for Prolonged Casualty Care and Damage Control Resuscitation and Surgery. – Access mode: https://military-medicine.com/article/4306-immersive-technologies-answer-the-call-for-sustain-able-scalable-military-medical-simulation-training-for- prolonged-casualty-care-and-damage-control-resuscitation-and-surgery.html

Berko A. Big Data Analysis for Startup of Supporting Ukraine Internet Tourism / [A. Berko, V. Vysotska, O. Naum, N. Borovets, S. Chyrun, V. Panasyuk] // Advanced Information and Communication Technologies (AICT): 5th International Conference, Lviv, 21-25 November 2023. – Lviv, Ukraine: IEEE, 2023. – P. 164-169. DOI: DOI: 10.1109/AICT61584.2023.10452425

##submission.downloads##

Опубліковано

2025-12-25