Дослідження методів налаштувань гіперпараметрів для реалізації алгоритму випадковий ліс на основі медичних та психологічних даних
DOI:
https://doi.org/10.30837/bi.2025.2(103).06Ключові слова:
БАЙЄСІВСЬКА ОПТИМІЗАЦІЯ, ВИПАДКОВИЙ ЛІС, ГІПОТИРЕОЗ, ГІПЕРТИРЕОЗ, ДЕРЕВА РІШЕНЬ, ОПТИМІЗАЦІЯ, ПОШУК ЗА СІТКОЮ, ПСИХОЛОГІЧНІ РОЗЛАДИ, РАНДОМІЗОВАНИЙ ПОШУКАнотація
Випадковий ліс є одним із найпоширеніших алгоритмів машинного навчання, що належить до методів ансамблевого навчання. Його застосовують у медицині, фінансах, соціальних науках, екології, ІТ та багатьох інших сферах. Сутність алгоритму полягає у створенні великої кількості дерев рішень і подальшому об’єднанні їхніх результатів для отримання точного та стабільного прогнозу. Попри численні переваги, випадковий ліс має й недоліки, зокрема низьку стійкість до різнорідності даних, що часто трапляється в медицині. У дослідженні алгоритм застосовується для аналізу медичних даних із психологічними показниками. Медичні дані мають порогові значення, які можуть давати неочікувані результати, тому оптимізація випадкового лісу залишається актуальною. Для аналізу альтернативних варіантів удосконалення обрано метод лінійної адитивної згортки. Він дозволяє обчислювати зважену суму нормалізованих показників, щоб порівнювати різні рішення. Цей метод є універсальним, простим у реалізації та придатним для задач із багатьма різнорідними критеріями. Досліджено способи оптимізації алгоритму випадковий ліс через налаштування гіперпараметрів. Розглянуто рандомізований пошук, пошук за сіткою та байєсівську оптимізацію. Проаналізовано їхні реалізації, особливості та можливі комбінації. На основі оцінки ефективності визначено, що для медичних і психологічних даних найкращим підходом є байєсівська оптимізація. Вона забезпечує більш точні та стабільні результати. Зрештою обрано найбільш оптимальний спосіб удосконалення алгоритму
Посилання
Salman, H.A., Kalakech, A. і Steiti, A. (2024). Random Forest Algorithm Overview. Babylonian Journal of Machine Learning, 2024, с. 69–79. DOI: https://doi.org/10.58496/BJML/2024/007.
Thomas, N.S. та Kaliraj, S. (2024). An Improved and Optimized Random Forest Based Approach to Predict the Software Faults. SN Computer Science, 5(5), с. 530. DOI: 10.1007/s42979-024-02764-x.
Yang, C., Wang, Y., Zhang, A., Fan, H. та Guo, L. (2023). A Random Forest Algorithm Combined with Bayesian Optimization for Atmospheric Duct Estimation. Remote Sensing, 15(17), с. 4296. DOI: https://doi.org/10.3390/rs15174296.
Zhu, N., Zhu, C., Zhou, L., Zhu, Y., & Zhang, X. (2022). Optimization of the Random Forest Hyperparameters for Power Industrial Control Systems Intrusion Detection Using an Improved Grid Search Algorithm. Applied Sciences, 12(20), 10456. https://doi.org/10.3390/app122010456
Huliiiev, N. (2025). Study of methods for constructing decision trees for the implementation of the random forest algorithm in the medical field. Measuring and Computing Devices in Technological Processes, (1), 36–43. DOI: https://doi.org/10.31891/2219-9365-2025-81-5.
V. Nguyen, "Bayesian Optimization for Accelerating Hyper-Parameter Tuning," 2019 IEEE Second International Conference on Artificial Intelligence and Knowledge Engineering (AIKE), Sardinia, Italy, 2019, pp. 302-305, doi: 10.1109/AIKE.2019.00060.
Wu, J., Chen, X.-Y., Zhang, H., Xiong, L.-D., Lei, H. та Deng, S.-H. (2019). Hyperparameter optimization for machine learning models based on Bayesian optimization. Journal of Electronic Science and Technology, 17(1), с. 26–40. DOI: https://doi.org/10.11989/JEST.1674-862X.80904120.
Lujan-Moreno, G.A., Howard, P.R., Rojas, O.G. та Montgomery, D.C. (2018). Design of experiments and response surface methodology to tune machine learning hyperparameters, with a random forest case-study. Expert Systems With Applications, 109, с. 195–205. DOI: https://doi.org/10.1016/j.eswa.2018.05.024.
Siji George C G and B.Sumathi. “Grid Search Tuning of Hyperparameters in Random Forest Classifier for Customer Feedback Sentiment Prediction”. International Journal of Advanced Computer Science and Applications (IJACSA) 11.9 (2020). http://dx.doi.org/10.14569/IJACSA.2020.0110920
Xilu Wang, Yaochu Jin, Sebastian Schmitt, and Markus Olhofer. 2022. Recent Advances in Bayesian Optimization. In Proceedings of ACM Conference (Conference’17). ACM, New York, NY, USA, 25 pages. https://doi.org/10.1145/nnnnnnn.nnnnnnn
