Стохастична ініціалізація нейронних мереж на основі аналізу біологічних систем
DOI:
https://doi.org/10.30837/bi.2025.1(102).11Ключові слова:
ШТУЧНІ НЕЙРОННІ МЕРЕЖІ, ІНІЦІАЛІЗАЦІЯ ВАГОВИХ КОЕФІЦІЄНТІВ, СТОХАСТИЧНЕ ЗРОСТАННЯ, МАШИННЕ НАВЧАННЯ, БЕГГІНГ, СТЕКІНГ, АНСАМБЛЕВЕ НАВЧАННЯ, ШВИДКІСТЬ ЗБІЖНОСТІ, ЕФЕКТИВНІСТЬ НАВЧАННЯ, ТОЧНІСТЬ КЛАСИФІКАЦІЇАнотація
Штучні нейронні мережі, як правило, ініціалізуються за допомогою математично визначених методів, які не враховують структурного та функціонального різноманіття біологічних систем. Хоча традиційні підходи забезпечують стабільність навчання, вони ігнорують природні механізми формування синаптичних зв’язків. У цьому дослідженні запропоновано біологічно натхненний підхід до ініціалізації вагових коефіцієнтів, заснований на стохастичних закономірностях, виявлених в емпіричних траєкторіях руху, зафіксованих у контрольованому біологічному середовищі. Дані проходять попередню обробку, що включає згладжування, нормалізацію та масштабування, для генерації вагових значень, які надалі використовуються для ініціалізації нейронної мережі. Ефективність запропонованого методу оцінюється у порівнянні зі стандартними стратегіями ініціалізації на основі трьох тестових наборів даних: MNIST, Fashion-MNIST і Gas Sensor Array Drift. Експериментальні результати демонструють, що біологічно натхненний підхід забезпечує порівнянну ефективність за всіма оціночними критеріями, включаючи точність на тестовій і валідаційній вибірках, кількість епох до збіжності, чутливість за класами та макроусереднений показник F1-метрики. У ряді випадків метод сприяв швидшій збіжності без зниження якості класифікації. Попри те, що запропонована стратегія не завжди перевершує стандартні методи, вона вводить структуровану стохастичність у процес навчання, спираючись на біологічні принципи, та формує перспективне підґрунтя для подальших досліджень у сфері складніших архітектур і біологічно натхненних моделей навчання.
Посилання
Dai, K., Barati Farimani, A., Webster-Wood, V.: Bio-inspired stochastic growth and initialization for artificial neural networks. In: Proceedings of the 17th International Conference on Artificial Intelligence Applications and Innovations (AIAI), pp. 88–100. Springer, Cham (2019). https://doi.org/10.1007/978-3-030-24741-6_8
Glorot, X., Bengio, Y.: Understanding the difficulty of training deep feedforward neural networks. In: Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics (AISTATS), pp. 249–256. PMLR, Sardinia (2010). https://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf
Goodfellow, I., Bengio, Y., Courville, A.: Deep Learning. MIT Press, Cambridge (2016).
Squadrani, L., Curti, N., Giampieri, E., Remondini, D., Blais, B., Castellani, G.: Effectiveness of biologically inspired neural network models in learning and patterns memorization. Entropy 24(5), 682 (2022). https://doi.org/10.3390/e24050682
Manchev, N., Spratling, M.: On the biological plausibility of orthogonal initialization for solving gradient instability in deep neural networks. In: Proceedings of the 2022 International Symposium on Computational and Business Intelligence (ISCMI), pp. 47–55. IEEE, Shanghai (2022). https://doi.org/10.1109/ISCMI56532.2022.10068489
Masood, S., Doja, M.N., Chandra, P.: Chaos-based network initialization approach for feedforward artificial neural networks. J. Comput. Theor. Nanosci. 17(4), 418–424 (2020). https://doi.org/10.1166/jctn.2020.8684
Pircher, T., Schlücker, E., Pircher, B., Feigenspan, A.: The structure dilemma in biological and artificial neural networks. Sci. Rep. 11, 5621 (2021). https://doi.org/10.1038/s41598-021-84813-6
Rossbroich, J., Gygax, J., Zenke, F.: Fluctuation-driven initialization for spiking neural network training. Neuromorph. Comput. Eng. 2, 044016 (2022). https://doi.org/10.1088/2634-4386/ac97bb
Demidova, L.A., Gorchakov, A.V.: Biology-inspired optimization algorithms applied to intelligent input weights selection of an extreme learning machine in regression problems. AIP Conf. Proc. 2700(1), 030003 (2023). https://doi.org/10.1063/5.0124917
Dutta, S., Detorakis, G., Khanna, A., Grisafe, B., Neftci, E., Datta, S.: Neural sampling machine with stochastic synapse allows brain-like learning and inference. Nat. Commun. 13, 2571 (2022). https://doi.org/10.1038/s41467-022-30305-8
LeCun, Y., Bottou, L., Orr, G.B., Müller, K.-R.: Efficient backprop. In: Orr, G.B., Müller, K.-R. (eds.) Neural Networks: Tricks of the Trade, pp. 9–50. Springer, Berlin (2000). https://doi.org/10.1007/3-540-49430-8_2
Filatov, V., Yerokhin, A., Zolotukhin, O., Kudryavtseva, M.: Methods of intellectual analysis of processes in medical information systems. Inf. Extr. Process. 48(124), 92–98 (2020). https://doi.org/10.15407/vidbir2020.48.092
Filatov, V., Semenets, V., Zolotukhin, O.: Synthesis of semantic model of subject area at integration of relational databases. In: Proceedings of the IEEE 8th International Conference on Advanced Optoelectronics and Lasers (CAOL), pp. 598–601. IEEE, Sozopol (2019). https://doi.org/10.1109/CAOL46282.2019.9019532
Saglietti, L., Gerace, F., Ingrosso, A., Baldassi, C., Zecchina, R.: From statistical inference to a differential learning rule for stochastic neural networks. Interface Focus 8, 20180033 (2018). https://doi.org/10.1098/rsfs.2018.0033
Sodhi, S., Chandra, P.: Interval-based weight initialization method for sigmoidal feedforward artificial neural networks. AASRI Procedia 6, 19–25 (2014). https://doi.org/10.1016/j.aasri.2014.05.004
Zangana, H., Mohammed, A., Mustafa Alfaqi, F.: Advancements and applications of convolutional neural networks in image analysis: A comprehensive review. J. Intell. Comput. Syst. 3(1), 16–29 (2024). https://doi.org/10.58602/jics.v3i1.30
Zolotukhin, O., Filatov, V., Yerokhin, A., Lanovyy, O., Kudryavtseva, M., Semenets, V.: An approach to the selection of behavior patterns autonomous intelligent mobile systems. In: Proceedings of the IEEE International Conference on Problems of Infocommunications Science and Technology (PIC S&T), pp. 349–352. IEEE, Kyiv (2021). https://doi.org/10.1109/PICST54195.2021.9772110
Zolotukhin, O., Filatov, V., Yerokhin, A., Kudryavtseva, M.: The methods for the prediction of climate control indicators in the Internet of Things systems. CEUR Workshop Proc. (2021). https://doi.org/10.5281/zenodo.14526027
Yerokhin, A., Nechyporenko, A., Babii, A., Turuta, O.: A new intelligence-based approach for rhinomanometric data processing. In: 2016 IEEE 36th International Conference on Electronics and Nanotechnology (ELNANO), pp. 198–201. IEEE, Kyiv (2016). https://doi.org/10.1109/ELNANO.2016.7493047
Yerokhin, A., Semenets, V., Nechyporenko, A., Turuta, O., Babii, A.: F-transform 3D point cloud filtering algorithm. In: 2018 IEEE Second International Conference on Data Stream Mining & Processing (DSMP), pp. 524–527. IEEE, Lviv (2018). https://doi.org/10.1109/DSMP.2018.8478581
LeCun, Y., Bottou, L., Bengio, Y., Haffner, P.: Gradient-based learning applied to document recognition. Proc. IEEE 86(11), 2278–2324 (1998). https://doi.org/10.1109/5.726791
Xiao, H., Rasul, K., Vollgraf, R.: Fashion-MNIST: A novel image dataset for benchmarking machine learning algorithms. arXiv:1708.07747 (2017). https://doi.org/10.48550/arXiv.1708.07747
Vergara, A., Vembu, S., Ayhan, T., Ryan, M.A., Homer, M.L., Huerta, R.: Chemical gas sensor drift compensation using classifier ensembles. Sens. Actuators B Chem. 166–167, 320–329 (2012). https://doi.org/10.1016/j.snb.2012.01.074
