ГЛИБОКА НЕО-ФАЗЗІ НЕЙРОННА МЕРЕЖА ТА ЇЇ НАВЧАННЯ
DOI:
https://doi.org/10.30837/bi.2019.1(92).01Ключові слова:
НЕО-ФАЗЗІ НЕЙРОН, БАГАТОШАРОВА НЕЙРОННА МЕРЕЖА, F-ПЕРЕТВОРЕННЯАнотація
Оптимізація швидкодії навчання глибоких нейронних мереж є надзвичайно актуальним питанням. Сучасні підходи орієнтуються на використання нейронних мереж на основі персептрону Розенблатта. Але отримувані результати не являються задовільними для індустріальних та наукових потреб в контексті швидкодії навчання нейронних мереж. Також такий підхід натикається на проблеми зникаючого та вибухаючого градієнта. Для вирішення проблеми в статті запропоновано використовувати нео-фаззі нейрон, властивості якого основані на F-перетворенні. В статті розглянуто використання нео-фаззі нейрона як основного компонента нейронної мережі. Показана архітектура глибокої нео-фаззі нейронної мережі а також алгоритм зворотньго поширення похибки для цієї архітектури з трикутною функцією принадлежності для нео-фаззі нейрона. Приведені основні переваги щодо застосування нео-фаззі нейрона як основного компоненту нейронної мережі. В статті описано за рахунок яких властивостей нео-фаззі нейрона вирішуються питання покращення швидкодії та зникаючого чи вибухаючого градієнта. Порівняно запровоновану архітектуру нео-фаззі глибокої нейронної мережі зі стандартними глибокими мережами на основі персептрону Розенблатта.Посилання
Bengio Y, LeCun Y, Hinton G. Deep Learning – Nature – 2015-521 – p.436-444.
Schmidhuber J Deep learning in neural networks: An overview – Neural Networks – 2015–01 – p.85-117.
Googfellow I, Bengio Y, Courville A. Deep Learning – MIT Press, 2016-787p.
Graupe D. Deep Learning Neural Networks: Design and Case Studies- New York: World Scientific, 2016 – 260p.
Caterini A.L., Chang D.E. Deep Neural Networks in a Mathematical Framework – Springer, 2018 –79p.
Cichocki A, Unbehauen R. Neural Networks for Optimization and Signal Processing – Stuttgart: Teubner, 1993-526p.
Cybenko G. Approximation by superpositions of a sigmoidal function – Math. Control Signals Systems. – 1985 – 2 – p.303-314.
Hornik K. Approximation capabilities of multilayer feedforward networks – 1994 – 4 – p.251-257.
Aggarwal Ch.C. Neural Networks and Deep Learning – Cham: Springer, 2018-512p.
Yamakawa T, Uchino E, Miki T., Kusabagi H. A neo fuzzy neuron and its applications to system identification and predictions to system behavior. – Proc. 2nd Int. Conf. on Fuzzy Logic and Neural Networks, pp. 477-483, 1992.
Uchino E, Yamakava T. Neo-fuzzy neuron based new approach to system modeling with application to actual system - Proceedings Sixth International Conference on Tools with Artificial Intelligence – New Orlean, LA, USA, 1994 – p.564-570.
Miki T, Yamakawa T, “Analog implementation of neo-fuzzy neuron and its on-board learning,” In Computational Intelligence and Applications, Piraeus: WSES Press, 1999, pp. 144-149.
Kolodyazhniy V, Bodyanskiy Ye. Fuzzy Kolmogorov's network – Lecture Notes in Computer Science. – 3214 – Heidelberg: Springer Verlag, 2004. – p.764-771.
Bodyanskiy Ye, Kolodyazhniy V, Otto P. Neuro-fuzzy Kolmogorov's network for time series prediction and pattern classification – Lecture Notes in Artificial Intelligence – 3698 – Heidelberg: Springer Verlog, 2005. – p.191-202.
Bodyanskiy Ye,Popov S, Rybalchenko T. Multilayer neuro-fuzzy network for short term electric load forecasting – Lecture Notes in Computer Science. – 5010 – Berlin-Heidelberg: Springer Verlag, 2008. – p.339-348.
Bodyanskiy Ye,Vynokurova O, Setlak G, Peleshko D, Mulesa P. Adaptive multivariate hybrid neuro-fuzzy system and its on-board fast learning – Neurocomputing – 2017 – 230-p.409-416.
Perfilieva T. Fuzzy transforms: Theory and applications – Fuzzy Sets and Systems – 2006 – 157 – p.993-1023.
Bodyanskiy Ye, Kolodyazhniy V, Stephan A. An adaptive learning algorithm for a neuro-fuzzy network - Ed. by B.Reush “Computitional Intelligence. Theory and Application” – Berlin-Heidelberg: Ney York: Springer, 2001. – p.68-75.
Otto P, Bodyanskiy Ye, Kolodyazhniy V. A new learning algorithm for a forecasting neuro-fuzzy network - Integrated Computer Aided Engineering – 2003 – 10(4) – p.399-409.
