Застосування градієнтного бустінгу в якості алгоритму стекінгу по вузьких місцях для досягнення високої точності класифікації зображень
DOI:
https://doi.org/10.30837/bi.2021.1(96).05Ключові слова:
ШТУЧНИЙ ІНТЕЛЕКТ, КОМП’ЮТЕРНИЙ ЗІР, ГРАДІЄНТНИЙ БУСТІНГ, ЗОБРАЖЕННЯ, МАШИННЕ НАВЧАННЯ, НЕЙРОННА МЕРЕЖА, РОЗПІЗНАВАННЯ ОБРАЗІВАнотація
З розвитком Інтернету, що зробив багато зображень доступними онлайн для аналізу, програмне забезпечення для розпізнавання об`єктів при- вертає все більше уваги дослідників. Фактори стимулюючі розвиток комп’ютерного зору сьогодні: мобільні пристрої з вбудованими камерами, доступність обчислювальної потужності, доступність обладнання для комп’ютерного зору і аналізу, а також нові алгоритми, такі як згорткові нейронні мережі, які використовують можливості обладнання і програмне забезпечення. Робота в цілому присвячена розгляду проблеми класифікації зображень за допомогою згорткових нейронних мереж. І, зокрема, одному з найпопулярніших і застосовуваних на практиці алгоритмів машинного навчання – градієнтному бустінгу, що застосовується до вузьких місць глибоких згорткових нейронних мереж. Також розглядаються три сценарії застосування градієнтного бустінгу до вузьких місць, добутих з останнього згорткового шару нейронної мережі. Суть бустінга, так само як і інших ансамблів алгоритмів, полягає в тому, щоб з кількох слабких моделей зібрати одну сильну. Загальна ідея алгоритмів бустінга – послідовно застосовувати предиктори так, щоб кожна наступна модель мінімізувала помилку попередньої. Градієнтний бустінг працює послідовно додаючи до минулих моделей нові так, щоб виправлялися помилки, допущені попередніми предикторами.
Посилання
LeCun Y., Boser B., Denker J., Henderson D., Howard R., Hubbard W., Jackel L. Handwritten digit recognition with a back-propagation network // Advances in Neural Information Processing Systems 2, 1990. – P. 396-404.
Krizhevsky A., Sutskever I., Hinton G. ImageNet classification with deep convolutional neural networks // Neural Information Processing Systems, 2012.
Deng J., Dong W., Socher R., Li L.-J., Li K., Fei-Fei L. ImageNet: A Large-Scale Hierarchical Image Database // CVPR09, 2009.
Jouppi N.P., Young C., Patil N. In-datacenter performance analysis of a tensor processing unit // CoRR, 2017. – http:// arxiv.org/abs/1704.04760.
Zoph B., Vasudevan V., Shlens J., Le Q.V. Learning transferable architectures for scalable image recognition // CoRR, 2017. – http://arxiv.org/abs/1707.07012. [6] Tan C., Sun F., Kong T., Zhang W., Yang C., Liu C. A Survey on Deep Transfer Learning // 27th International Conference on Artificial Neural Networks, 2018.
Zeiler M.D., Fergus R. Visualizing and Understanding Convolutional Networks // Computer Vision – ECCV 2014.
Friedman J. Greedy function approximation: a gradientboosting machine // Ann. Statist. 29, 2001. – P. 1189-1232.
Ke G., Meng Q., Finley T., Wang T., Chen W., Ma W., Ye O., Liu T.-Y. LightGBM: A Highly Efficient Gradient Boosting Decision Tree // Advances in Neural Information Processing Systems 30, 2017. – P. 3146-3154.
Chen T., Guestrin C. XGBoost: A Scalable Tree Boosting System // CoRR, 2016. – http://arxiv.org/abs/1603.02754.
Dorogush V., Ershov V., Gulin A. CatBoost: gradient boosting with categorical features support // CoRR, 2018. – http:// arxiv.org/abs/1810.11363.
Machova K., František B., Bednár P. A Bagging Method using Decision Trees in the Role of Base Classifiers // Acta Polytechnica Hungarica 3, 2006.
Wolpert D. H. Stacked generalization // Neural networks, 5(2), 1992. – P. 241-259.
Marios Michailidis StackNet, StackNet Meta Modelling Framework, 2017. – https://github.com/kaz-Anova/Stack- Net.
iMaterialist Competition 2018 https://sites.google.com/view/ fgvc5/competitions/imaterialist.
Chollet F. Xception: Deep Learning with Depthwise Separable Convolutions // CoRR, 2016. – http://arxiv.org/ abs/1610.02357.
Huang G., Liu Z., Weinberger K. Densely Connected Convolutional Networks // CoRR, 2016. – http://arxiv.org/ abs/1608.06993.
He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // CoRR, 2015. – http://arxiv.org/ abs/1512.03385.
Shlens J. A.Tutorial on Principal Component Analysis // CoRR, 2014. – http://arxiv.org/abs/1404.1100.
