Вплив параметрів оптимізації інференції на ефективність спайкових нейронних мереж
DOI:
https://doi.org/10.30837/bi.2025.2(103).01Ключові слова:
СПАЙКОВІ НЕЙРОННІ МЕРЕЖІ, МАШИННЕ НАВЧАННЯ, ШТУЧНІ НЕЙРОННІ МЕРЕЖІ, ШТУЧНИЙ ІНТЕЛЕКТ, ОПТИМІЗАЦІЯ ІНФЕРЕНЦІЇ, ОПТИМІЗАЦІЯ ВИВЕДЕННЯ, КВАНТИЗАЦІЯ, ПРУНІНГ, НЕЙРОМОРФНЕ ОБЧИСЛЕННЯАнотація
Спайкові нейронні мережі (SNN) – це третє покоління штучних нейромереж, яке завдяки своїй енергоефективності та розрідженості ідеально підходить для застосування у ресурсо-обмежених середовищах, як, наприклад, IoT або робототехніка. Однак і вони можуть не зустрічати екстремальних вимог, що призводить до необхідності використання методів оптимізації інференції, зокрема квантизації та прунінг. Сучасні дослідження вже розглядали практичне застосування даних методів для спайкових нейромереж, але вони не зосереджувались на впливі початкових параметрів оптимізації на продуктивність стисненої моделі. Мета цього дослідження полягає у систематизація та емпіричне дослідження впливу параметрів методів квантизації та прунінгу на кінцеву продуктивність спайкових нейронних мереж. Для експериментів було використано архітектуру згорткової SNN (CSNN) на основі нейрона Leaky Integrate-and-Fire (LIF). Модель тестувалась на трьох наборах даних класифікації зображень: MNIST, FMNIST та CIFAR10. Стиснення проводилося методами статичної k-бітної квантизації після навчання та структурованого прунінгу з різними коефіцієнтами, що зустрічаються у практичному використанні. Отримані результати показують, що при невисоких параметрах стиснення SNN демонструють несуттєву втрату точності, одночасно забезпечуючи значне зменшення розміру моделі та енергоспоживання. Однак, для більш складного набору даних, неоптимальної навченої моделі та при екстремальних налаштуваннях стиснення, спостерігається різке та значне погіршення метрик класифікації
Посилання
Gerstner W. Spiking neuron models: Single neurons, populations, plasticity. Cambridge, U.K: Cambridge University Press, 2002. 480 с.
Davidson S., Furber S. B. Comparison of Artificial and Spiking Neural Networks on Digital Hardware. Frontiers in Neuroscience. 2021. Т. 15. URL: https://doi.org/10.3389/fnins.2021.651141 (дата звернення: 26.11.2025).
Optimization Methods, Challenges, and Opportunities for Edge Inference: A Comprehensive Survey / R. Zhang та ін. Electronics. 2025. Т. 14, № 7. С. 1345. URL: https://doi.org/10.3390/electronics14071345 (дата звернення: 26.11.2025).
Pruning Parameterization with Bi-level Optimization for Efficient Semantic Segmentation on the Edge / C. Yang та ін. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), м. Vancouver, BC, Canada, 17–24 черв. 2023 р. 2023. URL: https://doi.org/10.1109/cvpr52729.2023.01478 (дата звернення: 26.11.2025).
FlatQuant: Flatness Matters for LLM Quantization / Y. Sun та ін. arXiv. 2025.
Burkitt A. N. A Review of the Integrate-and-fire Neuron Model: I. Homogeneous Synaptic Input. Biological Cybernetics. 2006. Т. 95, № 1. С. 1–19. URL: https://doi.org/10.1007/s00422-006-0068-6 (дата звернення: 26.11.2025).
Izhikevich E. M. Simple model of spiking neurons. IEEE Transactions on Neural Networks. 2003. Т. 14, № 6. С. 1569–1572. URL: https://doi.org/10.1109/tnn.2003.820440 (дата звернення: 26.11.2025).
Hodgkin A. L., Huxley A. F. A quantitative description of membrane current and its application to conduction and excitation in nerve. The Journal of Physiology. 1952. Т. 117, № 4. С. 500–544. URL: https://doi.org/10.1113/jphysiol.1952.sp004764 (дата звернення: 26.11.2025).
A neuronal learning rule for sub-millisecond temporal coding / W. Gerstner та ін. Nature. 1996. Т. 383, № 6595. С. 76–78. URL: https://doi.org/10.1038/383076a0 (дата звернення: 26.11.2025).
Post-Training Quantization for Vision Transformer / Z. Liu та ін. Advances in Neural Information Processing Systems. 2021. Т. 34. С. 28092–28103.
QuantNAS: Quantization-aware Neural Architecture Search For Efficient Deployment On Mobile Device / T. Gao та ін. 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), м. Seattle, WA, USA, 17–18 черв. 2024 р. 2024. С. 1704–1713. URL: https://doi.org/10.1109/cvprw63382.2024.00177 (дата звернення: 26.11.2025).
Li C., Ma L., Furber S. Quantization Framework for Fast Spiking Neural Networks. Frontiers in Neuroscience. 2022. Т. 16. URL: https://doi.org/10.3389/fnins.2022.918793 (дата звернення: 26.11.2025).
Li Deng. The MNIST Database of Handwritten Digit Images for Machine Learning Research [Best of the Web]. IEEE Signal Processing Magazine. 2012. Т. 29, № 6. С. 141–142. URL: https://doi.org/10.1109/msp.2012.2211477 (дата звернення: 26.11.2025).
Xiao H., Rasul K., Vollgraf R. Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithm. arXiv. 2017. URL: https://arxiv.org/abs/1708.07747 (дата звернення: 26.11.2025).
Krizhevsky A. Learning Multiple Layers of Features from Tiny Images. 2009. URL: https://www.cs.toronto.edu/~kriz/learning-features-2009-TR.pdf (дата звернення: 26.11.2025).
PyTorch 2: Faster Machine Learning Through Dynamic Python Bytecode Transformation and Graph Compilation / J. Ansel та ін. ASPLOS '24: 29th ACM International Conference on Architectural Support for Programming Languages and Operating Systems, Volume 2, м. La Jolla CA USA. New York, NY, USA, 2024. URL: https://doi.org/10.1145/3620665.3640366 (дата звернення: 26.11.2025).
SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence / W. Fang та ін. Science Advances. 2023. Т. 9, № 40. URL: https://doi.org/10.1126/sciadv.adi1480 (дата звернення: 26.11.2025).
Training Full Spike Neural Networks via Auxiliary Accumulation Pathway / G. Chen та ін. arXiv. 2023. URL: https://doi.org/10.48550/arXiv.2301.11929 (дата звернення: 26.11.2025).
