Fuzzy-adapters: Інтеграція нечітких функцій належності для ефективного трансферного навчання Vision Transformers
DOI:
https://doi.org/10.30837/bi.2026.1(104).05Ключові слова:
VISION TRANSFORMER, PARAMETER-EFFICIENT FINE-TUNING, НЕЧІТКА ЛОГІКА, АДАПТЕР, КЛАСИФІКАЦІЯ ЗОБРАЖЕНЬАнотація
У цій роботі представлено Fuzzy-Adapter – це метод PEFT, розроблений для ефективної адаптації Vision Transformers (ViT) в умовах обмежених ресурсів. Підхід передбачає заміну стандартних активацій ReLU на навчальні Гауссові функції належності для покращення моделювання невизначеності. Експериментальні результати на наборі даних CIFAR-10 з використанням моделі deit_tiny демонструють, що Fuzzy-Adapter досягає точності 92,6%, що значно перевищує показники адаптера на основі ReLU (90,2%) та базового методу (85,7%). Отримані висновки свідчать про те, що інтеграція нейро-нечіткої логіки в архітектуру bottleneck підвищує адаптивність та продуктивність моделі в умовах дефіциту даних
Посилання
An image is worth 16x16 words: transformers for image recognition at scale / A. Dosovitskiy et al. 2021. URL: https://doi.org/10.48550/arXiv.2010.11929.
Parameter-Efficient fine-tuning methods for pretrained language models: a critical review and assessment / L. Xu et al. 2023. URL: https://doi.org/10.48550/arXiv.2312.12148.
Fuzzy logic membership function. URL: https://researchhubs.com/post/engineering/fuzzy-system/fuzzy-membership-function.html.
Parameter-Efficient transfer learning for NLP / N. Houlsby et al. 2019. URL: https://doi.org/10.48550/arXiv.1902.00751.
O'Shea K., Nash R. An introduction to convolutional neural networks. 2015. URL: https://doi.org/10.48550/arXiv.1511.08458.
Attention is all you need / A. Vaswani et al. 2023. URL: https://doi.org/10.48550/arXiv.1706.03762.
Bukhanovskyi V., Ryabova N. Transfer learning methods in computer vision. Сучасні проблеми і досягнення в галузі радіотехніки, телекомунікацій та інформаційних технологій. Запоріжжя, Україна, 2024. P. 323–324.
Azunre P. Transfer learning for natural language processing. Manning Publications Co. LLC, 2021.
LoRA: low-rank adaptation of large language models / E. J. Hu et al. 2021. URL: https://doi.org/10.48550/arXiv.2106.09685.
Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning / H. Liu et al. 2022. URL: https://doi.org/10.48550/arXiv.2205.05638.
Li X. L., Liang P. Prefix-Tuning: optimizing continuous prompts for generation. 2021. URL: https://doi.org/10.48550/arXiv.2101.00190.
Lester B., Al-Rfou R., Constant N. The power of scale for parameter-efficient prompt tuning. 2021. URL: https://doi.org/10.48550/arXiv.2104.08691.
Deep residual learning for image recognition / K. He et al. 2015. URL: https://doi.org/10.48550/arXiv.1512.03385.
Swin transformer: hierarchical vision transformer using shifted windows / Z. Liu et al. 2021. URL: https://doi.org/10.48550/arXiv.2103.14030.
Training data-efficient image transformers& distillation through attention / H. Touvron et al. 2021. URL: https://doi.org/10.48550/arXiv.2012.12877.
Krizhevsky A., Nair V., Hinton G. CIFAR-10 and CIFAR-100 Datasets. URL: https://www.cs.toronto.edu/~kriz/cifar.html.
Mao A., Mohri M., Zhong Y. Cross-Entropy loss functions: theoretical analysis and applications. 2023. URL: https://doi.org/10.48550/arXiv.2304.07288.
Kingma D. P., Ba J. Adam: a method for stochastic optimization. 2017. URL: https://doi.org/10.48550/arXiv.1412.6980.
Google for Developers. Classification: accuracy, recall, precision, and related metrics. URL: https://developers.google.com/machine-learning/crash-course/classification/accuracy-precision-recall.
You only need less attention at each stage in vision transformers / S. Zhang et al. 2024. URL: https://doi.org/10.48550/arXiv.2406.00427.
