Аналіз застосування тензорних процесорів в задачах машинного навчання на прикладі GOOGLE TPU
DOI:
https://doi.org/10.30837/bi.2020.1(94).13Ключові слова:
АРХІТЕКТУРА ПРОЦЕСОРА, МАШИННЕ НАВЧАННЯ, ТЕНЗОР, ТЕНЗОРНИЙ ПРОЦЕСОР, ХМАРНІ ТЕХНОЛОГІЇ, ЦЕНТРАЛЬНИЙ ПРОЦЕСОР, ГРАФІЧНИЙ ПРОЦЕСОР, ПАРАЛЕЛЬНІ ОБЧИСЛЕННЯАнотація
Проведено детальний аналіз тензорного процесору від компанії Google, розглянуто його математичне
підґрунтя, структурні складові та ключові стадії роботи для використання при розв’язанні задач пов’язаних з
машинним навчанням. Розглянуто методи прискорення процесу тренування нейронної мережі без втрати якості,
реалізовані в TPU: квантування, паралельна обробка, систолічний масив, механізм інкапсуляції обчислень в
нейронних мережах. Здійснений розбір обмежень та переваг цього виду процесору загалом та у порівнянні з
графічним та центральним процесорами. Розглянуто конкурентні переваги даного тензорного процесору з
аналогами, що пропонуються іншими компаніями. Описана взаємодія із хмарною платформою Google та з
програмною бібліотекою TensorFlow.
Посилання
Arafa M. et al. Cascade lake: Next generation intel xeon scalable processor //IEEE Micro. – 2019. – Т. 39. – №. 2. – С. 29-36.
NVIDIA Tesla V100 GPU architecture [Електронний ресурс] // NVIDIA. – 2017. – Режим доступу до ресурсу: https://images.nvidia.com/content/volta-architecture/pdf/volta-architecture-whitepaper.pdf.
Goldsborough P. A tour of tensor flow //arXiv preprint arXiv:1610.01178. – 2016.
Вильчевская Е. Н. Тензорная алгебра и тензорный анализ //СПб.: Изд-во Политехнического ун-та. – 2012.
McKinney W. Python for data analysis: Data wrangling with Pandas, NumPy, and IPython. – “ O’Reilly Media, Inc.”, 2012.
Ray S. et al. Understanding Support Vector Machine algorithm from examples (along with code) //Analytics Vidhya. – 2017. – Т. 13. – С. 19.
Hemsoth N. First In-Depth Look at Google’s TPU Architecture //The Next Platform, Apr. – 2017. – Т. 5. – С. 13.
Kennedy P. Google Cloud TPU Details Revealed [Електронний ресурс] / Patrick Kennedy // STH. – 2017. – Режим доступу до ресурсу: https://www.servethehome.com/google-cloud-tpu-details-revealed/.
Dean J., Hölzle U. Build and train machine learning models on our new google cloud tpus, 2017 //URL https://www.blog. google/topics/google-cloud/google-cloud-offer-tpusmachine-learning. – 2017.
NVIDIA [Електронний ресурс] – Режим доступу до ресурсу: https://www.geforce.com/hardware/desktop-gpus/geforce-gtx-690/specifications.
Rowe J. The Continuing Importance of GPUs For More Than Just Pretty Pictures //Haettu. – 2017. – Т. 31. – С. 2019.
Процессор Ascend 910 [Електронний ресурс] . – 2019. – Режим доступу до ресурсу: https://e.huawei.com/ru/products/cloud-computing-dc/atlas/ascend-910.
Jouppi N. P. et al. In-datacenter performance analysis of a tensor processing unit //Proceedings of the 44th Annual International Symposium on Computer Architecture. – 2017. – С. 1-12.
Osborne J. Google’s tensor processing unit explained: this is what the future of computing looks like //TechRadar. Available via http://www. techradar. com/. Accessed. – 2017. – Т. 6.
Abadi M. et al. Tensorflow: Large-scale machine learning on heterogeneous distributed systems //arXiv preprint arXiv:1603.04467. – 2016.
CUDA C++ Programming Guide [Електронний ресурс] – Режим доступу до ресурсу: https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html.
