Аналіз існуючих методів та моделей глибинного навчання в задачах обробки природної мови

Анотація

Розглянуто підходи та методи глибинного навчання природної мови. Глибинні нейронні мережі створюються як мережі прямого поширення, але дослідження дуже успішно застосували рекурентні нейронні мережі до таких задач, як моделювання мов. Згорткові глибинні нейронні мережі застосовуються в комп’ютерному зорі та природній мові. Згорткові глибинні нейронні мережі також було застосовано до акустичного моделювання для автоматичного розпізнавання мовлення. Гнучка нейронна мережа, дані функції використовуються для описання прямокутних об’єктів у вигляді двійкової маски в природній мові, а також для обрахування масштабної регресії для покращення точності визначеного положення. Багатозмінна логістична функція, що використовуються для описання прямокутних об’єктів у вигляді двійкової маски, а також для обрахування масштабної регресії для покращення точності визначеного положення. Глибинна мережа переконань, що є одним із типів глибинних нейронних мереж, що складений з декількох шарів прихованих змінних, що мають з’єднання, але не між вузлами всередині кожного шару. Нейронні мережі зберігання та вибірки великої пам’яті, її особливістю є те що вона є швидкою нейронною мережею з багатьма шарами які можуть використовуватись одночасно. Глибинне машинне навчання. Складені автокодувальники, ціль авдокодувальника, що продиктована поняттям «доброго представлення». Розглянуто існуючі моделі та методи для вирішення поставлених задач. Було проаналізовано різні методи та проведено порівняння, позитивних та негативних факторів вибору того
чи іншого методу. В кінці проведені висновки, в яких було підсумковано як позитивні так і негативні сторони оглянутих методів в розрізі застосоування в природній мові.