Нейронная машина Тьюринга

Машины Тьюринга
Машина
Варианты
Наука

Нейронная машина Тьюринга ( NTM ) — это рекуррентная нейронная сетевая модель машины Тьюринга . Этот подход был опубликован Алексом Грейвсом и др. в 2014 году. [1] NTM сочетают в себе по нечеткому сопоставлению возможности нейронных сетей с алгоритмической мощью программируемых компьютеров .

NTM имеет контроллер нейронной сети, связанный с ресурсами внешней памяти , с которыми он взаимодействует посредством механизмов внимания. Взаимодействия с памятью являются сквозными дифференцируемыми, что позволяет оптимизировать их с помощью градиентного спуска . [2] NTM с сетевым контроллером с длинной краткосрочной памятью (LSTM) может выводить простые алгоритмы, такие как копирование, сортировка и ассоциативный вызов, только на примерах. [1]

Авторы оригинальной статьи NTM не опубликовали исходный код . [1] Первая стабильная реализация с открытым исходным кодом была опубликована в 2018 году на 27-й Международной конференции по искусственным нейронным сетям и получила награду за лучшую статью. [3] [4] [5] Существуют и другие реализации NTM с открытым исходным кодом, но по состоянию на 2018 год они недостаточно стабильны для промышленного использования. [6] [7] [8] [9] [10] [11] [12] Разработчики либо сообщают, что градиенты их реализации иногда становятся NaN во время обучения по неизвестным причинам и приводят к сбою обучения; [10] [11] [9] сообщать о медленной конвергенции; [7] [6] или не сообщать о скорости освоения их реализации. [12] [8]

Дифференцируемые нейронные компьютеры — это результат нейронных машин Тьюринга с механизмами внимания , которые контролируют, где активна память, и повышают производительность. [13]

Ссылки [ править ]

  1. ^ Jump up to: Перейти обратно: а б с Грейвс, Алекс; Уэйн, Грег; Данигелка, Иво (2014). «Нейронные машины Тьюринга». arXiv : 1410.5401 [ cs.NE ].
  2. ^ «Глубокие разумы: интервью с Алексом Грейвсом из Google и Кораем Кавукчуоглу» . Проверено 17 мая 2016 г.
  3. ^ Кольер, Марк; Beel, Joeran (2018), «Внедрение нейронных машин Turing», Искусственные нейронные сети и машинное обучение-Icann 2018 , Springer International Publishing, стр. 94–104, Arxiv : 1807.08518 , Bibcode : 2018arxiv180708518c , doi : 10.1007/978-3-3- 030-01424-7_10 , ISBN  9783030014230 , S2CID   49908746
  4. ^ «МаркПККоллиер/НейралТурингМашине» . Гитхаб . Проверено 20 октября 2018 г.
  5. ^ Бил, Джоран (20 октября 2018 г.). «Награда за лучшую статью за нашу публикацию «Внедрение нейронных машин Тьюринга» на 27-й Международной конференции по искусственным нейронным сетям | Профессор Джоран Бил (TCD Дублин)» . Тринити-колледж Дублина, Блог Школы компьютерных наук и статистики . Проверено 20 октября 2018 г.
  6. ^ Jump up to: Перейти обратно: а б "снокилин/нтм" . Гитхаб . Проверено 20 октября 2018 г.
  7. ^ Jump up to: Перейти обратно: а б "чиггам/Нейронные машины Тьюринга" . Гитхаб . Проверено 20 октября 2018 г.
  8. ^ Jump up to: Перейти обратно: а б «йодвард/Нейронная машина Тьюринга» . Гитхаб . 13 сентября 2017 г. Проверено 20 октября 2018 г.
  9. ^ Jump up to: Перейти обратно: а б «Камигорд/Нейронная машина Тьюринга» . Гитхаб . Проверено 20 октября 2018 г.
  10. ^ Jump up to: Перейти обратно: а б «carpedm20/NTM-тензорный поток» . Гитхаб . Проверено 20 октября 2018 г.
  11. ^ Jump up to: Перейти обратно: а б «снипско/нтм-лазанья» . Гитхаб . Проверено 20 октября 2018 г.
  12. ^ Jump up to: Перейти обратно: а б "loudinthecloud/pytorch-ntm" . Гитхаб . Проверено 20 октября 2018 г.
  13. ^ Администратор. «Дифференцируемая нейронная сеть DeepMind мыслит глубоко» . www.i-programmer.info . Проверено 20 октября 2016 г.
Retrieved from "https://en.wikipedia.org/w/index.php?title=Neural_Turing_machine&oldid=1151691732"