Нейронная машина Тьюринга

Нейронная машина Тьюринга ( NTM ) — это рекуррентная нейронная сетевая модель машины Тьюринга . Этот подход был опубликован Алексом Грейвсом и др. в 2014 году. ^[1] NTM сочетают в себе по нечеткому сопоставлению возможности нейронных сетей с алгоритмической мощью программируемых компьютеров .

NTM имеет контроллер нейронной сети, связанный с ресурсами внешней памяти , с которыми он взаимодействует посредством механизмов внимания. Взаимодействия с памятью являются сквозными дифференцируемыми, что позволяет оптимизировать их с помощью градиентного спуска . ^[2] NTM с сетевым контроллером с длинной краткосрочной памятью (LSTM) может выводить простые алгоритмы, такие как копирование, сортировка и ассоциативный вызов, только на примерах. ^[1]

Авторы оригинальной статьи NTM не опубликовали исходный код . ^[1] Первая стабильная реализация с открытым исходным кодом была опубликована в 2018 году на 27-й Международной конференции по искусственным нейронным сетям и получила награду за лучшую статью. ^[3]^[4]^[5] Существуют и другие реализации NTM с открытым исходным кодом, но по состоянию на 2018 год они недостаточно стабильны для промышленного использования. ^[6]^[7]^[8]^[9]^[10]^[11]^[12] Разработчики либо сообщают, что градиенты их реализации иногда становятся NaN во время обучения по неизвестным причинам и приводят к сбою обучения; ^[10]^[11]^[9] сообщать о медленной конвергенции; ^[7]^[6] или не сообщать о скорости освоения их реализации. ^[12]^[8]

Дифференцируемые нейронные компьютеры — это результат нейронных машин Тьюринга с механизмами внимания , которые контролируют, где активна память, и повышают производительность. ^[13]

Ссылки

^ Jump up to: ^а ^б ^с Грейвс, Алекс; Уэйн, Грег; Данихелька, Иво (2014). «Нейронные машины Тьюринга». arXiv : 1410.5401 [ cs.NE ].
^ «Глубокие разумы: интервью с Алексом Грейвсом из Google и Кораем Кавукчуоглу» . Проверено 17 мая 2016 г.
^ Кольер, Марк; Beel, Joeran (2018), «Внедрение нейронных машин Turing», Искусственные нейронные сети и машинное обучение-Icann 2018 , Springer International Publishing, стр. 94–104, Arxiv : 1807.08518 , Bibcode : 2018arxiv180708518c , doi : 10.1007/978-3-3- 030-01424-7_10 , ISBN 9783030014230 , S2CID 49908746
^ «МаркПККоллиер/НейралТурингМашине» . Гитхаб . Проверено 20 октября 2018 г.
^ Бил, Джоран (20 октября 2018 г.). «Награда за лучшую статью за нашу публикацию «Внедрение нейронных машин Тьюринга» на 27-й Международной конференции по искусственным нейронным сетям | Профессор Джоран Бил (TCD Дублин)» . Тринити-колледж Дублина, Блог Школы компьютерных наук и статистики . Проверено 20 октября 2018 г.
^ Jump up to: ^а ^б "снокилин/нтм" . Гитхаб . Проверено 20 октября 2018 г.
^ Jump up to: ^а ^б "чиггам/Нейронные машины Тьюринга" . Гитхаб . Проверено 20 октября 2018 г.
^ Jump up to: ^а ^б "йодвард/Нейронная машина Тьюринга" . Гитхаб . 13 сентября 2017 г. Проверено 20 октября 2018 г.
^ Jump up to: ^а ^б «Камигорд/Нейронная машина Тьюринга» . Гитхаб . Проверено 20 октября 2018 г.
^ Jump up to: ^а ^б «carpedm20/NTM-тензорный поток» . Гитхаб . Проверено 20 октября 2018 г.
^ Jump up to: ^а ^б «снипско/нтм-лазанья» . Гитхаб . Проверено 20 октября 2018 г.
^ Jump up to: ^а ^б "loudinthecloud/pytorch-ntm" . Гитхаб . Проверено 20 октября 2018 г.
^ Администратор. «Дифференцируемая нейронная сеть DeepMind мыслит глубоко» . www.i-programmer.info . Проверено 20 октября 2016 г.

[arxiv-1] Jump up to: ^а ^б ^с Грейвс, Алекс; Уэйн, Грег; Данихелька, Иво (2014). «Нейронные машины Тьюринга». arXiv : 1410.5401 [ cs.NE ].

[MyUser_Https:_May_17_2016c-2] «Глубокие разумы: интервью с Алексом Грейвсом из Google и Кораем Кавукчуоглу» . Проверено 17 мая 2016 г.

[3] Кольер, Марк; Beel, Joeran (2018), «Внедрение нейронных машин Turing», Искусственные нейронные сети и машинное обучение-Icann 2018 , Springer International Publishing, стр. 94–104, Arxiv : 1807.08518 , Bibcode : 2018arxiv180708518c , doi : 10.1007/978-3-3- 030-01424-7_10 , ISBN 9783030014230 , S2CID 49908746

[4] «МаркПККоллиер/НейралТурингМашине» . Гитхаб . Проверено 20 октября 2018 г.

[5] Бил, Джоран (20 октября 2018 г.). «Награда за лучшую статью за нашу публикацию «Внедрение нейронных машин Тьюринга» на 27-й Международной конференции по искусственным нейронным сетям | Профессор Джоран Бил (TCD Дублин)» . Тринити-колледж Дублина, Блог Школы компьютерных наук и статистики . Проверено 20 октября 2018 г.

[:0-6] Jump up to: ^а ^б "снокилин/нтм" . Гитхаб . Проверено 20 октября 2018 г.

[:1-7] Jump up to: ^а ^б "чиггам/Нейронные машины Тьюринга" . Гитхаб . Проверено 20 октября 2018 г.

[:2-8] Jump up to: ^а ^б "йодвард/Нейронная машина Тьюринга" . Гитхаб . 13 сентября 2017 г. Проверено 20 октября 2018 г.

[:3-9] Jump up to: ^а ^б «Камигорд/Нейронная машина Тьюринга» . Гитхаб . Проверено 20 октября 2018 г.

[:4-10] Jump up to: ^а ^б «carpedm20/NTM-тензорный поток» . Гитхаб . Проверено 20 октября 2018 г.

[:5-11] Jump up to: ^а ^б «снипско/нтм-лазанья» . Гитхаб . Проверено 20 октября 2018 г.

[:6-12] Jump up to: ^а ^б "loudinthecloud/pytorch-ntm" . Гитхаб . Проверено 20 октября 2018 г.

[13] Администратор. «Дифференцируемая нейронная сеть DeepMind мыслит глубоко» . www.i-programmer.info . Проверено 20 октября 2016 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]