Резервуарные вычисления
Резервуарные вычисления — это основа вычислений, основанная на теории рекуррентных нейронных сетей , которая отображает входные сигналы в вычислительные пространства более высокой размерности посредством динамики фиксированной нелинейной системы, называемой резервуаром. [1] После того, как входной сигнал подается в резервуар, который рассматривается как «черный ящик», простой механизм считывания обучается считывать состояние резервуара и сопоставлять его с желаемым выходным сигналом. [1] Первым ключевым преимуществом этой структуры является то, что обучение выполняется только на этапе считывания, поскольку динамика пласта фиксирована. [1] Во-вторых, вычислительная мощность естественно доступных систем, как классических, так и квантово-механических, может быть использована для снижения эффективных вычислительных затрат. [2]
История [ править ]
Концепция резервуарных вычислений основана на использовании рекурсивных связей внутри нейронных сетей для создания сложной динамической системы. [3] Это обобщение более ранних архитектур нейронных сетей, таких как рекуррентные нейронные сети, машины с жидким состоянием и сети с эхо-состояниями . Резервуарные вычисления также распространяются на физические системы, которые не являются сетями в классическом смысле, а скорее непрерывными системами в пространстве и/или времени: например, буквальное «ведро с водой» может служить резервуаром, который выполняет вычисления на входных данных, заданных как возмущения поверхность. [4] Было обнаружено, что возникающая в результате сложность таких рекуррентных нейронных сетей полезна при решении множества проблем, включая обработку языка и моделирование динамических систем. [3] Однако обучение рекуррентных нейронных сетей является сложной задачей и требует больших вычислительных затрат. [3] Коллекторные вычисления уменьшают эти проблемы, связанные с обучением, фиксируя динамику пласта и обучая только линейный выходной слой. [3]
Резервуаром для проведения вычислений может служить большое разнообразие нелинейных динамических систем. В последние годы полупроводниковые лазеры привлекли значительный интерес, поскольку вычисления могут быть быстрыми и энергоэффективными по сравнению с электрическими компонентами.
Недавние достижения в области искусственного интеллекта и квантовой теории информации привели к появлению концепции квантовых нейронных сетей . [5] Они перспективны для квантовой обработки информации, которая бросает вызов классическим сетям, но также может найти применение при решении классических задач. [5] [6] В 2018 году была продемонстрирована физическая реализация архитектуры вычислений с квантовым резервуаром в виде ядерных спинов внутри молекулярного твердого тела. [6] Однако эксперименты по ядерному спину в [6] не продемонстрировали квантовые резервуарные вычисления как таковые, поскольку они не включали обработку последовательных данных. Скорее, данные были векторными входными данными, что делает это более точно демонстрацией квантовой реализации случайной кухонной мойки. [7] алгоритм (в некоторых сообществах его также называют машинами экстремального обучения ). В 2019 году была предложена еще одна возможная реализация процессоров квантовых резервуаров в виде двумерных фермионных решеток. [6] В 2020 году реализация резервуарных вычислений на вентильных квантовых компьютерах была предложена и продемонстрирована на облачных сверхпроводящих квантовых компьютерах ближайшего будущего IBM. [8]
Пластовые компьютеры использовались для временных рядов анализа . В частности, некоторые из их применений включают хаотическое временных рядов . предсказание [9] [10] разделение хаотических сигналов, [11] и связать выводы сетей из их динамики. [12]
пластовые Классические вычисления
Резервуар [ править ]
«Резервуар» в резервуарных вычислениях представляет собой внутреннюю структуру компьютера и должен обладать двумя свойствами: он должен состоять из отдельных нелинейных блоков и быть способен хранить информацию. Нелинейность описывает реакцию каждого устройства на входные данные, что позволяет компьютерам пласта решать сложные проблемы. Резервуары могут хранить информацию, соединяя устройства в рекуррентных циклах, где предыдущий ввод влияет на следующий ответ. Изменение реакции в прошлом позволяет обучать компьютеры выполнению конкретных задач. [13]
Резервуары могут быть виртуальными или физическими. [13] Виртуальные резервуары обычно генерируются случайным образом и устроены как нейронные сети. [13] [3] Виртуальные резервуары могут быть спроектированы так, чтобы иметь нелинейность и повторяющиеся циклы, но, в отличие от нейронных сетей, связи между модулями рандомизированы и остаются неизменными на протяжении всего расчета. [13] Физические резервуары возможны из-за присущей некоторым природным системам нелинейности. Взаимодействие между рябью на поверхности воды содержит нелинейную динамику, необходимую для создания резервуара, и RC распознавания образов был разработан путем первого ввода ряби с помощью электродвигателей, а затем записи и анализа ряби в показаниях. [1]
Считывание [ править ]
Считывание представляет собой уровень нейронной сети, который выполняет линейное преобразование выходных данных резервуара. [1] Веса слоя считывания обучаются путем анализа пространственно-временных закономерностей резервуара после возбуждения известными входными данными и использования такого метода обучения, как линейная регрессия или регрессия Риджа . [1] Поскольку его реализация зависит от пространственно-временных особенностей коллектора, детали методов считывания адаптируются к каждому типу коллектора. [1] Например, считывание данных для компьютера резервуара, использующего контейнер с жидкостью в качестве резервуара, может повлечь за собой наблюдение пространственно-временных закономерностей на поверхности жидкости. [1]
Типы [ править ]
Сеть контекстной реверберации [ править ]
Ранним примером резервуарных вычислений была сеть контекстной реверберации. [14] В этой архитектуре входной уровень подается в многомерную динамическую систему, которая считывается обучаемым однослойным перцептроном . Были описаны два типа динамической системы: рекуррентная нейронная сеть с фиксированными случайными весами и система непрерывной реакции-диффузии, вдохновленная Алана Тьюринга моделью морфогенеза . На обучаемом уровне перцептрон связывает текущие входные сигналы с сигналами, которые отражаются в динамической системе; Говорят, что последние обеспечивают динамический «контекст» для входных данных. На языке более поздних работ резервуаром служила система реакция-диффузия.
Государственная сеть Эхо [ править ]
Модель Tree Echo State Network (TreeESN) представляет собой обобщение структуры вычислений резервуара для данных с древовидной структурой. [15]
Жидкостная машина [ править ]
Хаотическая жидкая машина состояний
Жидкость (т.е. резервуар) хаотического жидкостного автомата (CLSM), [16] [17] или хаотический резервуар, состоит из хаотических импульсных нейронов, но которые стабилизируют свою активность, устанавливая единую гипотезу, описывающую обученные входные данные машины. В этом отличие от обычных типов резервуаров, которые не стабилизируются. Стабилизация жидкости происходит за счет синаптической пластичности и контроля хаоса, которые управляют нейронными связями внутри жидкости. CLSM показал многообещающие результаты в изучении конфиденциальных данных временных рядов. [16] [17]
Нелинейные переходные вычисления [ править ]
Этот тип обработки информации наиболее актуален, когда зависящие от времени входные сигналы отходят от внутренней динамики механизма. [18] Эти отклонения вызывают переходные процессы или временные помехи, которые отображаются на выходе устройства. [18]
Вычисление глубоких пластов [ править ]
Расширение структуры пластовых вычислений в сторону глубокого обучения с введением Deep Reservoir Computing и модели Deep Echo State Network (DeepESN). [19] [20] [21] [22] позволяет разрабатывать эффективно обученные модели для иерархической обработки временных данных, в то же время позволяя исследовать внутреннюю роль слоистой композиции в рекуррентных нейронных сетях .
резервуарные Квантовые вычисления
Квантовые резервуарные вычисления могут использовать нелинейную природу квантово-механических взаимодействий или процессов для формирования характерных нелинейных резервуаров. [5] [6] [23] [8] но это также можно сделать и с линейными пластами, когда закачка исходных материалов в пласт создает нелинейность. [24] Объединение машинного обучения и квантовых устройств приводит к появлению квантовых нейроморфных вычислений как новой области исследований. [25]
Типы [ править ]
состояния взаимодействующих квантовых гармонических Гауссовы осцилляторов
Гауссовы состояния — парадигматический класс состояний квантовых систем с непрерывной переменной . [26] Хотя в настоящее время их можно создавать и манипулировать ими, например, с помощью современных оптических платформ, [27] естественно устойчивы к декогеренции , хорошо известно, что их недостаточно, например, для универсальных квантовых вычислений , поскольку преобразования, сохраняющие гауссову природу состояния, являются линейными. [28] Обычно линейной динамики недостаточно для нетривиальных расчетов резервуаров. Тем не менее, можно использовать такую динамику для целей расчета резервуаров, рассматривая сеть взаимодействующих квантовых гармонических осцилляторов и вводя входные данные посредством периодического сброса состояния подмножества осцилляторов. При соответствующем выборе того, как состояния этого подмножества осцилляторов зависят от входных данных, наблюдаемые остальных осцилляторов могут стать нелинейными функциями входных данных, пригодными для пластовых вычислений; действительно, благодаря свойствам этих функций даже универсальные резервуарные вычисления становятся возможными путем объединения наблюдаемых величин с полиномиальной функцией считывания. [24] В принципе, такие пластовые компьютеры могут быть реализованы с помощью управляемых многомодовых оптических параметрических процессов . [29] однако эффективное извлечение выходных данных из системы затруднено, особенно в квантовом режиме, где обратное действие измерения необходимо учитывать .
Двумерные решетки квантовых точек [ править ]
В этой архитектуре рандомизированная связь между узлами решетки придает резервуару свойство «черного ящика», присущее процессорам резервуара. [5] Затем резервуар возбуждается падающим оптическим полем , которое действует как входной сигнал . Считывание происходит в виде номеров занятости узлов решетки, которые, естественно, являются нелинейными функциями входа. [5]
спины в молекулярном теле твердом Ядерные
В этой архитектуре квантово-механическая связь между спинами соседних атомов внутри молекулярного твердого тела обеспечивает нелинейность, необходимую для создания многомерного вычислительного пространства. [6] Затем резервуар возбуждается радиочастотным электромагнитным излучением , настроенным на резонансные частоты соответствующих ядерных спинов . [6] Считывание происходит путем измерения состояний ядерного спина. [6]
на основе затворов действия компьютерах ближнего Резервуарные вычисления на сверхпроводящих квантовых
Наиболее распространенной моделью квантовых вычислений является модель на основе вентилей, в которой квантовые вычисления выполняются путем последовательного применения унитарных квантовых вентилей к кубитам квантового компьютера. [30] Теория реализации резервуарных вычислений на вентильном квантовом компьютере с демонстрацией принципа действия на ряде сверхпроводящих шумных квантовых компьютеров промежуточного масштаба (NISQ) IBM. [31] было сообщено в. [8]
См. также [ править ]
Ссылки [ править ]
- ↑ Перейти обратно: Перейти обратно: а б с д и ж г час Танака, Гохей; Ямане, Тосиюки; Эру, Жан Бенуа; Накане, Рёсё; Канадзава, Наоки; Такеда, Сейджи; Нумата, Хидетоши; Накано, Дайдзю; Хиросе, Акира (2019). «Последние достижения в области вычислений физических резервуаров: обзор» . Нейронные сети . 115 : 100–123. arXiv : 1808.04962 . дои : 10.1016/j.neunet.2019.03.005 . ISSN 0893-6080 . ПМИД 30981085 .
- ^ Рем, Андре; Людж, Кэти (3 августа 2018 г.). «Мультиплексные сети: резервуарные вычисления с виртуальными и реальными узлами» . Журнал физических коммуникаций . 2 (8): 085007. arXiv : 1802.08590 . Бибкод : 2018JPhCo...2h5007R . дои : 10.1088/2399-6528/aad56d . ISSN 2399-6528 .
- ↑ Перейти обратно: Перейти обратно: а б с д и Бенджамин Шраувен, Дэвид Верстратен и Ян Ван Кампенхаут. «Обзор пластовых вычислений: теория, приложения и реализации». Материалы Европейского симпозиума по искусственным нейронным сетям ESANN 2007, стр. 471–482.
- ^ Фернандо, К.; Соякка, Сампса (2003). «Распознавание образов в ведре». Достижения в области искусственной жизни . Конспекты лекций по информатике. Том. 2801. стр. 588–597. дои : 10.1007/978-3-540-39432-7_63 . ISBN 978-3-540-20057-4 . S2CID 15073928 .
- ↑ Перейти обратно: Перейти обратно: а б с д и Гош, Санджиб; Опала, Эндрю; Матушевский, Михал; Патерек, Томас; Лью, Тимоти CH (декабрь 2019 г.). «Квантовая обработка резервуаров». npj Квантовая информация . 5 (1): 35. arXiv : 1811.10335 . Бибкод : 2019npjQI...5...35G . дои : 10.1038/s41534-019-0149-8 . ISSN 2056-6387 . S2CID 119197635 .
- ↑ Перейти обратно: Перейти обратно: а б с д и ж г час Негоро, Макото; Митарай, Косуке; Фуджи, Кейсуке; Накадзима, Кохей; Китагава, Масахиро (28 июня 2018 г.). «Машинное обучение с управляемой квантовой динамикой ансамбля ядерных спинов в твердом теле». arXiv : 1806.10910 [ квант-ph ].
- ^ Рахими, Али; Рехт, Бенджамин (декабрь 2008 г.). «Взвешенные суммы случайных кухонных раковин: замена минимизации рандомизацией в обучении» (PDF) . NIPS'08: Материалы 21-й Международной конференции по нейронным системам обработки информации : 1313–1320.
- ↑ Перейти обратно: Перейти обратно: а б с Чен, Цзяинь; Нурдин, Хендра; Ямамото, Наоки (24 августа 2020 г.). «Обработка временной информации на шумных квантовых компьютерах» . Применена физическая проверка . 14 (2): 024065. arXiv : 2001.09498 . Бибкод : 2020PhRvP..14b4065C . doi : 10.1103/PhysRevApplied.14.024065 . S2CID 210920543 .
- ^ Патхак, Джайдип; Хант, Брайан; Гирван, Мишель; Лу, Чжисинь; Отт, Эдвард (12 января 2018 г.). «Безмодельное предсказание больших пространственно-временных хаотических систем на основе данных: подход к расчетам резервуаров» . Письма о физических отзывах . 120 (2): 024102. Бибкод : 2018PhRvL.120b4102P . doi : 10.1103/PhysRevLett.120.024102 . ПМИД 29376715 .
- ^ Влахас, PR; Патак, Дж.; Хант, БР; Сапсис, ТП; Гирван, М.; Отт, Э.; Кумутсакос, П. (21 марта 2020 г.). «Алгоритмы обратного распространения ошибки и резервуарные вычисления в рекуррентных нейронных сетях для прогнозирования сложной пространственно-временной динамики» . Нейронные сети . 126 : 191–217. arXiv : 1910.05266 . doi : 10.1016/j.neunet.2020.02.016 . ISSN 0893-6080 . ПМИД 32248008 . S2CID 211146609 .
- ^ Кришнагопал, Санджукта; Гирван, Мишель; Отт, Эдвард; Хант, Брайан Р. (01 февраля 2020 г.). «Выделение хаотических сигналов с помощью резервуарных вычислений» . Хаос: междисциплинарный журнал нелинейной науки . 30 (2): 023123.arXiv : 1910.10080 . Бибкод : 2020Хаос..30b3123K . дои : 10.1063/1.5132766 . ISSN 1054-1500 . ПМИД 32113243 . S2CID 204823815 .
- ^ Банерджи, Амитава; Харт, Джозеф Д.; Рой, Раджарши; Отт, Эдвард (20 июля 2021 г.). «Вывод каналов машинного обучения в зашумленных сетях с задержкой с помощью оптоэлектронных экспериментальных испытаний» . Физический обзор X . 11 (3): 031014. arXiv : 2010.15289 . Бибкод : 2021PhRvX..11c1014B . дои : 10.1103/PhysRevX.11.031014 .
- ↑ Перейти обратно: Перейти обратно: а б с д Сориано, Мигель К. (06 февраля 2017 г.). «Точка зрения: скорость вычислений резервуаров» . Физика . 10:12 . doi : 10.1103/Физика.10.12 . hdl : 10261/173181 .
- ^ Кевин Кирби. «Динамика контекста в нейронном последовательном обучении».Материалы Флоридского симпозиума по исследованию искусственного интеллекта FLAIRS (1991), 66–70.
- ^ Галличкио, Клаудио; Микели, Алессио (2013). «Сети состояний древовидного эха». Нейрокомпьютинг . 101 : 319–337. дои : 10.1016/j.neucom.2012.08.017 . hdl : 11568/158480 .
- ↑ Перейти обратно: Перейти обратно: а б Аун, Марио Антуан; Букадум, Мунир (2014). «Алгоритм обучения и нейрокомпьютерная архитектура для NDS Neurons» . 2014 13-я Международная конференция IEEE по когнитивной информатике и когнитивным вычислениям . IEEE. стр. 126–132. дои : 10.1109/icci-cc.2014.6921451 . ISBN 978-1-4799-6081-1 . S2CID 16026952 .
- ↑ Перейти обратно: Перейти обратно: а б Аун, Марио Антуан; Букадум, Мунир (2015). «Хаотическая жидкая государственная машина» . Международный журнал когнитивной информатики и естественного интеллекта . 9 (4): 1–20. дои : 10.4018/ijcini.2015100101 . ISSN 1557-3958 .
- ↑ Перейти обратно: Перейти обратно: а б Крук, Найджел (2007). «Нелинейные переходные вычисления». Нейрокомпьютинг . 70 (7–9): 1167–1176. дои : 10.1016/j.neucom.2006.10.148 .
- ^ Педрелли, Лука (2019). Глубокие резервуарные вычисления: новый класс глубоких рекуррентных нейронных сетей (докторская диссертация). Университет Пизы.
- ^ Галличкио, Клаудио; Микели, Алессио; Педрелли, Лука (13 декабря 2017 г.). «Вычисления глубоких резервуаров: критический экспериментальный анализ». Нейрокомпьютинг . 268 : 87–99. дои : 10.1016/j.neucom.2016.12.089 . hdl : 11568/851934 .
- ^ Галличкио, Клаудио; Микели, Алессио (05 мая 2017 г.). «Эхо государственной собственности вычислительных сетей глубоких резервуаров». Когнитивные вычисления . 9 (3): 337–350. дои : 10.1007/s12559-017-9461-9 . hdl : 11568/851932 . ISSN 1866-9956 . S2CID 1077549 .
- ^ Галличкио, Клаудио; Микели, Алессио; Педрелли, Лука (декабрь 2018 г.). «Проектирование сетей состояний глубокого эха». Нейронные сети . 108 : 33–47. дои : 10.1016/j.neunet.2018.08.002 . hdl : 11568/939082 . ISSN 0893-6080 . ПМИД 30138751 . S2CID 52075702 .
- ^ Чен, Цзяинь; Нурдин, Хендра (15 мая 2019 г.). «Изучение нелинейных карт ввода-вывода с диссипативными квантовыми системами» . Квантовая обработка информации . 18 (7): 198. arXiv : 1901.01653 . Бибкод : 2019QuIP...18..198C . дои : 10.1007/s11128-019-2311-9 . S2CID 57573677 .
- ↑ Перейти обратно: Перейти обратно: а б Ноккала, Йоханнес; Мартинес-Пенья, Родриго; Джорджи, Джан Лука; Париджи, Валентина; Сориано, Мигель К.; Замбрини, Роберта (2021). «Гауссовы состояния квантовых систем с непрерывными переменными обеспечивают универсальные и универсальные резервуарные вычисления». Физика связи . 4 (1): 53. arXiv : 2006.04821 . Бибкод : 2021CmPhy...4...53N . дои : 10.1038/s42005-021-00556-w . S2CID 234355683 .
- ^ Маркович, Даниела; Гроллер, Жюли (13 октября 2020 г.). «Квантовые нейроморфные вычисления» . Письма по прикладной физике . 117 (15): 150501. arXiv : 2006.15111 . Бибкод : 2020АпФЛ.117о0501М . дои : 10.1063/5.0020014 . S2CID 210920543 .
- ^ Ферраро, Алессандро; Оливарес, Стефано; Пэрис, Маттео Джорджия (31 марта 2005 г.). «Гауссовы состояния в непрерывной переменной квантовой информации». arXiv : Quant-ph/0503237 .
- ^ Рослунд, Джонатан; де Араужо, Ренне Медейрос; Цзян, Шифэн; Фабр, Клод; Трепс, Николас (15 декабря 2013 г.). «Квантовые сети с мультиплексированием по длине волны и сверхбыстрыми частотными гребенками» . Природная фотоника . 8 (2): 109–112. arXiv : 1307.1216 . дои : 10.1038/nphoton.2013.340 . ISSN 1749-4893 . S2CID 2328402 .
- ^ Бартлетт, Стивен Д.; Сандерс, Барри К.; Браунштейн, Сэмюэл Л.; Немото, Каэ (14 февраля 2002 г.). «Эффективное классическое моделирование непрерывных переменных квантовых информационных процессов» . Письма о физических отзывах . 88 (9): 097904. arXiv : quant-ph/0109047 . Бибкод : 2002PhRvL..88i7904B . doi : 10.1103/PhysRevLett.88.097904 . ПМИД 11864057 . S2CID 2161585 .
- ^ Ноккала, Дж.; Арзани, Ф.; Гальве, Ф.; Замбрини, Р.; Манискалько, С.; Пиило, Дж.; Трепс, Н.; Париги, В. (09 мая 2018 г.). «Реконфигурируемая оптическая реализация квантовых сложных сетей» . Новый журнал физики . 20 (5): 053024. arXiv : 1708.08726 . Бибкод : 2018NJPh...20e3024N . дои : 10.1088/1367-2630/aabc77 . ISSN 1367-2630 . S2CID 119091176 .
- ^ Нильсен, Майкл; Чуанг, Исаак (2010), Квантовые вычисления и квантовая информация (2-е изд.), Издательство Кембриджского университета, Кембридж
- ^ Джон Прескилл . «Квантовые вычисления в эпоху NISQ и за ее пределами». Квант 2,79 (2018)
Дальнейшее чтение [ править ]
- Вычисления резервуаров с использованием систем задержки , Nature Communications, 2011 г.
- Оптоэлектронные резервуарные вычисления , научные отчеты, февраль 2012 г.
- Оптоэлектронные резервуарные вычисления , Оптика Экспресс 2012
- Полностью оптические резервуарные вычисления , Nature Communications, 2013 г.
- Мемристорные модели для машинного обучения , нейронные вычисления, 2014 , arxiv