Оптическая нейронная сеть

Схема оптической нейронной сети, которая функционирует как логический вентиль (вверху), и ее реализация на микроволновых частотах (внизу). Промежуточные дифракционные метаповерхности функционируют как скрытые слои . ^[1]

Оптическая нейронная сеть (ONN) — это физическая реализация искусственной нейронной сети с оптическими компонентами .

Типы

Объемная голограмма

Ранние ONN использовали фоторефрактивную объемную голограмму для соединения массивов входных нейронов с массивами выходных нейронов с синаптическим весом, пропорциональным силе мультиплексированной голограммы. ^[2] Объемные голограммы были дополнительно мультиплексированы с использованием выжигания спектральных дыр, чтобы добавить к пространству одно измерение длины волны и добиться четырехмерного соединения двухмерных массивов нейронных входов и выходов. ^[3] Это привело к исследованию альтернативных методов, использующих силу оптического соединения для реализации нейронной связи. ^[4]

Кремниевая фотоника

Кремниевая фотоника обеспечивает превосходную скорость, но ей не хватает массивного параллелизма, который может обеспечить оптика свободного пространства.

Оптика свободного пространства

Оптика свободного пространства обеспечивает существенный параллелизм. В одной реализации использовались фазовые маски для классификатора рукописных цифр. ^[5] Свет, проходящий через сложенные напечатанные на 3D-принтере фазовые маски, может быть считан матрицей фотодетекторов из десяти детекторов, каждый из которых представляет класс цифр (от 0 до 9). Хотя эта сеть может достигать терагерцовых скоростей, ей не хватает гибкости, поскольку фазовые маски изготавливаются для конкретной задачи и не могут быть обучены.

Альтернативный метод использует сверточную систему 4F. Эта система использует две линзы для выполнения сверточных преобразований Фурье , что обеспечивает пассивное преобразование в область Фурье без энергопотребления или задержки. Ядра свертки представляют собой маски с фиксированной фазой для конкретных задач. ^[6]

Другой метод использовал тайлинг ядра для доступа к параллелизму системы 4F при использовании цифрового микрозеркального устройства (DMD) вместо фазовой маски. Ядра можно ввести в систему 4F и провести вывод. ^[7]

Типичные нейронные сети не предназначены для систем 4F, поскольку в своих картах функций используются более низкое разрешение и больше каналов.

Программируемая оптическая матрица/аналоговый компьютер

Программируемая оптическая матрица/аналоговый компьютер (POAC) был реализован в 2000 году на основе модифицированного совместного коррелятора преобразования Фурье (JTC) и бактериородопсина (BR) в качестве голографической оптической памяти. Система предлагала полный параллелизм, большой размер массива и скорость света в оптической сверточной нейронной сети . POAC — это компьютер общего назначения с программируемым массивом, который имеет широкий спектр приложений, включая обработку изображений , распознавание образов , отслеживание целей в реальном времени , обработку видео , безопасность документов и оптическое переключение .

Гибридный

Taichi — это гибридная ONN, сочетающая в себе энергоэффективность и параллельность оптической дифракции, а также возможность настройки оптической интерференции. Taichi предлагает 13,96 миллиона параметров. Тайчи избегает высокой частоты ошибок, от которой страдают глубокие (многослойные) сети, комбинируя кластеры дифракционных блоков с меньшим количеством слоев с массивами интерферометров для реконфигурируемых вычислений. Его протокол кодирования делит большие сетевые модели на подмодели, которые можно параллельно распределять по нескольким чиплетам. ^[8]

Тайчи достиг точности 91,89% в тестах с базой данных Omniglot . Он также использовался для создания музыки Баха и создания изображений в стилях Ван Гога и Мунка . ^[8]

Разработчики заявили об энергоэффективности до 160 триллионов операций в секунду ^-1 ватт ^-1 и эффективность площади 880 триллионов операций умножения-накопления мм. ^-2 или 10 ³ более энергоэффективен, чем NVIDIA H100 , и 10 ² раз более энергоэффективен и в 10 раз более эффективен по площади, чем предыдущие ONN. ^[8]

Другой

ONN включают нейронную сеть Хопфилда. ^[9] Кохонена и самоорганизующаяся карта с жидкокристаллическими пространственными модуляторами света. ^[10] Нейроморфную инженерию можно использовать для создания нейроморфных фотонных систем. Обычно эти системы кодируют информацию в сетях с помощью импульсов, имитируя функциональность импульсных нейронных сетей в оптическом и фотонном оборудовании.

Другие фотонные устройства продемонстрировали нейроморфные функциональные возможности, в том числе лазеры поверхностного излучения с вертикальным резонатором . ^[11]^[12] интегрированные фотонные модуляторы, ^[13] оптоэлектронные системы на основе сверхпроводящих джозефсоновских переходов ^[14] или системы на основе резонансно-туннельных диодов . ^[15]

Сравнение с биологией

Биологические нейронные сети являются электрохимическими , а оптические нейронные сети используют электромагнитные волны. Оптические интерфейсы к биологическим нейронным сетям могут быть созданы с помощью оптогенетики . Биологические нейронные сети используют множество механизмов для изменения состояния нейронов. К ним относятся кратковременная и долговременная синаптическая пластичность . Синаптическая пластичность входит в число электрофизиологических явлений, используемых для контроля эффективности синаптической передачи, долгосрочных для обучения и памяти и краткосрочных для временных изменений эффективности синаптической передачи. Для реализации этого в идеале требуются современные фотонные материалы.

Желательные свойства фотонных материалов для оптических нейронных сетей включают способность изменять эффективность передачи света в зависимости от интенсивности падающего света.

См. также

Ссылки

^ Цянь, Чао; Линь, Сяо; Линь, Сяобин; Сюй, Цзянь; Сунь, Ян; Ли, Эрпинг; Чжан, Бэйл; Чен, Хуншэн (2020). «Выполнение оптических логических операций дифракционной нейронной сетью» . Свет: наука и приложения . 9 (59): 59. Бибкод : 2020LSA.....9...59Q . дои : 10.1038/s41377-020-0303-2 . ПМК 7154031 . ПМИД 32337023 .
^ Вагнер К., Псалтис Д. (1988). «Адаптивные оптические сети с использованием фоторефрактивных кристаллов» . Прил. Опц . 27 (9): 1752–1759. Бибкод : 1988ApOpt..27.1752P . дои : 10.1364/AO.27.001752 . ПМИД 20531647 .
^ Веверка Р., Вагнер К., Саффман М. (1991). «Полностью взаимосвязанные двумерные нейронные массивы с использованием объемных голограмм, мультиплексированных по длине волны». Оптические письма . 16 (11): 826–828. Бибкод : 1991OptL...16..826W . дои : 10.1364/OL.16.000826 . ПМИД 19776798 .
^ Вагнер К., Псалтис Д. (1993). «Оптические нейронные сети: введение редакторов функций» . Прил. Опц . 32 (8): 1261–1263. Бибкод : 1993ApOpt..32.1261W . дои : 10.1364/AO.32.001261 . ПМИД 20820259 .
^ Линь, Син; Ривенсон, Яир; Ярдымчи, Незих Т.; Вели, Мухаммед; Ло, Йи; Джаррахи, Мона; Озджан, Айдоган (7 сентября 2018 г.). «Полностью оптическое машинное обучение с использованием дифракционных глубоких нейронных сетей» . Наука . 361 (6406): 1004–1008. arXiv : 1804.08711 . Бибкод : 2018Sci...361.1004L . дои : 10.1126/science.aat8084 . ПМИД 30049787 . S2CID 13753997 .
^ Чанг, Джули; Зитцманн, Винсент; Дун, Сюн; Гейдрих, Вольфганг; Вецштейн, Гордон (17 августа 2018 г.). «Гибридные оптико-электронные сверточные нейронные сети с оптимизированной дифракционной оптикой для классификации изображений» . Научные отчеты . 8 (1): 12324. Бибкод : 2018NatSR...812324C . дои : 10.1038/s41598-018-30619-y . ПМК 6098044 . ПМИД 30120316 . S2CID 256961403 .
^ Ли, Шуруи; Мискульо, Марио; Зоргер, Волкер Дж.; Гупта, Пунит (2020). «Разбиение каналов для повышения производительности и точности ускорителей оптических нейронных сетей». arXiv : 2011.07391 [ cs.ET ].
^ Jump up to: ^а ^б ^с ЧОЙ, ЧАРЛЬЗ К. (12 апреля 2024 г.). «Чип искусственного интеллекта сокращает энергетический бюджет на 99+ процентов — IEEE Spectrum» . ИИЭЭ . Проверено 17 апреля 2024 г.
^ Рамачандран Р., Гунасекаран Н. (2000). «Оптическая реализация двумерной нейронной сети биполярной модели Хопфилда (Научная записка)» (PDF) . Труды Национального научного совета Китайской Республики, часть физической науки и техники . 24 (1): 73–8. Архивировано из оригинала (PDF) 12 октября 2004 г.
^ Дювилье Дж., Киллинджер М., Хеггарти К., Яо К., де Бугрене де ла Токне Дж.Л. (январь 1994 г.). «Полностью оптическая реализация самоорганизующейся карты: предварительный подход». Прикладная оптика . 33 (2): 258–66. Бибкод : 1994ApOpt..33..258D . дои : 10.1364/AO.33.000258 . ПМИД 20862015 .
^ Хейда М., Робертсон Дж., Буэно Дж., Аланис Дж., Уртадо А. (01.06.2021). «Нейроморфное кодирование данных пикселей изображения в последовательности оптических импульсов с кодированием скорости с помощью фотонного VCSEL-нейрона» . АПЛ Фотоника . 6 (6): 060802. Бибкод : 2021APLP....6f0802H . дои : 10.1063/5.0048674 . ISSN 2378-0967 .
^ Робертсон Дж., Хейда М., Буэно Дж., Уртадо А. (апрель 2020 г.). «Сверхбыстрая оптическая интеграция и классификация образов нейроморфной фотоники на основе импульсных нейронов VCSEL» . Научные отчеты . 10 (1): 6098. Бибкод : 2020НатСР..10.6098Р . дои : 10.1038/s41598-020-62945-5 . ПМК 7142074 . ПМИД 32269249 .
^ Джордж Дж.К., Мехрабиан А., Амин Р., Мэн Дж., де Лима Т.Ф., Тейт А.Н. и др. (февраль 2019 г.). «Нейроморфная фотоника с модуляторами электропоглощения». Оптика Экспресс . 27 (4): 5181–5191. arXiv : 1809.03545 . Бибкод : 2019OExpr..27.5181G . дои : 10.1364/OE.27.005181 . ПМИД 30876120 . S2CID 80625696 .
^ Шейнлайн Дж. М. (январь 2020 г.). «Флюксоническая обработка событий фотонного синапса» . Журнал IEEE по избранным темам квантовой электроники . 26 (1): 1–15. arXiv : 1904.02807 . Бибкод : 2020IJSTQ..2627473S . дои : 10.1109/JSTQE.2019.2927473 . ISSN 1077-260X . S2CID 102352120 .
^ Ромейра Б., Джавалойес Дж., Айронсайд К.Н., Фигейредо Х.М., Балле С., Пиро О. (сентябрь 2013 г.). «Возбудимость и генерация оптических импульсов в полупроводниковых лазерах, управляемых резонансно-туннельными диодными фотодетекторами». Оптика Экспресс . 21 (18): 20931–40. Бибкод : 2013OExpr..2120931R . дои : 10.1364/OE.21.020931 . hdl : 10400.1/11954 . ПМИД 24103966 . S2CID 480070 .

[1] Цянь, Чао; Линь, Сяо; Линь, Сяобин; Сюй, Цзянь; Сунь, Ян; Ли, Эрпинг; Чжан, Бэйл; Чен, Хуншэн (2020). «Выполнение оптических логических операций дифракционной нейронной сетью» . Свет: наука и приложения . 9 (59): 59. Бибкод : 2020LSA.....9...59Q . дои : 10.1038/s41377-020-0303-2 . ПМК 7154031 . ПМИД 32337023 .

[2] Вагнер К., Псалтис Д. (1988). «Адаптивные оптические сети с использованием фоторефрактивных кристаллов» . Прил. Опц . 27 (9): 1752–1759. Бибкод : 1988ApOpt..27.1752P . дои : 10.1364/AO.27.001752 . ПМИД 20531647 .

[3] Веверка Р., Вагнер К., Саффман М. (1991). «Полностью взаимосвязанные двумерные нейронные массивы с использованием объемных голограмм, мультиплексированных по длине волны». Оптические письма . 16 (11): 826–828. Бибкод : 1991OptL...16..826W . дои : 10.1364/OL.16.000826 . ПМИД 19776798 .

[4] Вагнер К., Псалтис Д. (1993). «Оптические нейронные сети: введение редакторов функций» . Прил. Опц . 32 (8): 1261–1263. Бибкод : 1993ApOpt..32.1261W . дои : 10.1364/AO.32.001261 . ПМИД 20820259 .

[5] Линь, Син; Ривенсон, Яир; Ярдымчи, Незих Т.; Вели, Мухаммед; Ло, Йи; Джаррахи, Мона; Озджан, Айдоган (7 сентября 2018 г.). «Полностью оптическое машинное обучение с использованием дифракционных глубоких нейронных сетей» . Наука . 361 (6406): 1004–1008. arXiv : 1804.08711 . Бибкод : 2018Sci...361.1004L . дои : 10.1126/science.aat8084 . ПМИД 30049787 . S2CID 13753997 .

[6] Чанг, Джули; Зитцманн, Винсент; Дун, Сюн; Гейдрих, Вольфганг; Вецштейн, Гордон (17 августа 2018 г.). «Гибридные оптико-электронные сверточные нейронные сети с оптимизированной дифракционной оптикой для классификации изображений» . Научные отчеты . 8 (1): 12324. Бибкод : 2018NatSR...812324C . дои : 10.1038/s41598-018-30619-y . ПМК 6098044 . ПМИД 30120316 . S2CID 256961403 .

[7] Ли, Шуруи; Мискульо, Марио; Зоргер, Волкер Дж.; Гупта, Пунит (2020). «Разбиение каналов для повышения производительности и точности ускорителей оптических нейронных сетей». arXiv : 2011.07391 [ cs.ET ].

[:0-8] Jump up to: ^а ^б ^с ЧОЙ, ЧАРЛЬЗ К. (12 апреля 2024 г.). «Чип искусственного интеллекта сокращает энергетический бюджет на 99+ процентов — IEEE Spectrum» . ИИЭЭ . Проверено 17 апреля 2024 г.

[9] Рамачандран Р., Гунасекаран Н. (2000). «Оптическая реализация двумерной нейронной сети биполярной модели Хопфилда (Научная записка)» (PDF) . Труды Национального научного совета Китайской Республики, часть физической науки и техники . 24 (1): 73–8. Архивировано из оригинала (PDF) 12 октября 2004 г.

[pmid20862015-10] Дювилье Дж., Киллинджер М., Хеггарти К., Яо К., де Бугрене де ла Токне Дж.Л. (январь 1994 г.). «Полностью оптическая реализация самоорганизующейся карты: предварительный подход». Прикладная оптика . 33 (2): 258–66. Бибкод : 1994ApOpt..33..258D . дои : 10.1364/AO.33.000258 . ПМИД 20862015 .

[11] Хейда М., Робертсон Дж., Буэно Дж., Аланис Дж., Уртадо А. (01.06.2021). «Нейроморфное кодирование данных пикселей изображения в последовательности оптических импульсов с кодированием скорости с помощью фотонного VCSEL-нейрона» . АПЛ Фотоника . 6 (6): 060802. Бибкод : 2021APLP....6f0802H . дои : 10.1063/5.0048674 . ISSN 2378-0967 .

[12] Робертсон Дж., Хейда М., Буэно Дж., Уртадо А. (апрель 2020 г.). «Сверхбыстрая оптическая интеграция и классификация образов нейроморфной фотоники на основе импульсных нейронов VCSEL» . Научные отчеты . 10 (1): 6098. Бибкод : 2020НатСР..10.6098Р . дои : 10.1038/s41598-020-62945-5 . ПМК 7142074 . ПМИД 32269249 .

[13] Джордж Дж.К., Мехрабиан А., Амин Р., Мэн Дж., де Лима Т.Ф., Тейт А.Н. и др. (февраль 2019 г.). «Нейроморфная фотоника с модуляторами электропоглощения». Оптика Экспресс . 27 (4): 5181–5191. arXiv : 1809.03545 . Бибкод : 2019OExpr..27.5181G . дои : 10.1364/OE.27.005181 . ПМИД 30876120 . S2CID 80625696 .

[14] Шейнлайн Дж. М. (январь 2020 г.). «Флюксоническая обработка событий фотонного синапса» . Журнал IEEE по избранным темам квантовой электроники . 26 (1): 1–15. arXiv : 1904.02807 . Бибкод : 2020IJSTQ..2627473S . дои : 10.1109/JSTQE.2019.2927473 . ISSN 1077-260X . S2CID 102352120 .

[15] Ромейра Б., Джавалойес Дж., Айронсайд К.Н., Фигейредо Х.М., Балле С., Пиро О. (сентябрь 2013 г.). «Возбудимость и генерация оптических импульсов в полупроводниковых лазерах, управляемых резонансно-туннельными диодными фотодетекторами». Оптика Экспресс . 21 (18): 20931–40. Бибкод : 2013OExpr..2120931R . дои : 10.1364/OE.21.020931 . hdl : 10400.1/11954 . ПМИД 24103966 . S2CID 480070 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]