Физическая нейронная сеть

Физическая нейронная сеть — это тип искусственной нейронной сети , в которой электрически регулируемый материал используется для имитации функции нейронного синапса или модели нейрона более высокого порядка (дендритной). ^[1] «Физическая» нейронная сеть используется, чтобы подчеркнуть зависимость от физического оборудования, используемого для эмуляции нейронов, в отличие от программных подходов. В более общем смысле этот термин применим к другим искусственным нейронным сетям, в которых мемристор или другой материал с электрически регулируемым сопротивлением. для эмуляции нейронного синапса используется ^[2]^[3]

Виды физических нейронных сетей

АДАЛИН

В 1960-х годах Бернард Уидроу и Тед Хофф разработали ADALINE (адаптивный линейный нейрон), который использовал электрохимические ячейки, называемые мемисторами (резисторами памяти), для имитации синапсов искусственного нейрона. ^[4] Мемисторы были реализованы как трехконтактные устройства, работающие на основе обратимого гальванического покрытия меди, так что сопротивление между двумя выводами контролируется интегралом тока, подаваемого через третий вывод. Схема ADALINE была на короткое время коммерциализирована корпорацией Memistor в 1960-х годах, что позволило реализовать некоторые приложения в распознавании образов. Однако, поскольку мемисторы не производились с использованием методов изготовления интегральных схем, технология не поддавалась масштабированию и в конечном итоге от нее отказались по мере того, как твердотельная электроника стала зрелой. ^[5]

Аналоговая СБИС

В 1989 году Карвер Мид опубликовал свою книгу «Аналоговые СБИС и нейронные системы» . ^[6] который породил, пожалуй, самый распространенный вариант аналоговых нейронных сетей. Физическая реализация реализована в аналоговой СБИС . Это часто реализуется в виде полевых транзисторов с низкой инверсией. Такие устройства можно моделировать как транслинейные схемы . Это метод, описанный Барри Гилбертом в нескольких статьях примерно в середине 1970-х годов, в частности в его «Транслинейных схемах» 1981 года. ^[7]^[8] С помощью этого метода схемы можно анализировать как набор четко определенных функций в установившемся режиме, и такие схемы собирать в сложные сети.

Физическая нейронная сеть

Алекс Ньюджент описывает физическую нейронную сеть как один или несколько нелинейных нейроноподобных узлов, используемых для суммирования сигналов и наносоединений, образованных из наночастиц, нанопроволок или нанотрубок, которые определяют мощность сигнала, поступающего в узлы. ^[9] Выравнивание или самосборка наносоединений определяется историей приложенного электрического поля, выполняющего функцию, аналогичную нейронным синапсам. Многочисленные приложения ^[10] для таких физических нейронных сетей возможны. Например, устройство временного суммирования ^[11] может состоять из одного или нескольких наносоединений, имеющих вход и выход, при этом входной сигнал, подаваемый на вход, вызывает увеличение прочности соединения одного или нескольких наносоединений с течением времени. Другой пример физической нейронной сети приведен в патенте США № 7 039 619. ^[12] под названием «Используемое нанотехнологическое устройство с использованием нейронной сети, решение и разрыв связи», выданное Алексу Ньюдженту Ведомством по патентам и товарным знакам США 2 мая 2006 г. ^[13]

Дальнейшее применение физической нейронной сети показано в патенте США № 7,412,428, озаглавленном «Применение хеббианского и антихеббианского обучения к физическим нейронным сетям на основе нанотехнологий», выданному 12 августа 2008 года. ^[14]

Ньюджент и Молтер показали, что универсальные вычисления и машинное обучение общего назначения возможны с помощью операций, доступных через простые мемристивные схемы, управляющие правилом пластичности AHaH. ^[15]Совсем недавно утверждалось, что в качестве нейронных сетей могут выступать и сложные сети чисто мемристивных цепей. ^[16]^[17]

Нейронная сеть с фазовым изменением

В 2002 году Стэнфорд Овшинский описал аналоговую нейронную вычислительную среду, в которой материал с фазовым изменением способен кумулятивно реагировать на несколько входных сигналов. ^[18] Электрическое изменение сопротивления материала с фазовым переходом используется для управления взвешиванием входных сигналов.

Мемристивная нейронная сеть

Грег Снайдер из HP Labs описывает систему корковых вычислений с использованием мемристивных наноустройств. ^[19] Мемристоры . (резисторы памяти) выполнены из тонкопленочных материалов, сопротивление которых электрически настраивается за счет транспорта ионов или кислородных вакансий внутри пленки DARPA Проект SyNAPSE профинансировал исследования IBM и лаборатории HP в сотрудничестве с факультетом когнитивных и нейронных систем (CNS) Бостонского университета для разработки нейроморфных архитектур, которые могут быть основаны на мемристивных системах. ^[20]

Протонные искусственные синапсы

В 2022 году исследователи сообщили о разработке наноразмерных вдохновленных мозгом искусственных синапсов, , с использованием иона протона ( H ⁺
), для «аналогового глубокого обучения ». ^[21]^[22]

См. также

Ссылки

^ Лоуренс, Селестина П. (2022), «Компактное моделирование функциональности нанокластера как нейрона высшего порядка» , Транзакции IEEE на электронных устройствах , 69 (9): 5373–5376, Бибкод : 2022ITED...69.5373L , doi : 10.1109 /TED.2022.3191956 , S2CID 251340897
^ «Физические нейронные сети Cornell & NTT: «Радикальная альтернатива для реализации глубоких нейронных сетей», которая обеспечивает произвольное обучение физических систем | Синхронизация» . 27 мая 2021 г.
^ «Нано-спагетти для решения проблемы энергопотребления нейронных сетей» .
^ Уидроу, Б.; Пирс, Вашингтон; Энджелл, Дж. Б. (1961), «Рождение, жизнь и смерть в микроэлектронных системах» (PDF) , Технический отчет № 1552-2/1851-1.
^ Андерсон, Джеймс; Розенфельд, Эдвард (1998), Говорящие сети: устная история нейронных сетей , MIT Press, ISBN 978-0-262-01167-9
^ Мид, Карвер. (1989). Аналоговые СБИС и нейронные системы . Ридинг, Массачусетс: Аддисон-Уэсли. ISBN 0-201-05992-4 . ОСЛК 17954003 .
^ Гилберт, Барри (1981), Транслинейные схемы (Раздаточный материал, стр. 81)
^ Гилберт, Барри (27 декабря 1999 г.), «Транслинейные схемы», Энциклопедия электротехники и электроники Wiley , John Wiley & Sons, Inc., doi : 10.1002/047134608x.w2302 , ISBN 0-471-34608-Х
^ Патент США 6 889 216.
^ Известные патенты США
^ США Патент № 7028017.
^ «Используемый нанотехнологический аппарат с использованием нейтральной сети, решение и разрыв связи» .
^ «Патент США: 8918353 — Методы и системы извлечения признаков» .
^ «Патент США: 9104975 — Мемристорный аппарат» .
^ Ньюджент, Майкл Александр; Молтер, Тимоти Уэсли (2014). «Вычисления AHaH: от метастабильных переключателей к аттракторам и машинному обучению» . ПЛОС ОДИН . 9 (2): e85175. Бибкод : 2014PLoSO...985175N . дои : 10.1371/journal.pone.0085175 . ПМЦ 3919716 . ПМИД 24520315 .
^ Каравелли, Ф.; Траверса, Флорида; Ди Вентра, М. (2017). «Сложная динамика мемристивных цепей: аналитические результаты и универсальная медленная релаксация». Физический обзор E . 95 (2): 022140. arXiv : 1608.08651 . Бибкод : 2017PhRvE..95b2140C . дои : 10.1103/PhysRevE.95.022140 . ПМИД 28297937 . S2CID 6758362 .
^ Каравелли, Ф. (2019). «Асимптотическое поведение мемристивных цепей» . Энтропия . 21 (8): 789. arXiv : 1712.07046 . Бибкод : 2019Entrp..21..789C . дои : 10.3390/e21080789 . ПМЦ 7515318 . ПМИД 33267502 .
^ Патент США 6 999 953.
^ Снайдер, Грег (2008), «Корковые вычисления с мемристивными наноустройствами» , Sci-DAC Review , 10 : 58–65, заархивировано из оригинала 16 мая 2016 г. , получено 26 октября 2009 г.
^ Каравелли, Франческо; Карбахал, Хуан Пабло (2018), «Мемристоры для любопытных посторонних», Technologies , 6 (4): 118, arXiv : 1812.03389 , Bibcode : 2018arXiv181203389C , doi : 10.3390/technologies6040118 , S2CID 54464654
^ « Искусственный синапс может заставить нейронные сети работать как мозг» . Новый учёный . Проверено 21 августа 2022 г.
^ Онен, Мурат; Эмонд, Николас; Ван, Баомин; Чжан, Дифей; Росс, Фрэнсис М.; Ли, Цзюй; Йылдыз, Бильге; дель Аламо, Хесус А. (29 июля 2022 г.). «Наносекундные протонные программируемые резисторы для аналогового глубокого обучения» (PDF) . Наука . 377 (6605): 539–543. Бибкод : 2022Sci...377..539O . дои : 10.1126/science.abp8064 . ISSN 0036-8075 . ПМИД 35901152 . S2CID 251159631 .

Внешние ссылки

Информация о проекте SyNAPSE DARPA, 2009 г.

[1] Лоуренс, Селестина П. (2022), «Компактное моделирование функциональности нанокластера как нейрона высшего порядка» , Транзакции IEEE на электронных устройствах , 69 (9): 5373–5376, Бибкод : 2022ITED...69.5373L , doi : 10.1109 /TED.2022.3191956 , S2CID 251340897

[2] «Физические нейронные сети Cornell & NTT: «Радикальная альтернатива для реализации глубоких нейронных сетей», которая обеспечивает произвольное обучение физических систем | Синхронизация» . 27 мая 2021 г.

[3] «Нано-спагетти для решения проблемы энергопотребления нейронных сетей» .

[4] Уидроу, Б.; Пирс, Вашингтон; Энджелл, Дж. Б. (1961), «Рождение, жизнь и смерть в микроэлектронных системах» (PDF) , Технический отчет № 1552-2/1851-1.

[5] Андерсон, Джеймс; Розенфельд, Эдвард (1998), Говорящие сети: устная история нейронных сетей , MIT Press, ISBN 978-0-262-01167-9

[6] Мид, Карвер. (1989). Аналоговые СБИС и нейронные системы . Ридинг, Массачусетс: Аддисон-Уэсли. ISBN 0-201-05992-4 . ОСЛК 17954003 .

[7] Гилберт, Барри (1981), Транслинейные схемы (Раздаточный материал, стр. 81)

[8] Гилберт, Барри (27 декабря 1999 г.), «Транслинейные схемы», Энциклопедия электротехники и электроники Wiley , John Wiley & Sons, Inc., doi : 10.1002/047134608x.w2302 , ISBN 0-471-34608-Х

[KNOWM-9] Патент США 6 889 216.

[10] Известные патенты США

[11] США Патент № 7028017.

[12] «Используемый нанотехнологический аппарат с использованием нейтральной сети, решение и разрыв связи» .

[13] «Патент США: 8918353 — Методы и системы извлечения признаков» .

[14] «Патент США: 9104975 — Мемристорный аппарат» .

[15] Ньюджент, Майкл Александр; Молтер, Тимоти Уэсли (2014). «Вычисления AHaH: от метастабильных переключателей к аттракторам и машинному обучению» . ПЛОС ОДИН . 9 (2): e85175. Бибкод : 2014PLoSO...985175N . дои : 10.1371/journal.pone.0085175 . ПМЦ 3919716 . ПМИД 24520315 .

[16] Каравелли, Ф.; Траверса, Флорида; Ди Вентра, М. (2017). «Сложная динамика мемристивных цепей: аналитические результаты и универсальная медленная релаксация». Физический обзор E . 95 (2): 022140. arXiv : 1608.08651 . Бибкод : 2017PhRvE..95b2140C . дои : 10.1103/PhysRevE.95.022140 . ПМИД 28297937 . S2CID 6758362 .

[17] Каравелли, Ф. (2019). «Асимптотическое поведение мемристивных цепей» . Энтропия . 21 (8): 789. arXiv : 1712.07046 . Бибкод : 2019Entrp..21..789C . дои : 10.3390/e21080789 . ПМЦ 7515318 . ПМИД 33267502 .

[18] Патент США 6 999 953.

[19] Снайдер, Грег (2008), «Корковые вычисления с мемристивными наноустройствами» , Sci-DAC Review , 10 : 58–65, заархивировано из оригинала 16 мая 2016 г. , получено 26 октября 2009 г.

[20] Каравелли, Франческо; Карбахал, Хуан Пабло (2018), «Мемристоры для любопытных посторонних», Technologies , 6 (4): 118, arXiv : 1812.03389 , Bibcode : 2018arXiv181203389C , doi : 10.3390/technologies6040118 , S2CID 54464654

[21] « Искусственный синапс может заставить нейронные сети работать как мозг» . Новый учёный . Проверено 21 августа 2022 г.

[22] Онен, Мурат; Эмонд, Николас; Ван, Баомин; Чжан, Дифей; Росс, Фрэнсис М.; Ли, Цзюй; Йылдыз, Бильге; дель Аламо, Хесус А. (29 июля 2022 г.). «Наносекундные протонные программируемые резисторы для аналогового глубокого обучения» (PDF) . Наука . 377 (6605): 539–543. Бибкод : 2022Sci...377..539O . дои : 10.1126/science.abp8064 . ISSN 0036-8075 . ПМИД 35901152 . S2CID 251159631 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]