Сеть Хопфилда

Сеть Хопфилда ( ассоциативная память или модель Изинга-Ленца-Литтла или сеть Накано-Амари-Хопфилда ) — это система спинового стекла , используемая для моделирования нейронных сетей , основанная на Эрнста Изинга работе с Вильгельмом Ленцем над моделью Изинга магнитных материалов. Сети Хопфилда были впервые описаны в отношении рекуррентных нейронных сетей независимо Каору Накано в 1971 году. и Шуничи Амари в 1972 году, а что касается биологических нейронных сетей Уильяма Литтла в 1974 году, и были популяризированы Джоном Хопфилдом в 1982 году. Сети Хопфилда служат содержательно-адресуемыми («ассоциативными») системами памяти с двоичными пороговыми узлами или с непрерывными переменными. Сети Хопфилда также предоставляют модель для понимания человеческой памяти.

История

Сама модель Изинга была опубликована в 1920-е годы как модель магнетизма, однако она изучалась при тепловом равновесии, которое не меняется со временем. Глаубер в 1963 году изучил модель Изинга, развивающуюся во времени, как процесс достижения теплового равновесия ( динамика Глаубера ), добавив компонент времени.

Вторым компонентом, который необходимо добавить, была адаптация к стимулам. Шуничи Амари в 1972 году предложил изменить веса модели Изинга с помощью правила обучения Хебба как модели ассоциативной памяти. Та же идея была опубликована Уильямом А. Литтлом в 1974 году. который был признан Хопфилдом в его статье 1982 года. Модель спинового стекла Шеррингтона -Киркпатрика , опубликованная в 1975 году, представляет собой сеть Хопфилда со случайной инициализацией. Шеррингтон и Киркпатрик обнаружили, что энергетическая функция модели SK с высокой вероятностью будет иметь множество локальных минимумов.

Сети с непрерывной динамикой были разработаны Хопфилдом в его статье 1984 года. Крупный прогресс в области емкости памяти был разработан Кротовым и Хопфилдом в 2016 году. через изменение сетевой динамики и энергетической функции. Эта идея была развита Демирджигилом и его коллегами в 2017 году. Модели непрерывной динамики памяти большой емкости были разработаны в серии статей в период с 2016 по 2020 год. Сети Хопфилда с большой емкостью памяти теперь называются плотными ассоциативными запоминающими устройствами или современными сетями Хопфилда .

Структура

Сеть Хопфилда с четырьмя узлами

Единицы в сетях Хопфилда являются двоичными пороговыми единицами, т. е. единицы принимают только два разных значения для своих состояний, а значение определяется тем, превышает ли входной сигнал единицы ее пороговое значение. $U_{i}$. Дискретные сети Хопфилда описывают отношения между бинарными (активирующими или неактивными) нейронами. $1,2,\ldots ,i,j,\ldots ,N$. В определенный момент состояние нейронной сети описывается вектором $V$, который записывает, какие нейроны срабатывают, в двоичном слове $N$ биты.

Взаимодействия $w_{ij}$ Между нейронами есть единицы, которые обычно принимают значения 1 или -1, и это соглашение будет использоваться на протяжении всей статьи. Однако в другой литературе могут использоваться единицы, принимающие значения 0 и 1. Эти взаимодействия «обучаются» с помощью закона ассоциации Хебба , так что для определенного состояния $V^{s}$ и отдельные узлы $i,j$

$w_{ij}=V_{i}^{s}V_{j}^{s}$

но $w_{ii}=0$.

(Обратите внимание, что правило обучения Хебба принимает форму $w_{ij}=(2V_{i}^{s}-1)(2V_{j}^{s}-1)$ когда единицы принимают значения в $\{0,1\}$.)

Как только сеть будет обучена, $w_{ij}$ больше не развивается. Если новое состояние нейронов $V^{s'}$ вводится в нейронную сеть, сеть действует на нейроны так, что

• $V_{i}^{s'}\rightarrow 1$ если $\sum _{j}w_{ij}V_{j}^{s'}>U_{i}$
• $V_{i}^{s'}\rightarrow -1$ если $\sum _{j}w_{ij}V_{j}^{s'}<U_{i}$

где $U_{i}$ — пороговое значение i-го нейрона (часто принимается равным 0). Таким образом, сети Хопфилда имеют возможность «запоминать» состояния, хранящиеся в матрице взаимодействия, поскольку если новое состояние $V^{s'}$ подвергается воздействию матрицы взаимодействия, каждый нейрон будет меняться до тех пор, пока не достигнет исходного состояния $V^{s}$ (см. раздел «Обновления» ниже).

Соединения в сети Хопфилда обычно имеют следующие ограничения:

• $w_{ii}=0,\forall i$ (ни одна единица не имеет связи сама с собой)
• $w_{ij}=w_{ji},\forall i,j$ (соединения симметричны)

Ограничение симметрии весов гарантирует, что энергетическая функция монотонно убывает при соблюдении правил активации. Сеть с асимметричными весами может демонстрировать периодическое или хаотическое поведение; однако Хопфилд обнаружил, что такое поведение ограничено относительно небольшими частями фазового пространства и не ухудшает способность сети действовать как система ассоциативной памяти с адресацией по контенту.

Хопфилд также моделировал нейронные сети для непрерывных значений, в которых электрический выход каждого нейрона является не двоичным, а некоторым значением от 0 до 1. Он обнаружил, что этот тип сети также способен хранить и воспроизводить запомненные состояния.

Обратите внимание, что каждая пара модулей i и j в сети Хопфилда имеет соединение, которое описывается весом связности. $w_{ij}$. В этом смысле сеть Хопфилда формально можно описать как полный неориентированный граф. $G=\langle V,f\rangle$, где $V$ представляет собой набор нейронов Мак-Каллоха-Питтса и $f:V^{2}\rightarrow \mathbb {R}$ — это функция, которая связывает пары единиц с реальным значением — весом связности.

Обновление

Обновление одной единицы (узла в графе, моделирующем искусственный нейрон) в сети Хопфилда производится по следующему правилу:

$s_{i}\leftarrow \left\{{\begin{array}{ll}+1&{\text{if }}\sum _{j}{w_{ij}s_{j}}\geq \theta _{i},\\-1&{\text{otherwise.}}\end{array}}\right.$

где:

• $w_{ij}$ — прочность соединения веса от узла j до узла i (вес соединения).
• $s_{i}$ состояние единицы i.
• $\theta _{i}$ порог единицы i.

Обновления в сети Хопфилда могут выполняться двумя разными способами:

• Асинхронный : одновременно обновляется только один блок. Этот отряд можно выбрать случайным образом или с самого начала можно установить заранее определенный порядок.
• Синхронно : все устройства обновляются одновременно. Для поддержания синхронизации в системе требуются центральные часы. Некоторые считают этот метод менее реалистичным, поскольку он основан на отсутствии наблюдаемых глобальных часов, влияющих на аналогичные представляющие интерес биологические или физические системы.

Нейроны «притягивают или отталкивают друг друга» в пространстве состояний.

Вес между двумя единицами оказывает мощное влияние на значения нейронов. Учитывайте вес соединения $w_{ij}$ между двумя нейронами i и j. Если $w_{ij}>0$правило обновления подразумевает, что:

• когда $s_{j}=1$, вклад j во взвешенную сумму положителен. Таким образом, $s_{i}$ притягивается j к своему значению $s_{i}=1$
• когда $s_{j}=-1$, вклад j во взвешенную сумму отрицательный. Опять же, $s_{i}$ подталкивается j к своему значению $s_{i}=-1$

Таким образом, значения нейронов i и j сойдутся, если вес между ними положителен. Аналогично они будут расходиться, если вес отрицательный.

Принципы работы дискретных и непрерывных сетей Хопфилда

Брук пролил свет на поведение нейрона в дискретной сети Хопфилда, доказав ее сходимость в своей статье 1990 года. Последующий документ дополнительно исследовал поведение любого нейрона в сетях Хопфилда как с дискретным, так и с непрерывным временем, когда соответствующая энергетическая функция минимизируется в процессе оптимизации. Брук показывает этот нейрон j меняет свое состояние тогда и только тогда, когда он дополнительно уменьшает следующий смещенный псевдоразрез. Дискретная сеть Хопфилда минимизирует следующий смещенный псевдоразрез для матрицы синаптических весов сети Хопфилда.

$J_{pseudo-cut}(k)=\sum _{i\in C_{1}(k)}\sum _{j\in C_{2}(k)}w_{ij}+\sum _{j\in C_{1}(k)}{\theta _{j}}$

где $C_{1}(k)$ и $C_{2}(k)$ представляет набор нейронов, которые равны -1 и +1 соответственно в момент времени $k$. Более подробную информацию можно найти в недавней статье.

Сеть Хопфилда с дискретным временем всегда минимизирует именно следующий псевдоразрез:

$U(k)=\sum _{i=1}^{N}\sum _{j=1}^{N}w_{ij}(s_{i}(k)-s_{j}(k))^{2}+2\sum _{j=1}^{N}\theta _{j}s_{j}(k)$

Сеть Хопфилда с непрерывным временем всегда минимизирует верхнюю границу следующего взвешенного разреза

$V(t)=\sum _{i=1}^{N}\sum _{j=1}^{N}w_{ij}(f(s_{i}(t))-f(s_{j}(t))^{2}+2\sum _{j=1}^{N}\theta _{j}f(s_{j}(t))$

где $f(\cdot )$ является сигмоидальной функцией с центром в нуле.

С другой стороны, сложная сеть Хопфилда обычно имеет тенденцию минимизировать так называемое теневое сокращение матрицы комплексных весов сети.

Энергия

Энергетический ландшафт сети Хопфилда, подчеркивающий текущее состояние сети (вверх по холму), состояние аттрактора, к которому она в конечном итоге сойдётся, минимальный уровень энергии и область притяжения, заштрихованную зелёным. Обратите внимание, что в Energy всегда происходит обновление сети Хопфилда.

Сети Хопфилда имеют скалярное значение, связанное с каждым состоянием сети, называемое «энергией» E сети, где:

$E=-{\frac {1}{2}}\sum _{i,j}w_{ij}s_{i}s_{j}-\sum _{i}\theta _{i}s_{i}$

Это количество называется «энергией», потому что оно либо уменьшается, либо остается неизменным при обновлении сетевых блоков. Более того, при повторном обновлении сеть в конечном итоге сходится к состоянию, которое является локальным минимумом функции энергии (которая считается функцией Ляпунова ). Таким образом, если состояние является локальным минимумом энергетической функции, оно является стабильным состоянием сети. Обратите внимание, что эта энергетическая функция принадлежит к общему классу моделей в физике, называемому моделями Изинга ; они, в свою очередь, являются частным случаем марковских сетей , поскольку связанная с ними вероятностная мера , мера Гиббса , обладает марковским свойством .

Сеть Хопфилда в оптимизации

Хопфилд и Танк представили применение сети Хопфилда для решения классической задачи коммивояжера в 1985 году. С тех пор сеть Хопфилда широко используется для оптимизации. Идея использования сети Хопфилда в задачах оптимизации проста: если ограниченную/неограниченную функцию стоимости можно записать в виде энергетической функции Хопфилда E, то существует сеть Хопфилда, точки равновесия которой представляют собой решения ограниченной/неограниченной оптимизации. проблема. Минимизация энергетической функции Хопфилда одновременно минимизирует целевую функцию и удовлетворяет ограничениям, поскольку ограничения «встроены» в синаптические веса сети. Хотя включение оптимизационных ограничений в синаптические веса наилучшим образом является сложной задачей, многие сложные задачи оптимизации с ограничениями в различных дисциплинах были преобразованы в энергетическую функцию Хопфилда: системы ассоциативной памяти, аналого-цифровое преобразование, работа задача планирования магазина, квадратичное назначение и другие связанные с ней NP-полные задачи, проблема распределения каналов в беспроводных сетях, проблема маршрутизации мобильных одноранговых сетей, восстановление изображений, идентификация системы, комбинаторная оптимизация и т. д., и это лишь некоторые из них. Более подробную информацию можно найти, например, в статье.

Инициализация и запуск

Инициализация сетей Хопфилда выполняется путем установки значений единиц в соответствии с желаемым шаблоном запуска. Затем выполняются повторные обновления до тех пор, пока сеть не сойдется к шаблону аттрактора. Сходимость в целом обеспечивается, поскольку Хопфилд доказал, что аттракторы этой нелинейной динамической системы стабильны, а не периодически или хаотичны, как в некоторых других системах. . Следовательно, в контексте сетей Хопфилда шаблон аттрактора — это окончательное стабильное состояние, шаблон, который не может изменить какое-либо значение внутри себя при обновлении. .

Обучение

Обучение сети Хопфилда предполагает снижение энергии состояний, которые сеть должна «запоминать». Это позволяет сети служить системой памяти с адресацией по содержимому, то есть сеть будет сходиться к «запомненному» состоянию, если ей будет предоставлена ​​только часть состояния. Сеть может использоваться для восстановления после искаженных входных данных до обученного состояния, которое наиболее похоже на эти входные данные. Это называется ассоциативной памятью, поскольку она восстанавливает воспоминания на основе сходства. Например, если мы обучим сеть Хопфилда с пятью элементами так, чтобы состояние (1, −1, 1, −1, 1) было минимумом энергии, и мы зададим сети состояние (1, −1, −1, −1, 1) оно будет сходиться к (1, −1, 1, −1, 1). Таким образом, сеть правильно обучается, когда энергия состояний, которые сеть должна запомнить, является локальным минимумом. Обратите внимание, что, в отличие от обучения перцептроном , пороги нейронов никогда не обновляются.

Правила обучения

Существуют различные правила обучения , которые можно использовать для хранения информации в памяти сети Хопфилда. Желательно, чтобы правило обучения имело оба следующих двух свойства:

• Локальное : правило обучения является локальным , если каждый вес обновляется с использованием информации, доступной нейронам по обе стороны соединения, связанного с этим конкретным весом.
• Поэтапно : новые шаблоны можно изучать без использования информации из старых шаблонов, которые также использовались для обучения. То есть, когда для обучения используется новый шаблон, новые значения весов зависят только от старых значений и нового шаблона.

Эти свойства желательны, поскольку удовлетворяющее им правило обучения более биологически правдоподобно. Например, поскольку человеческий мозг постоянно изучает новые концепции, можно предположить, что человеческое обучение происходит постепенно. Система обучения, которая не была инкрементной, обычно обучалась только один раз с использованием огромного количества обучающих данных.

Правило обучения Хебба для сетей Хопфилда

Теория Хебба была предложена Дональдом Хеббом в 1949 году для объяснения «ассоциативного обучения», при котором одновременная активация нейронных клеток приводит к выраженному увеличению синаптической силы между этими клетками. Это часто резюмируют так: «Нейроны, которые срабатывают вместе, соединяются друг с другом. Нейроны, которые срабатывают несинхронно, не могут соединиться».

Правило Хеббиана является одновременно локальным и инкрементным. Для сетей Хопфилда при обучении это реализуется следующим образом. $n$бинарные шаблоны:

$w_{ij}={\frac {1}{n}}\sum _{\mu =1}^{n}\epsilon _{i}^{\mu }\epsilon _{j}^{\mu }$

где $\epsilon _{i}^{\mu }$ представляет бит i из шаблона $\mu$.

Если биты, соответствующие нейронам i и j, равны по шаблону $\mu$, то произведение $\epsilon _{i}^{\mu }\epsilon _{j}^{\mu }$ будет положительным. Это, в свою очередь, положительно скажется на весе. $w_{ij}$ и значения i и j будут стремиться стать равными. Обратное происходит, если биты, соответствующие нейронам i и j, различны.

Правило обучения Сторки

Это правило было введено Амосом Сторки в 1997 году и является одновременно локальным и поэтапным. Сторки также показал, что сеть Хопфилда, обученная по этому правилу, имеет большую пропускную способность, чем соответствующая сеть, обученная по правилу Хеббиана. Весовая матрица нейронной сети-аттрактора Говорят, что он следует правилу обучения Сторки, если он подчиняется:

$w_{ij}^{\nu }=w_{ij}^{\nu -1}+{\frac {1}{n}}\epsilon _{i}^{\nu }\epsilon _{j}^{\nu }-{\frac {1}{n}}\epsilon _{i}^{\nu }h_{ji}^{\nu }-{\frac {1}{n}}\epsilon _{j}^{\nu }h_{ij}^{\nu }$

где $h_{ij}^{\nu }=\sum _{k=1~:~i\neq k\neq j}^{n}w_{ik}^{\nu -1}\epsilon _{k}^{\nu }$ является формой локального поля на нейроне i.

Это правило обучения является локальным, поскольку синапсы учитывают только нейроны по бокам. Это правило использует больше информации из шаблонов и весов, чем обобщенное правило Хеббиана, из-за влияния локального поля.

Ложные закономерности

Шаблоны, которые сеть использует для обучения (называемые состояниями поиска ), становятся аттракторами системы. Повторные обновления в конечном итоге приведут к сходимости к одному из состояний поиска. Однако иногда сеть сходится к ложным шаблонам (отличным от шаблонов обучения). Энергия в этих ложных узорах также является локальным минимумом. Для каждого сохраненного шаблона x отрицание -x также является ложным шаблоном.

Ложное состояние также может представлять собой линейную комбинацию нечетного числа состояний поиска. Например, при использовании 3 шаблонов $\mu _{1},\mu _{2},\mu _{3}$, можно получить следующее ложное состояние:

$\epsilon _{i}^{\rm {mix}}=\pm \operatorname {sgn}(\pm \epsilon _{i}^{\mu _{1}}\pm \epsilon _{i}^{\mu _{2}}\pm \epsilon _{i}^{\mu _{3}})$

Ложные шаблоны с четным числом состояний не могут существовать, поскольку их сумма может равняться нулю.

Емкость

Емкость сети сетевой модели Хопфилда определяется количеством нейронов и соединениями внутри данной сети. Следовательно, количество воспоминаний, которые можно сохранить, зависит от нейронов и связей. Кроме того, было показано, что точность восстановления между векторами и узлами составила 0,138 (приблизительно 138 векторов можно вызвать из хранилища на каждые 1000 узлов) (Hertz et al., 1991). Поэтому очевидно, что при попытке сохранить большое количество векторов произойдет много ошибок. Когда модель Хопфилда не запоминает правильный шаблон, возможно, имело место вторжение, поскольку семантически связанные элементы имеют тенденцию сбивать человека с толку, и происходит воспоминание неправильного шаблона. Таким образом, показано, что сетевая модель Хопфилда путает один хранимый элемент с другим при извлечении. Идеальный отзыв и высокая емкость (>0,14) могут быть загружены в сеть с помощью метода обучения Сторки; ЭТАМ, Эксперименты ETAM также проводятся. Позднее были разработаны скрытые модели, вдохновленные сетью Хопфилда, чтобы увеличить предел хранения и снизить частоту ошибок поиска, причем некоторые из них были способны к однократному обучению .

Емкость хранилища можно представить как $C\cong {\frac {n}{2\log _{2}n}}$ где $n$ количество нейронов в сети.

Человеческая память

Модель Хопфилда учитывает ассоциативную память посредством включения векторов памяти. Векторы памяти можно слегка использовать, и это приведет к поиску наиболее похожего вектора в сети. Однако мы узнаем, что из-за этого процесса могут произойти вторжения. В ассоциативной памяти для сети Хопфилда существуют два типа операций: автоассоциация и гетероассоциация. Первый — когда вектор связан сам с собой, а второй — когда в хранилище связаны два разных вектора. Более того, оба типа операций можно хранить в одной матрице памяти, но только если данная матрица представления не является той или иной из операций, а скорее комбинацией (автоассоциативной и гетероассоциативной) их двух.

Сетевая модель Хопфилда использует то же правило обучения, что и правило обучения Хебба (1949) , которое характеризует обучение как результат усиления весов в случаях активности нейронов.

Риццуто и Кахана (2001) смогли показать, что модель нейронной сети может учитывать повторение и точность воспроизведения за счет включения алгоритма вероятностного обучения. В процессе поиска никакого обучения не происходит. В результате веса сети остаются фиксированными, показывая, что модель способна переключаться с этапа обучения на этап отзыва. Добавив контекстуальный дрейф, они смогли продемонстрировать быстрое забывание, которое происходит в модели Хопфилда во время задачи по запоминанию. Вся сеть способствует изменению активации любого отдельного узла.

Динамическое правило Мак-Каллоха и Питтса (1943), которое описывает поведение нейронов, делает это таким образом, что показывает, как активация нескольких нейронов отражается на активации скорости срабатывания нового нейрона и как веса нейронов усиливают синаптические связи между новым активированным нейроном (и теми, которые его активировали). Хопфилд будет использовать динамическое правило Маккаллоха-Питтса, чтобы показать, как поиск возможен в сети Хопфилда. Однако Хопфилд делал это повторяющимся образом. Хопфилд использовал бы нелинейную функцию активации вместо линейной функции. Таким образом, это привело бы к созданию динамического правила Хопфилда, и благодаря этому Хопфилд смог показать, что с помощью нелинейной функции активации динамическое правило всегда будет изменять значения вектора состояния в направлении одного из сохраненных шаблонов.

Плотная ассоциативная память или современная сеть Хопфилда

Сети Хопфилда представляют собой рекуррентные нейронные сети с динамическими траекториями, сходящимися к состояниям аттрактора с фиксированной точкой и описываемыми энергетической функцией. Состояние каждого модельного нейрона ${\textstyle i}$ определяется зависящей от времени переменной $V_{i}$, который может быть дискретным или непрерывным. Полная модель описывает математику того, как будущее состояние активности каждого нейрона зависит от известной нынешней или предыдущей активности всех нейронов.

В оригинальной модели ассоциативной памяти Хопфилда переменные были бинарными, а динамика описывалась поочередным обновлением состояния нейронов. Энергетическая функция, квадратичная по $V_{i}$ была определена, а динамика заключалась в изменении активности каждого отдельного нейрона $i$ только в том случае, если это приведет к снижению общей энергии системы. Эта же идея была распространена на случай $V_{i}$ являющаяся непрерывной переменной, представляющей выходные данные нейрона $i$, и $V_{i}$ является монотонной функцией входного тока. Динамика стала выражаться в виде системы дифференциальных уравнений первого порядка, для которых «энергия» системы всегда уменьшалась. Энергия в непрерывном случае имеет один член, квадратичный по $V_{i}$ (как в бинарной модели) и второй член, который зависит от функции усиления (функции активации нейрона). Обладая многими желательными свойствами ассоциативной памяти, обе эти классические системы страдают от небольшого объема памяти, который линейно масштабируется с количеством входных функций. Напротив, увеличивая количество параметров в модели так, чтобы между нейронами существовали не только парные взаимодействия, но и взаимодействия более высокого порядка, можно увеличить емкость памяти.

Плотные ассоциативные воспоминания (также известные как современные сети Хопфилда ) являются обобщением классических сетей Хопфилда, которые нарушают соотношение линейного масштабирования между количеством входных объектов и количеством сохраненных воспоминаний. Это достигается за счет введения более сильных нелинейностей (либо в энергетическую функцию, либо в функции активации нейронов), приводящих к сверхлинейности. (даже экспоненциальное ) емкость памяти как функция количества нейронов функций, что фактически увеличивает порядок взаимодействий между нейронами. Сеть по-прежнему требует достаточного количества скрытых нейронов.

Ключевая теоретическая идея, лежащая в основе плотных ассоциативных сетей памяти, заключается в использовании энергетической функции и правила обновления, которые имеют более резкий пик вокруг сохраненных воспоминаний в пространстве конфигураций нейрона по сравнению с классической моделью. как показано при явном моделировании взаимодействий более высокого порядка и последующих энергетических ландшафтов.

Дискретные переменные

Простой пример современной сети Хопфилда можно записать в терминах двоичных переменных $V_{i}$ которые представляют собой активную $V_{i}=+1$ и неактивен $V_{i}=-1$ состояние модельного нейрона $i$. $$E=-\sum \limits _{\mu =1}^{N_{\text{mem}}}F{\Big (}\sum \limits _{i=1}^{N_{f}}\xi _{\mu i}V_{i}{\Big )}$$В этой формуле веса ${\textstyle \xi _{\mu i}}$ представляют собой матрицу векторов памяти (индекс $\mu =1...N_{\text{mem}}$ перечисляет различные воспоминания и индексирует $i=1...N_{f}$ перечисляет содержимое каждой памяти, соответствующей $i$-й признак нейрона), а функция $F(x)$ является быстро растущей нелинейной функцией. Правило обновления для отдельных нейронов (в асинхронном случае) можно записать в следующем виде $$V_{i}^{(t+1)}=Sign{\bigg [}\sum \limits _{\mu =1}^{N_{\text{mem}}}{\bigg (}F{\Big (}\xi _{\mu i}+\sum \limits _{j\neq i}\xi _{\mu j}V_{j}^{(t)}{\Big )}-F{\Big (}-\xi _{\mu i}+\sum \limits _{j\neq i}\xi _{\mu j}V_{j}^{(t)}{\Big )}{\bigg )}{\bigg ]}$$в котором говорится, что для расчета обновленного состояния ${\textstyle i}$-й нейрон сети сравнивает две энергии: энергию сети с энергией $i$-й нейрон в состоянии ON и энергия сети с $i$-й нейрон в состоянии ВЫКЛ, учитывая состояния оставшегося нейрона. Обновленное состояние $i$-й нейрон выбирает состояние, которое имеет наименьшую из двух энергий.

В предельном случае, когда нелинейная энергетическая функция квадратична $F(x)=x^{2}$ эти уравнения сводятся к знакомой функции энергии и правилу обновления классической бинарной сети Хопфилда.

Емкость памяти этих сетей можно рассчитать для случайных двоичных шаблонов. Для функции мощности энергии $F(x)=x^{n}$ максимальное количество воспоминаний, которые можно сохранить и извлечь из этой сети без ошибок, определяется выражением $$N_{\text{mem}}^{max}\approx {\frac {1}{2(2n-3)!!}}{\frac {N_{f}^{n-1}}{\ln(N_{f})}}$$Для показательной функции энергии ${\textstyle F(x)=e^{x}}$ емкость памяти экспоненциально зависит от количества функциональных нейронов $$N_{\text{mem}}^{max}\approx 2^{N_{f}/2}$$

Рис. 1: Пример непрерывной современной сети Хопфилда с ${\textstyle N_{f}=5}$ особенности нейронов и $N_{\text{mem}}=11$ нейроны памяти (скрытые) с симметричными синаптическими связями между ними.

Непрерывные переменные

Современные сети Хопфилда или плотные ассоциативные воспоминания лучше всего можно понять в непрерывных переменных и непрерывном времени. Рассмотрим архитектуру сети, показанную на рис.1, и уравнения эволюции состояний нейрона.

$${\begin{cases}\tau _{f}{\frac {dx_{i}}{dt}}=\sum \limits _{\mu =1}^{N_{h}}\xi _{i\mu }f_{\mu }-x_{i}+I_{i}\\\tau _{h}{\frac {dh_{\mu }}{dt}}=\sum \limits _{i=1}^{N_{f}}\xi _{\mu i}g_{i}-h_{\mu }\end{cases}}$$ ( 1 )

где токи характеристических нейронов обозначены ${\textstyle x_{i}}$, а токи нейронов памяти обозначаются $h_{\mu }$ ( $h$ означает скрытые нейроны). Между функциональными нейронами и нейронами памяти нет синаптических связей. Матрица $\xi _{\mu i}$ обозначает силу синапсов функционального нейрона $i$ к нейрону памяти $\mu$. Предполагается, что синапсы симметричны, так что одно и то же значение характеризует физический синапс, отличный от нейрона памяти. $\mu$ к функциональному нейрону $i$. Выходы нейронов памяти и нейронов признаков обозначаются $f_{\mu }$ и $g_{i}$, которые являются нелинейными функциями соответствующих токов. В общем, эти выходные данные могут зависеть от токов всех нейронов в этом слое, так что $f_{\mu }=f(\{h_{\mu }\})$ и ${\textstyle g_{i}=g(\{x_{i}\})}$. Эти функции активации удобно определить как производные функций Лагранжа для двух групп нейронов.

$$f_{\mu }={\frac {\partial L_{h}}{\partial h_{\mu }}},\ \ \ \ {\text{and}}\ \ \ \ g_{i}={\frac {\partial L_{x}}{\partial x_{i}}}$$ ( 2 )

Таким образом, конкретный вид уравнений состояний нейрона полностью определяется после задания функций Лагранжа. Наконец, постоянные времени для двух групп нейронов обозначаются через $\tau _{f}$ и $\tau _{h}$, $I_{i}$ — это входной ток в сети, который можно регулировать с помощью представленных данных. 

Рис. 2: Эффективная теория характерных нейронов для различных распространенных вариантов функций Лагранжа. Модель А сводится к моделям, изученным в в зависимости от выбора функции активации модель Б сводится к модели, изучаемой в модель C сводится к модели. F — « достаточно гладкая » функция.

Общие системы нелинейных дифференциальных уравнений могут иметь много сложного поведения, которое может зависеть от выбора нелинейностей и начальных условий. Однако для сетей Хопфилда это не так: динамические траектории всегда сходятся к состоянию аттрактора с фиксированной точкой. Это свойство достигается потому, что эти уравнения специально разработаны так, что в их основе лежит энергетическая функция.

$$E(t)={\Big [}\sum \limits _{i=1}^{N_{f}}(x_{i}-I_{i})g_{i}-L_{x}{\Big ]}+{\Big [}\sum \limits _{\mu =1}^{N_{h}}h_{\mu }f_{\mu }-L_{h}{\Big ]}-\sum \limits _{\mu ,i}f_{\mu }\xi _{\mu i}g_{i}$$ ( 3 )

Члены, сгруппированные в квадратные скобки, представляют собой преобразование Лежандра функции Лагранжа относительно состояний нейронов. Если матрицы Гессе функций Лагранжа положительно полуопределенны, то энергетическая функция гарантированно убывает на динамической траектории

$${\frac {dE(t)}{dt}}=-\tau _{f}\sum \limits _{i,j=1}^{N_{f}}{\frac {dx_{i}}{dt}}{\frac {\partial ^{2}L_{x}}{\partial x_{i}\partial x_{j}}}{\frac {dx_{j}}{dt}}-\tau _{h}\sum \limits _{\mu ,\nu =1}^{N_{h}}{\frac {dh_{\mu }}{dt}}{\frac {\partial ^{2}L_{h}}{\partial h_{\mu }\partial h_{\nu }}}{\frac {dh_{\nu }}{dt}}\leq 0$$ ( 4 )

Это свойство позволяет доказать, что система динамических уравнений, описывающая временную эволюцию активности нейронов, в конечном итоге достигнет состояния аттрактора с фиксированной точкой.

В определенных ситуациях можно предположить, что динамика скрытых нейронов уравновешивается гораздо быстрее по сравнению с динамикой характерных нейронов. ${\textstyle \tau _{h}\ll \tau _{f}}$. В этом случае стационарное решение второго уравнения системы ( 1 ) можно использовать для выражения токов скрытых единиц через выходы признакных нейронов. Это позволяет свести общую теорию ( 1 ) к эффективной теории только для признаковых нейронов. Полученные в результате эффективные правила обновления и энергии для различных распространенных вариантов функций Лагранжа показаны на рис.2. В случае логарифмической экспоненциальной функции Лагранжа правило обновления (если оно применяется один раз) для состояний характерных нейронов является механизмом внимания. обычно используется во многих современных системах искусственного интеллекта (см. для вывода этого результата из формулировки непрерывного времени).

Связь с классической сетью Хопфилда с непрерывными переменными

Классическая формулировка непрерывных сетей Хопфилда. можно понять как частный предельный случай современных сетей Хопфилда с одним скрытым слоем. Обычно описываются непрерывные сети Хопфилда для нейронов с ступенчатой ​​реакцией. по динамическим уравнениям

$$\tau _{f}{\frac {dx_{i}}{dt}}=\sum \limits _{j=1}^{N_{f}}T_{ij}V_{j}-x_{i}+I_{i}$$ ( 5 )

и энергетическая функция

$$E=-{\frac {1}{2}}\sum \limits _{i,j=1}^{N_{f}}T_{ij}V_{i}V_{j}-\sum \limits _{i=1}^{N_{f}}V_{i}I_{i}+\sum \limits _{i=1}^{N_{f}}\int \limits ^{V_{i}}g^{-1}(z)\,dz$$ ( 6 )

где ${\textstyle V_{i}=g(x_{i})}$, и $g^{-1}(z)$ является обратной функцией активации $g(x)$. Эта модель представляет собой особый предел класса моделей, который называется моделями А. со следующим выбором функций Лагранжа

$$L_{v}=\sum \limits _{i=1}^{N_{f}}\int \limits ^{x_{i}}g(x)dx,\ \ \ \ \ {\text{and}}\ \ \ \ \ L_{h}={\frac {1}{2}}\sum \limits _{\mu =1}^{N_{h}}h_{\mu }^{2}$$ ( 7 )

что согласно определению ( 2 ) приводит к функциям активации

$$V_{i}=g(x_{i}),\ \ \ \ \ {\text{and}}\ \ \ \ \ f_{\mu }=h_{\mu }$$ ( 8 )

Если интегрировать скрытые нейроны, то система уравнений ( 1 ) сводится к уравнениям для признакных нейронов ( 5 ) с $T_{ij}=\sum \limits _{\mu =1}^{N_{h}}\xi _{\mu i}\xi _{\mu j}$, а общее выражение для энергии ( 3 ) сводится к эффективной энергии

$$E=-{\frac {1}{2}}\sum \limits _{i,j=1}^{N_{f}}T_{ij}V_{i}V_{j}-\sum \limits _{i=1}^{N_{f}}V_{i}I_{i}+\sum \limits _{i=1}^{N_{f}}{\Big (}x_{i}V_{i}-\int \limits ^{x_{i}}g(x)dx{\Big )}$$ ( 9 )

Хотя первые два члена в уравнении ( 6 ) такие же, как и в уравнении ( 9 ), третьи члены внешне выглядят иначе. В уравнении ( 9 ) это преобразование Лежандра лагранжиана для характерных нейронов, а в ( 6 ) третий член представляет собой интеграл обратной функции активации. Тем не менее, эти два выражения фактически эквивалентны, поскольку производные функции и ее преобразования Лежандра являются обратными функциями друг друга. Самый простой способ увидеть, что эти два термина явно равны, — это дифференцировать каждый из них по $x_{i}$. Результаты этих дифференцирований для обоих выражений равны $x_{i}g(x_{i})'$. Таким образом, два выражения равны с точностью до аддитивной константы. Это завершает доказательство что классическая сеть Хопфилда с непрерывными состояниями является частным предельным случаем современной сети Хопфилда ( 1 ) с энергией ( 3 ).

Общая формулировка современной сети Хопфилда

Рис. 3: Схема связности полносвязной современной сети Хопфилда, состоящей из пяти нейронов. Синаптические веса описываются симметричной матрицей $W_{IJ}$.

Биологические нейронные сети обладают большой степенью гетерогенности в отношении разных типов клеток. В этом разделе описывается математическая модель полностью связной современной сети Хопфилда, предполагающая крайнюю степень неоднородности: каждый нейрон уникален. В частности, энергетическая функция и соответствующие динамические уравнения описываются в предположении, что каждый нейрон имеет свою собственную функцию активации и кинетическую шкалу времени. Предполагается, что сеть полностью связна, так что каждый нейрон связан с каждым другим нейроном с помощью симметричной матрицы весов. $W_{IJ}$, индексы $I$ и $J$ перечислить разные нейроны в сети, см. рис.3. Самый простой способ математически сформулировать эту проблему — определить архитектуру через функцию Лагранжа. $L(\{x_{I}\})$ это зависит от активности всех нейронов в сети. Функция активации для каждого нейрона определяется как частная производная лагранжиана по активности этого нейрона.

$$g_{I}={\frac {\partial L}{\partial x_{I}}}$$ ( 10 )

С биологической точки зрения можно подумать о $g_{I}$ как аксональный выход нейрона $I$. В простейшем случае, когда лагранжиан аддитивен для разных нейронов, это определение приводит к активации, которая является нелинейной функцией активности этого нейрона. Для неаддитивных лагранжианов эта функция активации может зависеть от активности группы нейронов. Например, он может содержать контрастную (softmax) или разделительную нормализацию. Динамические уравнения, описывающие временную эволюцию данного нейрона, имеют вид

$$\tau _{I}{\frac {dx_{I}}{dt}}=\sum \limits _{J=1}^{N}W_{IJ}g_{J}-x_{I}$$ ( 11 )

Это уравнение принадлежит к классу моделей, называемых моделями скорости стрельбы в нейробиологии. Каждый нейрон $I$ собирает выходы аксонов $g_{J}$ от всех нейронов, взвешивает их синаптическими коэффициентами $W_{IJ}$ и производит свою собственную, зависящую от времени активность $x_{I}$. Временная эволюция имеет постоянную времени $\tau _{I}$, которые в общем случае могут быть разными для каждого нейрона. Эта сеть имеет глобальную энергетическую функцию.

$$E=\sum \limits _{I=1}^{N}x_{I}g_{I}-L-{\frac {1}{2}}\sum \limits _{I,J=1}^{N}g_{I}W_{IJ}g_{J}$$ ( 12 )

где первые два члена представляют собой преобразование Лежандра функции Лагранжа относительно токов нейронов $x_{I}$. Производная по времени этой энергетической функции может быть вычислена на динамических траекториях, ведущих к (см. подробности)

$${\frac {dE}{dt}}=-\sum \limits _{I,K=1}^{N}{\frac {dx_{I}}{dt}}M_{IK}{\frac {dx_{K}}{dt}}\leq 0,\ \ \ \ {\text{where}}\ \ \ \ M_{IK}=\tau _{I}{\frac {\partial ^{2}L}{\partial x_{I}\partial x_{K}}}$$ ( 13 )

Последний знак неравенства имеет место при условии, что матрица $M_{IK}$ (или его симметричная часть) положительно полуопределена. Если вдобавок к этому энергетическая функция ограничена снизу, то нелинейные динамические уравнения гарантированно сходятся к состоянию аттрактора с неподвижной точкой. Преимущество формулирования этой сети в терминах функций Лагранжа состоит в том, что она позволяет легко экспериментировать с различным выбором функций активации и различным архитектурным расположением нейронов. Для всех этих гибких вариантов условия сходимости определяются свойствами матрицы $M_{IJ}$ и существование нижней границы энергетической функции.

Рис. 4: Схема подключения многоуровневой сети иерархической ассоциативной памяти. Каждый слой может иметь разное количество нейронов, разную функцию активации и разные временные масштабы. Веса прямой связи и веса обратной связи равны.

Иерархическая ассоциативная сеть памяти

Нейроны могут быть организованы в слои так, чтобы каждый нейрон в данном слое имел одинаковую функцию активации и одинаковую динамическую шкалу времени. Если предположить, что между нейронами внутри слоя нет горизонтальных связей (латеральных связей) и нет связей с пропуском слоев, то общая полносвязная сеть ( 11 ), ( 12 ) сводится к архитектуре, показанной на рис.4. Он имеет $N_{\text{layer}}$ слои рекуррентно связанных нейронов с состояниями, описываемыми непрерывными переменными $x_{i}^{A}$ и функции активации $g_{i}^{A}$, индекс $A$ перечисляет слои сети и индексирует $i$ перечисляет отдельные нейроны в этом слое. Функции активации могут зависеть от активности всех нейронов слоя. Каждый слой может иметь разное количество нейронов. $N_{A}$. Эти нейроны рекуррентно связаны с нейронами предыдущего и последующих слоев. Матрицы весов, соединяющие нейроны в слоях $A$ и $B$ обозначаются $\xi _{ij}^{(A,B)}$ (порядок верхних индексов весов такой же, как и порядок нижних индексов, в примере выше это означает, что индекс $i$ перечисляет нейроны в слое $A$и индекс $j$ перечисляет нейроны в слое $B$). Веса прямой связи и веса обратной связи равны. Динамические уравнения состояний нейронов можно записать в виде

$$\tau _{A}{\frac {dx_{i}^{A}}{dt}}=\sum \limits _{j=1}^{N_{A-1}}\xi _{ij}^{(A,A-1)}g_{j}^{A-1}+\sum \limits _{j=1}^{N_{A+1}}\xi _{ij}^{(A,A+1)}g_{j}^{A+1}-x_{i}^{A}$$ ( 14 )

с граничными условиями

$$g_{i}^{0}=0,\ \ \ \ \ {\text{and}}\ \ \ \ \ g_{i}^{N_{\text{layer}}+1}=0$$ ( 15 )

Основное отличие этих уравнений от уравнений обычных сетей прямого распространения заключается в наличии второго члена, который отвечает за обратную связь с более высокими уровнями. Эти нисходящие сигналы помогают нейронам нижних слоев принять решение о своей реакции на предъявленные стимулы. Следуя общему рецепту, удобно ввести функцию Лагранжа $L^{A}(\{x_{i}^{A}\})$ для $A$-й скрытый слой, который зависит от активности всех нейронов этого слоя. Функции активации в этом слое можно определить как частные производные лагранжиана

$$g_{i}^{A}={\frac {\partial L^{A}}{\partial x_{i}^{A}}}$$ ( 16 )

С этими определениями функция энергии (Ляпунова) определяется выражением

$$E=\sum \limits _{A=1}^{N_{\text{layer}}}{\Big [}\sum \limits _{i=1}^{N_{A}}x_{i}^{A}g_{i}^{A}-L^{A}{\Big ]}-\sum \limits _{A=1}^{N_{\text{layer}}-1}\sum \limits _{i=1}^{N_{A+1}}\sum \limits _{j=1}^{N_{A}}g_{i}^{A+1}\xi _{ij}^{(A+1,A)}g_{j}^{A}$$ ( 17 )

Если функции Лагранжа или, что то же самое, функции активации выбраны таким образом, что гессиан для каждого слоя является положительно полуопределенным, а общая энергия ограничена снизу, эта система гарантированно сходится к состоянию аттрактора с фиксированной точкой. Производная по времени этой энергетической функции определяется выражением

$${\frac {dE}{dt}}=-\sum \limits _{A=1}^{N_{\text{layer}}}\tau _{A}\sum \limits _{i,j=1}^{N_{A}}{\frac {dx_{j}^{A}}{dt}}{\frac {\partial ^{2}L^{A}}{\partial x_{j}^{A}\partial x_{i}^{A}}}{\frac {dx_{i}^{A}}{dt}}\leq 0$$ ( 18 )

Таким образом, иерархическая слоистая сеть действительно является сетью-аттрактором с глобальной энергетической функцией. Эта сеть описывается иерархическим набором синаптических весов, которые можно изучить для каждой конкретной проблемы.

См. также

• Ассоциативная память (значения)
• Автоассоциативная память
• Машина Больцмана - похожа на сеть Хопфилда, но вместо градиентного спуска использует отожженную выборку Гиббса.
• Модель динамических систем познания
• Модель Изинга
• Теория Хеббиана

Ссылки

• Хебб, Д.О. (2005) [1949]. Организация поведения: нейропсихологическая теория . Психология Пресс. ISBN  978-1-135-63190-1 .
• Герц, Джон А. (2018) [1991]. Введение в теорию нейронных вычислений . ЦРК Пресс. ISBN  978-0-429-96821-1 .
• Маккалок, штат Вашингтон; Питтс, WH (1943). «Логическое исчисление идей, имманентных нервной деятельности». Вестник математической биофизики . 5 (4): 115–133. дои : 10.1007/BF02478259 .
• Полин, С.М.; Кахана, MJ (2008). «Поиск в памяти и нейронное представление контекста» . Тенденции в когнитивных науках . 12 (1): 24–30. дои : 10.1016/j.tics.2007.10.010 . ПМЦ   2839453 . ПМИД   18069046 .
• Риццуто, Д.С.; Кахана, MJ (2001). «Автоассоциативная нейронная сетевая модель парно-ассоциированного обучения». Нейронные вычисления . 13 (9): 2075–2092. CiteSeerX   10.1.1.45.7929 . дои : 10.1162/089976601750399317 . ПМИД   11516358 . S2CID   7675117 .
• Крузе, Рудольф; Боргельт, Кристиан; Клавонн, Фрэнк; Мовес, Кристиан; Штайнбрехер, Матиас; Хелд, Паскаль (2013). Вычислительный интеллект: методологическое введение . Спрингер. ISBN  978-1-4471-5013-8 .

Внешние ссылки

• Рохас, Рауль (12 июля 1996 г.). «13. Модель Хопфилда» (PDF) . Нейронные сети – систематическое введение . Спрингер. ISBN  978-3-540-60505-8 .
• Сеть Хопфилда Javascript
• Задача коммивояжера. Архивировано 30 мая 2015 г. в Wayback Machine - JAVA-апплет нейронной сети Хопфилда.
• Хопфилд, Джон (2007). «Сеть Хопфилда» . Схоларпедия . 2 (5): 1977. Бибкод : 2007SchpJ...2.1977H . doi : 10.4249/scholarpedia.1977 .
• Флетчер, Тристан. «Обучение сети Хопфилда с использованием детерминированных скрытых переменных» (PDF) (учебник). Архивировано из оригинала (PDF) 5 октября 2011 г.