Сеть аттракторов

Сеть аттракторов — это тип рекуррентной динамической сети , которая со временем развивается в сторону стабильной структуры. Узлы в сети аттракторов сходятся к шаблону, который может быть либо фиксированной точкой (единственное состояние), циклическим (с регулярно повторяющимися состояниями), хаотичным (локально, но не глобально нестабильным) или случайным ( стохастическим ). Сети аттракторов широко используются в вычислительной нейробиологии для моделирования нейронных процессов, таких как ассоциативная память. и двигательное поведение, а также в биологических методах машинного обучения.

Сеть аттракторов содержит набор из n узлов, которые можно представить в виде векторов в d -мерном пространстве, где n > d . Со временем состояние сети стремится к одному из множества предопределенных состояний d -многообразия; это аттракторы .

Обзор

См. также: Аттрактор

В сетях аттракторов аттрактор (или притягивающее множество ) представляет собой замкнутое подмножество состояний A , к которому развивается система узлов. Стационарный аттрактор — это состояние или набор состояний, в которых глобальная динамика сети стабилизируется. Циклические аттракторы развивают сеть в направлении набора состояний в предельном цикле , который повторяется неоднократно. Хаотические аттракторы — это неповторяющиеся ограниченные аттракторы, которые непрерывно пересекаются.

Пространство состояний сети представляет собой набор всех возможных состояний узла. Пространство аттрактора — это множество узлов аттрактора.Сети аттракторов инициализируются на основе входного шаблона. Размерность входного шаблона может отличаться от размерности узлов сети. Траектория . сети состоит из набора состояний на пути эволюции, когда сеть сходится к состоянию аттрактора Бассейн притяжения – это совокупность состояний, в результате которых происходит движение к определенному аттрактору.

Типы

Различные типы аттракторов могут использоваться для моделирования различных типов сетевой динамики. Хотя сети аттракторов с фиксированной точкой являются наиболее распространенными (происходящие из сетей Хопфилда ), также рассматриваются другие типы сетей.

Аттракторы с фиксированной точкой

Аттрактор с неподвижной точкой естественным образом следует из сети Хопфилда . Обычно фиксированные точки в этой модели представляют собой закодированные воспоминания. Эти модели использовались для объяснения ассоциативной памяти, классификации и завершения шаблонов. Сети Хопфилда содержат основную энергетическую функцию. которые позволяют сети асимптотически приближаться к стационарному состоянию. Один класс сети точечных аттракторов инициализируется входными данными, после чего входные данные удаляются, и сеть переходит в стабильное состояние. Другой класс сетей аттракторов имеет заранее определенные веса, которые проверяются различными типами входных данных. Если это устойчивое состояние различно во время и после ввода, оно служит моделью ассоциативной памяти. Однако если состояния во время и после ввода не различаются, сеть можно использовать для завершения шаблона.

Другие стационарные аттракторы

Линейные и плоские аттракторы используются при изучении глазодвигательного контроля. Эти линейные аттракторы, или нейронные интеграторы , описывают положение глаз в ответ на стимулы. Кольцевые аттракторы использовались для моделирования направления головы грызунов.

Циклические аттракторы

Циклические аттракторы играют важную роль в моделировании центральных генераторов паттернов — нейронов, которые управляют колебательной активностью животных, такой как жевание, ходьба и дыхание.

Хаотические аттракторы

хаотические аттракторы (также называемые странными аттракторами Было высказано предположение, что ) отражают закономерности распознавания запахов. Хотя хаотические аттракторы обладают преимуществом более быстрой сходимости на предельных циклах, экспериментальных доказательств, подтверждающих эту теорию, пока нет.

Непрерывные аттракторы

Соседние стабильные состояния (фиксированные точки) непрерывных аттракторов (также называемых нейронными сетями непрерывных аттракторов) кодируют соседние значения непрерывной переменной, такой как направление головы или фактическое положение в пространстве.

Кольцевые аттракторы

Подтип непрерывных аттракторов с определенной топологией нейронов (кольцо для одномерных сетей и тор или скрученный тор для двумерных сетей). Наблюдаемую активность клеток сетки успешно объясняют, предполагая наличие кольцевых аттракторов в медиальной энторинальной коре . Недавно было высказано предположение, что подобные кольцевые аттракторы присутствуют в латеральной части энторинальной коры и их роль распространяется на регистрацию новых эпизодических воспоминаний .

Реализации

Сети аттракторов в основном реализуются как модели памяти с использованием аттракторов с фиксированной точкой. Однако они оказались в значительной степени непрактичными для вычислительных целей из-за трудностей в разработке ландшафта аттракторов и сетевых соединений, что приводило к появлению ложных аттракторов и плохо обусловленных бассейнов притяжения. Кроме того, обучение на сетях-аттракторах обычно требует больших вычислительных затрат по сравнению с другими методами, такими как k -ближайших соседей . классификаторы Однако их роль в общем понимании различных биологических функций, таких как двигательная функция, память, принятие решений и т. д., делает их более привлекательными в качестве биологически реалистичных моделей.

Сети Хопфилда

См. Также: Сеть Хопфилда

Сети аттракторов Хопфилда представляют собой раннюю реализацию сетей аттракторов с ассоциативной памятью . Эти рекуррентные сети инициализируются входными данными и стремятся к аттрактору с фиксированной точкой. Функция обновления в дискретное время $x(t+1)=f(Wx(t))$, где $x$ вектор узлов в сети и $W$ — симметричная матрица, описывающая их связность. Постоянное обновление времени ${\frac {dx}{dt}}=-\lambda x+f(Wx)$.

Двунаправленные сети похожи на сети Хопфилда, за исключением того, что матрица $W$ представляет собой блочную матрицу .

Локалистские сети-аттракторы

Zemel and Mozer (2001) предложил метод уменьшения количества ложных аттракторов, возникающих в результате кодирования нескольких аттракторов каждым соединением в сети. Локалистские сети аттракторов кодируют знания локально, реализуя алгоритм максимизации ожидания на смеси гауссиан, представляющих аттракторы, чтобы минимизировать свободную энергию в сети и сходиться только наиболее подходящий аттрактор. Это приводит к следующим уравнениям обновления:

1. Определим активность аттракторов: $q_{i}(t)={\frac {\pi _{i}g(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$
2. Определим следующее состояние сети: $y(t+1)=\alpha (t)\xi +(1-\alpha (t))\sum _{i}q_{i}(t)w_{i}\,\!$
3. Определим ширину аттрактора через сеть: $\sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}$

( $\pi _{i}$ обозначает прочность бассейна, $w_{i}$ обозначает центр бассейна. $\xi$ обозначает ввод в сеть, $g$ представляет собой ненормализованное гауссово распределение с центром в $y$ и стандартного отклонения равно $\sigma$.)

Затем сеть повторно наблюдается, и описанные выше шаги повторяются до тех пор, пока не произойдет сходимость. Модель также отражает две биологически значимые концепции. Изменение $\alpha$ стимула моделирует подготовку , обеспечивая более быструю конвергенцию к недавно посещенному аттрактору. Более того, суммарная активность аттракторов обеспечивает эффект банды , который заставляет два соседних аттрактора взаимно усиливать бассейн другого.

Сети аттракторов реконсолидации

Сигельманн (2008) обобщил модель локальной сети аттракторов, включив в нее настройку самих аттракторов. В этом алгоритме используется описанный выше метод EM со следующими модификациями: (1) раннее завершение алгоритма, когда активность аттрактора наиболее распределена или когда высокая энтропия предполагает необходимость в дополнительных воспоминаниях, и (2) возможность обновления аттракторов. сами себя: $w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!$, где $v$ – параметр размера шага изменения $w_{i}$. Эта модель отражает реконсолидацию памяти у животных и демонстрирует ту же динамику, что и динамика, обнаруженная в экспериментах с памятью.

Дальнейшие разработки сетей аттракторов, таких как ядра , сети аттракторов на основе улучшили вычислительную осуществимость сетей аттракторов в качестве алгоритма обучения, сохраняя при этом гибкость высокого уровня для выполнения шаблонов для сложных композиционных структур.