Двунаправленная ассоциативная память

Двунаправленная ассоциативная память ( БАМ ) представляет собой тип рекуррентной нейронной сети . БАМ был представлен Бартом Коско в 1988 году. ^[1] Существует два типа ассоциативной памяти: автоассоциативная и гетероассоциативная. BAM является гетероассоциативным, то есть по заданному шаблону он может возвращать другой шаблон, который потенциально имеет другой размер. Она похожа на сеть Хопфилда в том, что обе они являются формами ассоциативной памяти . Однако сети Хопфилда возвращают шаблоны одинакового размера.

Говорят, что он двунаправленный, поскольку может реагировать на входные данные как с входного, так и с выходного уровня. ^[2]

Топология

БАМ содержит два слоя нейронов , которые мы обозначим X и Y. Слои X и Y полностью связаны друг с другом. После того, как веса установлены, входные данные в слой X представляют шаблон в слое Y, и наоборот.

Слои могут быть соединены в обоих направлениях (двунаправленно), в результате чего весовая матрица, передаваемая из слоя X в слой Y, будет равна $W$ а весовая матрица для сигналов, передаваемых с уровня Y на уровень X, равна $W^{T}$ . Таким образом, весовая матрица рассчитывается в обоих направлениях. ^[2]

Процедура

Обучение

Представьте, что мы хотим сохранить две ассоциации: A1:B1 и A2:B2.

А1 = (1, 0, 1, 0, 1, 0), В1 = (1, 1, 0, 0)
А2 = (1, 1, 1, 0, 0, 0), В2 = (1, 0, 1, 0)

Затем они трансформируются в биполярные формы:

X1 = (1, -1, 1, -1, 1, -1), Y1 = (1, 1, -1, -1)
X2 = (1, 1, 1, -1, -1, -1), Y2 = (1, -1, 1, -1)

Отсюда мы вычисляем $M=\sum {\!X_{i}^{T}Y_{i}}$ где $X_{i}^{T}$ обозначает транспонирование.Так,

$M=\left[{\begin{array}{*{10}c}2&0&0&-2\\0&-2&2&0\\2&0&0&-2\\-2&0&0&2\\0&2&-2&0\\-2&0&0&2\\\end{array}}\right]$

Отзывать

Чтобы получить ассоциацию A1, мы умножаем ее на M, чтобы получить (4, 2, -2, -4), что при прохождении порога дает (1, 1, 0, 0), что соответствует B1.Чтобы найти обратную ассоциацию, умножьте ее на транспонирование М.

Емкость

Память или емкость хранилища BAM могут быть заданы как $\min(m,n)$ , где " $n$ " — количество единиц в слое X, а " $m$ " — количество единиц в слое Y. ^[3]

Внутренняя матрица имеет nxp независимых степеней свободы, где n — размерность первого вектора (6 в этом примере), а p — размерность второго вектора (4). Это позволяет BAM надежно хранить и вызывать в общей сложности до min(n,p) независимых пар векторов или min(6,4) = 4 в этом примере. ^[1] Емкость можно увеличить выше, пожертвовав надежностью (неправильные биты на выходе).

Стабильность

Пара $(A,B)$ определяет состояние БАМа. Чтобы сохранить шаблон, значение энергетической функции для этого шаблона должно занимать минимальную точку в энергетическом ландшафте.

Анализ устойчивости БАМ основан на определении функции Ляпунова (энергетической функции). $E$ , с каждым состоянием $(A,B)$ . Когда парный узор $(A,B)$ представлен БАМ, нейроны меняют состояния до тех пор, пока не перейдут в двунаправленно стабильное состояние. $(A_{f},B_{f})$ достигается, что, как доказал Коско , соответствует локальному минимуму энергетической функции. Доказано, что дискретный БАМ сходится к устойчивому состоянию.

Энергетическая функция, предложенная Коско, равна $E(A,B)=-AMB^{T}$ для двунаправленного случая, который для частного случая $A=B$ соответствует автоассоциативной энергетической функции Хопфилда . ^[3] (т.е. $E(A,B)=-AMA^{T}$ ).