Разреженная распределенная память

Разреженная распределенная память ( SDM ) — математическая модель долговременной памяти человека, представленная Пентти Канервой в 1988 году, когда он работал в Исследовательском центре Эймса НАСА .

Эта память демонстрирует поведение, как в теории, так и в эксперименте, которое напоминает поведение, ранее недоступное машинам – например, быстрое распознавание лиц или запахов, обнаружение новых связей между, казалось бы, несвязанными идеями и т. д. Разреженная распределенная память используется для хранения и извлечения больших объемов информации. суммы ( $2^{1000}$ биты ) информации, не ориентируясь на точность, а на сходство информации. Есть несколько недавних приложений в области навигации роботов. и манипулирование роботами, основанное на опыте.

Общий принцип

Это обобщенное оперативное запоминающее устройство (ОЗУ) для длинных (например, 1000 бит) двоичных слов. Эти слова служат одновременно адресами и данными для памяти. Главный признак памяти — чувствительность к сходству. Это означает, что слово можно прочитать обратно, не только указав исходный адрес записи, но и указав близкий к нему адрес, измеряемый количеством несовпадающих битов (т. е. расстоянием Хэмминга между адресами памяти ).

SDM реализует преобразование логического пространства в физическое, используя распределенное представление и хранение данных, аналогично процессам кодирования в памяти человека. Значение, соответствующее логическому адресу, хранится во многих физических адресах. Этот способ хранения является надежным и не детерминированным. Ячейка памяти не обращается напрямую. Если входные данные (логические адреса) вообще частично повреждены, мы все равно можем получить правильные выходные данные.

Теория памяти математически завершена и было подтверждено компьютерным моделированием . Оно возникло в результате наблюдения, что расстояния между точками многомерного пространства напоминают отношения близости между понятиями в человеческой памяти. Теория практична еще и тем, что основанные на ней воспоминания могут быть реализованы с помощью обычных элементов оперативной памяти .

Определение

Человеческая память имеет тенденцию объединять воспоминания на основе сходства между ними (хотя они могут и не быть связаны), например, «пожарные машины красные, а яблоки красные». Разреженная распределенная память представляет собой математическое представление человеческой памяти и использует многомерное пространство для моделирования больших объемов памяти, имитирующих память человеческой нейронной сети. АнВажным свойством таких многомерных пространств является то, что два случайно выбранных вектора находятся относительно далеко друг от друга, а это означает, что они некоррелированы. SDM можно рассматривать как реализацию хеширования с учетом местоположения .

Основная идея SDM заключается в отображении огромной двоичной памяти на меньший набор физических мест, так называемых жестких мест . Как правило, эти жесткие местоположения должны быть равномерно распределены в виртуальном пространстве , чтобы максимально точно имитировать существование большего виртуального пространства. Все данные хранятся и распределяются по набору жестких местоположений и извлекаются путем усреднения этих местоположений. Поэтому припоминание может быть не идеальным, точность зависит от насыщенности памяти.

Предложение Канервы основано на четырех основных идеях:

1. Логическое пространство $\{0,1\}^{n}$, или $2^{n}$ указывает на $10^{0}<n<10^{5}$ измерений, демонстрирует свойства, которые аналогичны интуитивным представлениям людей о взаимосвязях между понятиями. Это означает, что имеет смысл хранить данные в виде точек упомянутого пространства, где каждый элемент памяти хранится в виде n-битного вектора.
2. Нейроны с n входами можно использовать как декодеры адресов оперативной памяти.
3. Принцип унификации: данные, хранящиеся в памяти, могут использоваться как адреса одной и той же памяти. Расстояние между двумя точками является мерой сходства между двумя элементами памяти. Чем ближе точки, тем более похожи сохраненные векторы.
4. Время можно проследить в памяти как функцию того, где хранятся данные, если данные организованы как последовательность событий.

Бинарное пространство N

Дополнительная информация: Векторная пространственная модель.

SDM работает с n-мерными векторами с двоичными компонентами. В зависимости от контекста векторы называются точками, шаблонами, адресами, словами, элементами памяти, данными или событиями. Этот раздел в основном посвящен свойствам векторного пространства N = $\{0,1\}^{n}$. Пусть n — число измерений пространства. Тогда количество точек или возможных элементов памяти $2^{n}$. Мы обозначим это число N и будем использовать N и $2^{n}$ стоять также за само пространство.

Понятия, связанные с пространством N: $\{0,1\}^{n}$

• Начало координат , 0: Точка со всеми координатами 0 называется началом координат, 0 = 000...00.
• Дополнение , 'x: Дополнением или противоположностью точки x является n-кортеж, в котором есть единицы, где x имеет нули, и наоборот.
• Норма , |x|: Норма точки x — это количество единиц в ее двоичном представлении.
• Разница , x - y: разница двух точек x и y представляет собой n-кортеж, в котором есть точки, в которых x и y различаются, и нули в других местах. Это побитовое « исключительное или »: x − y = x ⊕ y. Разница коммутирует: x − y = y − x.
• Расстояние , d(x, y) Расстояние между двумя точками x и y — это количество измерений, в которых x и y различаются. Оно называется расстоянием Хэмминга (его квадратный корень — евклидово расстояние ) и выражается в битах. Расстояние – это норма разности: d(x, y) = |x − y|
• Между , x:y:z: Точка y находится между точками x и z тогда и только тогда, когда расстояние от x до z является суммой расстояний от x до y и от y до z; то есть x:y:z ⇔ d(x, z) = d(x, y) + d(y, z). Легко заметить, что каждый бит промежуточной точки является копией соответствующего бита конечной точки.
• Ортогональность , x ⊥ y: точка x ортогональна точке y, или они перпендикулярны или безразличны, если и только если расстояние между ними составляет половину количества измерений: x ⊥ y ⇔ d(x, y) = n /2. Расстояние n/2 называется расстоянием безразличия пространства N. Если x ортогонален y, он также ортогонален своему дополнению 'y (x находится на полпути между y и 'y).
• Circle , O(r,x) Круг с радиусом r и центром x — это набор точек, которые находятся не более чем на r битах от x: O(r,x) = {y | d(x, y) ≤ r}.

Свойства пространства N: $\{0,1\}^{n}$

Пространство N можно представить вершинами единичного куба в n-мерном евклидовом пространстве . Вершины лежат на поверхности n-мерной сферы с (евклидово-метрическим) радиусом. ${\sqrt {n}}/2$. Отсюда возникает аналогия со сферой . Назовем пространство сферическим, если

1. любая точка x имеет уникальную противоположность 'x,
2. все пространство находится между любой точкой x и ее противоположностью 'x, и
3. все точки «равны» (это означает, что для любых двух точек x и y существует автоморфизм пространства, сохраняющий расстояние, который отображает x в y, так что из любой из своих точек пространство «выглядит» одинаково).

Поверхность сферы (в евклидовом 3d-пространстве) явно сферическая. Согласно определению, N также является сферическим, поскольку y ⊕ x ⊕ (…) — автоморфизм, отображающий x в y. Поскольку N имеет сферическую форму, полезно думать о нем как о поверхности сферы с длиной окружности 2n. Все точки N в равной степени считаются точками происхождения, а точка и ее дополнение подобны двум полюсам, находящимся на расстоянии n друг от друга, со всем пространством между ними. Точки на полпути между полюсами и перпендикулярные им подобны экватору.

Распределение пространства N

Количество точек, которые являются ровно d битами от произвольной точки x (скажем, от точки 0), представляет собой количество способов выбрать d координат из общего числа n координат и, следовательно, определяется биномиальным коэффициентом : ${\binom {n}{d}}={\frac {n!}{d!(n-d)!}}$

Таким образом, распределение N представляет собой биномиальное распределение с параметрами n и p, где p = 1/2. Среднее значение биномиального распределения равно n/2, а дисперсия — n/4. Эту функцию распределения будем обозначать N(d). Нормальное распределение F со средним значением n/2 и стандартным отклонением ${\sqrt {n}}/2$ является хорошим приближением к нему: N(d) = Pr{d(x, y) ≤ d} ≅ F{(d − n/2)/ ${\sqrt {n/4}}$}

Склонность к ортогональности

Выдающимся свойством N является то, что большая его часть находится примерно на среднем (безразличном) расстоянии n/2 от точки (и ее дополнения). Вдругими словами, большая часть пространства почти ортогональна любой данной точке, и чем больше n, тем более выражен этот эффект.

Как нейронная сеть

SDM можно рассматривать либо как адресуемое по контенту расширение классической памяти с произвольным доступом (ОЗУ), либо как особый тип трехслойной нейронной сети с прямой связью . Основные изменения SDM в оперативной памяти:

• SDM вычисляет расстояния Хэмминга между эталонным адресом и каждым адресом местоположения. Для каждого расстояния, меньшего или равного заданному радиусу, выбирается соответствующее местоположение.
• Память представлена ​​счетчиками (где n — количество ячеек, а m — длина входных данных) вместо однобитовых элементов хранения.
• Запись в память вместо перезаписи осуществляется следующим образом:
  • если i-бит входных данных равен 1, соответствующие счетчики (счетчики в выбранных местах (строках) и в i-м столбцах) увеличиваются,
  • если i-бит входных данных равен 0, соответствующие счетчики уменьшаются.
• Чтение (или вызов) из памяти аналогично:
  • Содержимое выбранных местоположений суммируется по столбцам.
  • Каждая сумма имеет пороговое значение. Если сумма больше или равна пороговому значению, соответствующий выходной бит устанавливается в 1, в противном случае он очищается. Обратите внимание, что пороги могут быть нулевыми, если входные обучающие векторы замкнуты на ортогональные.

Модель нейрона

Идеализированное описание нейрона выглядит следующим образом: нейрон имеет клеточное тело с двумя видами ветвей: дендритами и аксоном . Он получает входные сигналы от других нейронов через дендриты, интегрирует (суммирует) их и генерирует собственный (электрический) выходной сигнал, который отправляется внешним нейронам через аксон. Точки электрического контакта между нейронами называются синапсами .

Когда нейрон генерирует сигнал, он срабатывает , и после срабатывания он должен восстановиться, прежде чем снова сработает.Относительная важность синапса для срабатывания нейрона называется синаптическим весом (или входным коэффициентом ). Существует два типа синапсов: возбуждающие нейрона , которые вызывают возбуждение , и тормозные , которые препятствуют возбуждению. Нейрон может быть возбуждающим или тормозящим в зависимости от типа синапсов, образуемых его аксоном.

Нейрон срабатывает, когда сумма входных данных превышает определенный порог . Чем выше порог, тем важнее, чтобы возбуждающие синапсы имели входной сигнал, а тормозные — нет. Действительно ли восстановленный нейрон срабатывает, зависит от того, получил ли он достаточную возбуждающую информацию (сверх порога) и не слишком много тормозной энергии в течение определенного периода.

Формальная модель нейрона делает дальнейшие упрощающие предположения. -входной нейрон n моделируется линейной пороговой функцией $F:\{0,1\}^{n}->\{0,1\}$ следующее :

Для $i=0,...,n-1$ где n — количество входов, пусть $F_{t}$ быть выходом в момент времени t : $F_{t}\in \{0,1\}$, и пусть $x_{i,t}$ быть i -м входом в момент времени t : $x_{i,t}\in \{0,1\}$. Позволять $w_{i}$ быть весом i -го входа и пусть $c$ быть порогом.

Взвешенная сумма входных данных в момент времени t определяется выражением $S_{t}=\sum _{i=0}^{n-1}w_{i}x_{i,t}$

в Выход нейрона момент времени t затем определяется как булева функция : $\mathbf {F} _{t}={\begin{cases}1&{\text{if }}S_{t}>=c,\\0&{\text{otherwise }}.\end{cases}}$

Где F _t =1 означает, что нейрон срабатывает в момент времени t , а F _t =0 — нет, т.е. для того, чтобы нейрон сработал, взвешенная сумма должна достичь или превысить пороговое значение.Возбуждающие входы увеличивают сумму, а тормозные входы уменьшают ее.

Нейрон как декодер адреса

Ключевой тезис Канервы заключается в том, что входные коэффициенты и пороговые значения некоторых нейронов могут быть фиксированными на протяжении всей жизни организма и использоваться в качестве декодеров адреса, где n -кортеж входных коэффициентов (паттерн, на который нейроны реагируют с наибольшей готовностью) определяет n -битный адрес памяти, и порог контролирует размер области аналогичных шаблонов адресов, на которые реагирует нейрон.

Этот механизм дополняет регулируемые синапсы или регулируемые веса в нейронной сети ( конвергентное обучение перцептрона ), поскольку этот механизм фиксированного доступа будет постоянной системой отсчета , которая позволяет выбирать синапсы, в которых хранится информация и из которых она извлекается. при данном стечении обстоятельств. Более того, кодирование настоящего обстоятельства могло бы служить адресом.

Адрес a нейрона с входными коэффициентами w , где $w_{0},..,w_{n_{1}}$ определяется как n -битный входной шаблон, который максимизирует взвешенную сумму. Максимум возникает, когда тормозные входы равны нулю, а возбуждающие входы — единицам. -й бит i адреса:

$\mathbf {a} _{i}={\begin{cases}1&{\text{if }}w_{i}>0,\\0&{\text{if }}w_{i}<0.\end{cases}}$(при условии, что веса не равны нулю)

Максимальная взвешенная сумма $S(w)$ тогда представляет собой сумму всех положительных коэффициентов: $S(w)=\sum _{w_{i}>0}w_{i}$

И минимальная взвешенная сумма $s(w)$ будет соответствовать точке напротив адреса нейрона a`: $s(w)=\sum _{w_{i}<0}w_{i}$

Когда порог c находится в диапазоне $s(w)<c<S(w)$ выход нейрона равен 0 для некоторых адресов (входных шаблонов) и 1 для других. Если порог выше S, выход всегда равен 0, если он ниже s, выход всегда равен 1. Таким образом, при правильном выборе порога нейрон реагирует только на один адрес. Когда порог равен S (максимум взвешенной суммы), нейрон реагирует только на свой собственный адрес и действует как декодер адреса обычной оперативной памяти .

Местоположение памяти

SDM разработан для работы с шаблонами адресов, охватывающими огромное адресное пространство (порядка $2^{1000}$). SDM предполагает, что шаблоны адресов, фактически описывающие интересующие физические ситуации, редко разбросаны по входному пространству. Невозможно зарезервировать отдельное физическое место, соответствующее каждому возможному входу; SDM реализует только ограниченное количество физических или жестких мест. Физическое местоположение называется ячейкой памяти (или жесткой памятью ).

С каждой жесткой локацией связаны два предмета:

• фиксированный жесткий адрес, который представляет собой N-битный адрес местоположения
• часть содержимого шириной M бит, которая может накапливать несколько шаблонов данных M бит, записанных в эту ячейку. Часть содержимого не фиксирована; он модифицируется шаблонами данных, записанными в память.

В SDM слово можно было сохранить в памяти, записав его в свободное место хранения и одновременно снабдив это место соответствующим декодером адреса. Нейрон в качестве декодера адреса будет выбирать местоположение на основе сходства адреса местоположения с сигналом поиска. В отличие от обычных машин Тьюринга, SDM использует преимущества параллельных вычислений с помощью декодеров адресов . Простой доступ к памяти рассматривается как вычисление, объем которого увеличивается с размером памяти.

Шаблон адреса

N-битный вектор, используемый для записи и чтения из памяти. Шаблон адреса представляет собой закодированное описание состояния окружающей среды. (например, N = 256.)

Шаблон данных

M-битный вектор, который является объектом операций записи и чтения. Как и шаблон адреса, это закодированное описание состояния окружающей среды. (например, М = 256.)

Письмо

Запись — это операция сохранения шаблона данных в памяти с использованием определенногоадресный шаблон. Во время записи входные данные в память состоят из шаблона адреса и шаблона данных. Шаблон адреса используется для выбора ячеек жесткой памяти, жесткие адреса которых находятся в пределах определенного расстояния от шаблона адреса. Шаблон данных сохраняется в каждом из выбранных мест.

Чтение

Чтение — это операция извлечения шаблона данных из памяти с использованием определенного шаблона адреса. Во время чтения шаблон адреса используется для выбора определенного количества ячеек жесткой памяти (так же, как и во время записи). Содержимое выбранных ячеек побитово суммируется и определяется пороговое значение для получения M-битного шаблона данных. Это служит выходом, считываемым из памяти.

Цепочки указателей

Все элементы связаны в единый список (или массив) указателей на ячейки памяти и хранятся в оперативной памяти. Каждый адрес в массиве указывает на отдельную строку в памяти. Затем эта строка возвращается, если она похожа на другие строки. Нейроны используются в качестве декодеров и кодировщиков адресов, подобно тому, как нейроны работают в мозге, и возвращают элементы массива, которые совпадают или похожи.

Критическое расстояние

В модели памяти Канервы есть концепция критической точки : до этой точки ранее сохраненный элемент можно легко восстановить; но после этого предмет не может быть получен. Канерва методично рассчитал эту точку для определенного набора (фиксированных) параметров. Соответствующее критическое расстояние разреженной распределенной памяти можно приблизительно оценить, минимизировав следующее уравнение с ограничением $d\in N$ и $d\leqslant n$. Доказательство можно найти в

${\tilde {f}}(d)=\left\{{\frac {1}{2}}\cdot \left[1-N\left(z<{\frac {w\cdot shared(d)}{\sqrt {\theta }}}\right)+N\left(z<{\frac {-w\cdot shared(d)}{\sqrt {\theta }}}\right)\right]-{\frac {d}{n}}\right\}^{2}$

Где:

• $d$: расстояние до цели;
• $n$: количество измерений;
• $N$: нормализованное нормальное распределение с нулевым средним значением и единицей дисперсии;
• $w$: количество раз, когда целевая битовая строка была записана в память;
• $\theta$: общее количество случайных битовых строк во всех $h$ жесткие местоположения, активируемые операцией чтения; т.е. размер сборки клеток;
• $shared(d)$: среднее количество общих жестких мест, активируемых двумя битовыми строками. $d$ немного далеко друг от друга. Некоторые значения для 1000-мерной SDM можно найти в книге Канервы, таблица 7.1, с. 63 или уравнения для расчета любого SDM в Приложении B, стр. 125 той же книги.

Вероятностная интерпретация

Систему ассоциативной памяти , использующую разреженные, распределенные представления, можно интерпретировать как образец важности , метод Монте. Метод Карло аппроксимации байесовского вывода . SDM можно рассматривать как приближение Монте-Карло к многомерному условному интегралу вероятности. SDM будет давать приемлемые ответы из обучающего набора, когда это приближение действительно, то есть, когда обучающий набор содержит достаточно данных для обеспечения хороших оценок основных совместных вероятностей и имеется достаточно выборок Монте-Карло для получения точной оценки интеграла. .

Биологическое правдоподобие

Разреженное кодирование может быть общей стратегией нейронных систем для увеличения объема памяти. Чтобы адаптироваться к окружающей среде, животные должны узнать, какие стимулы связаны с поощрениями или наказаниями, и отличать эти усиленные стимулы от похожих, но нерелевантных. Такая задача требует реализации ассоциативной памяти , специфичной для стимула , в которой только несколько нейронов из популяции реагируют на любой данный стимул, а каждый нейрон реагирует только на несколько стимулов из всех возможных стимулов.

Теоретическая работа Канервы по SDM показала, что разреженное кодирование увеличивает емкость ассоциативной памяти за счет уменьшения перекрытия между представлениями. Экспериментально скудное представление сенсорной информации наблюдалось во многих системах, включая зрение, прослушивание, трогать, и обоняние. Однако, несмотря на накопление доказательств широко распространенного разреженного кодирования и теоретических аргументов в пользу его важности, до недавнего времени отсутствовало доказательство того, что разреженное кодирование улучшает стимульную специфичность ассоциативной памяти.

Некоторый прогресс был достигнут в 2014 году лабораторией Геро Мизенбека в Оксфордском университете, анализирующей дрозофилы обонятельную систему . Считается , что у дрозофилы редкое кодирование запаха клетками Кеньона тела гриба создает большое количество точно адресуемых мест для хранения воспоминаний, специфичных для запаха. Лин и др. продемонстрировали, что разреженность контролируется цепью отрицательной обратной связи между клетками Кеньона и ГАМКергическим передним парным латеральным (APL) нейроном. Систематическая активация и блокада каждой ветви этой цепи обратной связи показывают, что клетки Кеньона активируют APL, а APL ингибирует клетки Кеньона. Нарушение петли обратной связи между клетками Кеньона и APL уменьшает разреженность реакций клеток Кеньона на запах, увеличивает корреляцию между запахами и не позволяет мухам научиться различать похожие, но не разные запахи. Эти результаты позволяют предположить, что ингибирование обратной связи подавляет активность клеток Кеньона, поддерживая разреженное, декоррелированное кодирование запаха и, следовательно, запаховую специфичность воспоминаний. Публикация в журнале Science за 2017 год. показали, что обонятельная схема мух реализует улучшенную версию двоичного хеширования, чувствительного к местоположению , посредством редких случайных проекций.

Приложения

В приложениях памяти слова представляют собой образцы функций. Некоторые функции производятся сенсорной системой, другие управляются двигательной системой. Существует текущий шаблон системы (например, 1000 бит), который является текущим содержимым фокуса . Датчики поступают в фокус, двигатели приводятся в движение от фокуса, а доступ к памяти осуществляется через фокус.

То, что происходит в мире – «субъективный» опыт системы – внутренне представлено последовательностью паттернов в фокусе. Память сохраняет эту последовательность и может воссоздать ее позже в фокусе, если обратиться к ней по шаблону, подобному тому, который встречался в прошлом. Таким образом, память учится предсказывать , что должно произойти. Широкое применение памяти найдут в системах, которые обрабатывают информацию реального мира в режиме реального времени.

Приложения включают в себя зрение – обнаружение и идентификацию объектов на сцене и предвидение последующих сцен – робототехнику , обнаружение и проверку сигналов , а также адаптивное обучение и управление . С теоретической точки зрения работа памяти может помочь нам понять память и обучение у людей и животных.

Лучший поиск совпадений

SDM можно применить к проблеме поиска наилучшего соответствия тестовому слову в наборе данных сохраненных слов. или, другими словами, задача поиска ближайшего соседа .

Рассмотрим память с N местами, где $N=2^{n}$. Пусть каждая ячейка имеет емкость для одного n -битного слова (например, N= 2 ¹⁰⁰ 100-битные слова), и пусть декодирование адреса выполняется N нейронами декодера адреса. Установите порог каждого нейрона x на максимальную взвешенную сумму. $|x|$ и используйте общий параметр d для настройки всех порогов при доступе к памяти. Тогда эффективный порог нейрона x будет равен $x-|d|$ это означает, что ячейка x доступна каждый раз, когда адрес x находится в пределах d бит от адреса, представленного в памяти (т. е. адреса, хранящегося в адресном регистре).С $d=0$ у нас обычная оперативная память . Предположим далее, что каждая ячейка имеет специальный бит , занимаемый ячейкой , доступ к которому можно получить так же, как и к обычным битам данных. Запись слова в ячейку устанавливает этот , занимаемый ячейкой бит . Предположим, что можно прочитать только занятое местоположение.

Чтобы сохранить данные в памяти, начните с установки $d=n$ и выдайте команду на очистку бита , занимаемого местоположением . Эта единственная операция помечает всю память как незанятую, независимо от значений адресного регистра. Затем установите $d=0$ и запишите каждое слово y набора данных с самим y в качестве адреса. Обратите внимание, что каждая операция записи влияет только на одно место: местоположение y . Таким образом, время хранения пропорционально количеству слов в наборе данных.

Для поиска наилучшего соответствия тестовому слову z необходимо поместить z в адресный регистр и найти наименьшее расстояние d , на котором имеется занятое место. Мы можем начать поиск, установив $d=0$ и последовательное увеличение d до тех пор, пока не будет найдено занятое место. Этот метод дает среднее время поиска, пропорциональное количеству бит адреса или немного меньшее $n/2$ потому что ближайшее занятое место, как ожидается, будет находиться чуть ниже $n/2$ биты от z (при двоичном поиске по d это будет O(log(n)).

Со 100-битными словами 2 ¹⁰⁰ потребуются местоположения, то есть чрезвычайно большая память. Однако если мы создаем память для хранения слов набора данных, нам понадобится только одно место (и один декодер адреса) для каждого слова набора данных. Ни одно из незанятых мест не должно присутствовать. Это представляет собой аспект разреженности в SDM.

Распознавание речи

SDM может применяться при расшифровке речи , при этом обучение состоит из «прослушивания» большого корпуса разговорной речи . Две трудные проблемы с естественной речью: как определить границы слов и как приспособиться к разным говорящим. Память должна быть в состоянии справиться с обоими. Во-первых, он хранит последовательности шаблонов в виде цепочек указателей. При обучении – при прослушивании речи – он построит вероятностную структуру с наибольшей частотой ветвления на границах слов. При расшифровке речи эти точки ветвления обнаруживаются и имеют тенденцию разбивать поток на сегменты, соответствующие словам. Во-вторых, чувствительность памяти к сходству — это ее механизм адаптации к разным говорящим, а также к различиям в голосе одного и того же говорящего.

«Осознание забвения»

Функции распада

Функция экспоненциального затухания Сигмовидная функция с отрицательным переводом

В Университете Мемфиса Ума Рамамурти, Сидни К. Д'Мелло и Стэн Франклин создали модифицированную версию системы разреженной распределенной памяти, которая представляет собой «осознание забывания». Он использует уравнение затухания, чтобы лучше показать интерференцию данных. Система разреженной распределенной памяти распределяет каждый шаблон примерно по одной сотой ячейке. поэтому вмешательство может иметь пагубные результаты.

Представлены два возможных примера распада этой модифицированной разреженной распределенной памяти.

Экспоненциальный механизм затухания: $\!f(x)=1+e^{-ax}$

Механизм распада сигмовидной кишки с отрицательным переводом: $f(x)=1-[{\frac {1}{1+e^{-a(x-c)}}}]$

В функции экспоненциального затухания она приближается к нулю быстрее по мере увеличения x , а a является константой (обычно между 3–9), а c — счетчиком. Для с отрицательным переводом сигмовидной функции затухание аналогично функции экспоненциального затухания, когда a больше 4.

Когда график приближается к 0, это показывает, как память забывается с помощью механизмов распада.

Генетическая разреженная распределенная память

Ашраф Анвар, Стэн Франклин и Дипанкар Дасгупта из Мемфисского университета; предложил модель инициализации SDM с использованием генетических алгоритмов и генетического программирования (1999).

Генетическая память использует генетический алгоритм и разреженную распределенную память в качестве псевдоискусственной нейронной сети. Его рассматривали для использования при создании искусственной жизни.

Статистический прогноз

SDM применялся для статистического прогнозирования , задачи связывания чрезвычайно больших векторов состояния восприятия с будущими событиями. В условиях близкой или избыточной емкости, когда поведение ассоциативной памяти моделивыходит из строя, обработку, выполняемую моделью, можно интерпретировать как обработку статистического предиктора, а каждый счетчик данных в SDM можно рассматривать как независимую оценку условной вероятности двоичной функции f, равной набору активации, определенному ячейка памяти счетчика.

Общий искусственный интеллект

См. Также: Когнитивная архитектура и общий искусственный интеллект.

• LIDA использует разреженную распределенную память, чтобы моделировать познание в биологических системах. Разреженное пространство распределенной памяти напоминает или распознает объект, который он имеет по отношению к другим объектам. Он был разработан Стэном Франклином, создателем модифицированной системы разреженной распределенной памяти, реализующей забывание. Временные эпизодические и декларативные воспоминания имеют распределенные представления в LIDA (на основе модифицированной версии SDM). ), есть данные, что то же самое происходит и в нервной системе.
• CMatie — это «сознательный» программный агент, разработанный для управления объявлениями о семинарах на факультете математических наук Университета Мемфиса . Он основан на SDM, дополненном использованием генетических алгоритмов в качестве ассоциативной памяти .
• Иерархическая темпоральная память использует SDM для хранения разреженных распределенных представлений данных.

Обучение с подкреплением

SDM предоставляют линейную схему аппроксимации локальных функций , предназначенную для работы, когда очень большое/многомерное входное (адресное) пространство необходимо отобразить в гораздо меньшую физическую память . В общем, локальные архитектуры, включая SDM, могут быть подвержены проклятию размерности , поскольку некоторые целевые функции могут потребовать, в худшем случае, экспоненциального числа локальных единиц, которые должны быть точно аппроксимированы по всему входному пространству. Однако широко распространено мнение, что большинству систем принятия решений требуется высокая точность только вокруг низкоразмерных многообразий пространства состояний или важных «магистралей» состояний. Работа Ratitch et al. объединили модель памяти SDM с идеями обучения на основе памяти , что обеспечивает аппроксиматор, который может динамически адаптировать свою структуру и разрешение, чтобы найти «более интересные» области пространства состояний. и выделить пропорционально больше ресурсов памяти для их точного моделирования.

Индексирование объектов в компьютерном зрении

Даны Х. Баллард Лаборатория продемонстрировал универсальный метод индексации объектов для компьютерного зрения , который сочетает в себе достоинства анализа главных компонентов с благоприятными свойствами сопоставления многомерных пространств для достижения высокоточного распознавания. Алгоритм индексации использует систему активного зрения в сочетании с модифицированной формой SDM и предоставляет платформу для изучения связи между внешним видом объекта и его идентичностью.

Расширения

Было предложено множество расширений и улучшений SDM, например:

• Троичное пространство памяти: позволяет использовать память в качестве временной эпизодической памяти (TEM) в когнитивных программных агентах . ТЕМ — это память с высокой специфичностью и низкой запоминаемостью, используемая для событий, имеющих особенности определенного времени и места.
• Целочисленная SDM, в которой используются целочисленные векторы модульной арифметики, а не двоичные векторы. Это расширение улучшает возможности представления памяти и более устойчиво к нормализации. Его также можно расширить для поддержки забывания и надежного хранения последовательностей.
• Использование векторов слов большего размера, чем векторы адресов: это расширение сохраняет многие желательные свойства исходного SDM: автоматическую ассоциируемость, адресацию контента, распределенное хранение и устойчивость к зашумленным входным сигналам. Кроме того, он добавляет новую функциональность, обеспечивая эффективное автоассоциативное хранение последовательностей векторов, а также других структур данных, таких как деревья.
• Создание SDM из импульсных нейронов . Несмотря на биологическое сходство SDM, большая часть работ, предпринятых на сегодняшний день для демонстрации его возможностей, использовала весьма искусственные модели нейронов, которые абстрагируют фактическое поведение нейронов в мозге . Недавняя работа лаборатории Стива Фербера в Манчестерском университете. предлагаемые адаптации к SDM, например, путем включения ранговых кодов N-of-M в то, как популяции нейронов могут кодировать информацию, что может позволить построить вариант SDM из биологически вероятных компонентов. Эта работа была включена в SpiNNaker (Spiking Neural Network Architecture), которая используется в качестве нейроморфной вычислительной платформы для проекта человеческого мозга .
• Неслучайное распределение локаций: Хотя места хранения изначально распределяются случайным образом в адресном пространстве двоичных N, окончательное распределение мест зависит от представленных входных шаблонов и может быть неслучайным, что обеспечивает большую гибкость и обобщение . Шаблон данных сначала сохраняется в местах, ближайших к входному адресу. Затем сигнал (т.е. шаблон данных) распространяется по всей памяти, и небольшой процент мощности сигнала (например, 5%) теряется в каждом последующем обнаруженном месте. Распределение сигнала таким образом устраняет необходимость выбора радиуса чтения/записи, что является одной из проблемных особенностей оригинального SDM. Все местоположения, выбранные в операции записи, теперь не получают копию исходного двоичного шаблона одинаковой силы. Вместо этого они получают копию шаблона, взвешенную с реальным значением от 1,0 до > 0,05, для хранения в счетчиках с реальными значениями (а не в двоичных счетчиках в SDM Kanerva). Это вознаграждает ближайшие местоположения более высоким уровнем сигнала и использует естественную архитектуру SDM для ослабления уровня сигнала. Аналогично, при чтении из памяти выходным данным из ближайших местоположений присваивается больший вес, чем из более удаленных. Новый метод сигнала позволяет использовать общую мощность сигнала, полученного местоположением, в качестве меры пригодности местоположения и является гибким для изменения входных данных (поскольку коэффициент потерь не нужно изменять для входных шаблонов различной длины).
• SDMSCue (разреженная распределенная память для небольших сигналов): Ашраф Анвар и Стэн Франклин из Университета Мемфиса представили вариант SDM, способный обрабатывать небольшие сигналы; а именно SDMSCue в 2002 году. Ключевая идея состоит в том, чтобы использовать несколько операций чтения/записи и пространственных проекций для достижения последовательно более длинного сигнала.

Связанные патенты

• Метод и устройство для системы с разреженной распределенной памятью US 5113507 A, Ассоциация космических исследований университетов , 1992 г.
• Способ и устройство для хранения и вызова информации, реализующие систему памяти канерва US 5829009 A, Texas Instruments , 1998 г.
• Цифровая память, Фёрбер, Стивен. США 7512572 B2, 2009 г.

Выполнение

• Бинарные векторные символы C (CBVS): включают реализацию SDM на C как часть векторной символьной архитектуры. разработано EISLAB в Технологическом университете Лулео : http://pendular.net/cbvs.php. Архивировано 25 сентября 2015 г. на Wayback Machine.
• CommonSense ToolKit (CSTK) для обработки данных датчиков в реальном времени, разработанный в Ланкастерском университете, включает реализацию SDM на C++ : http://cstk.sourceforge.net/
• Julia Реализация Брайана Хейса : https://github.com/bit-player/sdm-julia
• Обучающийся интеллектуальный агент распространения (LIDA), разработанный лабораторией Стэна Франклина в Университете Мемфиса, включает реализацию SDM на Java : http://ccrg.cs.memphis.edu/framework.html
• Реализация Python : https://github.com/msbrogli/sdm
• Python и OpenCL Реализация : https://github.com/msbrogli/sdm-framework .
• APL реализация
• Реализация LISP для Connection Machine
• ПЛИС реализация
• Оригинальная аппаратная реализация, разработанная НАСА.
• Реализация на языке C, выполненная в Научно-исследовательском институте передовой информатики НАСА в Эймсе.

См. также

• Автоассоциативная память
• Контроллер артикуляции модели мозжечка
• Сети динамической памяти
• Голографическая ассоциативная память
• Код проверки четности низкой плотности
• Сети памяти
• Структура прогнозирования памяти
• Нейронное кодирование
• Нейронная машина Тьюринга
• Случайная индексация
• Самоорганизующаяся карта
• Семантическая складчатость
• Семантическая память
• Семантическая сеть
• Составные автоэнкодеры
• Теория визуального индексирования