RAMсети

RAMnets — один из старейших практических алгоритмов классификации, основанных на нейронах . RAMnets также известен как тип « метода распознавания n -кортежей» или «невесомой нейронной сети».

Алгоритм

Предположим, что наборы из n различных битовых ячеек (скажем, N ) выбираются случайным образом. Это n -кортежи. Ограничение шаблона кортежем из n можно рассматривать как n -битное число, которое вместе с идентификатором кортежа из n образует «особенность» шаблона. Стандартный распознаватель n -кортежей работает просто следующим образом:

Шаблон классифицируется как принадлежащий к классу, для которого он имеет наибольшее количество общих черт хотя бы с одним обучающим шаблоном этого класса.

Это $\Theta$ = 0 случай более общего правила, согласно которому класс, присвоенный неклассифицированному образцу u, равен

   ${\begin{aligned}{\underset {c}{a}}rgmax(\sum _{i=1}^{N}\Theta (\sum _{v\in D_{c}}\delta (\alpha _{i}(u),\alpha _{i}(v))))\end{aligned}}$

где D _c — набор обучающих шаблонов в классе c, $\Theta (x)$ = х для $0\leq x\leq \theta$ , $\Theta (x)=\theta$ для $x\geq \theta$ , $\delta _{i,j}$ – это дельта Кронекера ( $\delta _{i,j}$ =1, если i=j, и 0 в противном случае.) и $(\alpha _{i}(u))$ это я ^й Особенность узора u:

   $\sum _{j=0}^{n-1}u_{\eta }i(j)2^{j}$

Здесь u _k — это k ^й немного тебя и $u_{\eta }i(j)$ это Дж ^й расположение бита i ^й n-кортеж.

Если различать классы C, систему можно реализовать как сеть узлов NC, каждый из которых представляет собой оперативное запоминающее устройство (ОЗУ); отсюда и термин RAMnet. Содержимое памяти $m_{ci\alpha }$ по адресу $\alpha$ из я ^й узел, выделенный классу c, установлен в значение

    $m_{ci\alpha }$  =  $\Theta (\sum _{v\in D_{c}}\delta (\alpha ,\alpha _{i}(v)))$

В обычном $\theta$ = 1 случай, 1-битное содержимое $m_{ci\alpha }$ устанавливается, если какой-либо шаблон D _c имеет особенность $\alpha$ и не установлен в противном случае. Распознавание осуществляется путем суммирования содержимого узлов каждого класса по адресам, заданным признаками неклассифицированного шаблона. То есть шаблон u присваивается классу

    ${\begin{aligned}{\underset {c}{a}}rgmax(\sum _{i=1}^{N}m_{ci\alpha }(u))\end{aligned}}$

RAM-дискриминаторы и WiSARD

RAMnets легли в основу коммерческого продукта, известного как WiSARD (Wilkie, Stonham and Aleksander Recognition Device), который стал первой запатентованной машиной с искусственными нейронными сетями.

ОЗУ-дискриминатор состоит из набора X одноразрядных ОЗУ с n входами и суммирующего устройства (Σ). Любой такой RAM-дискриминатор может получать на вход двоичный шаблон из X⋅n бит. Входные линии ОЗУ соединены с входным шаблоном посредством двузначного псевдослучайного отображения. Суммирующее устройство позволяет этой сети оперативной памяти демонстрировать – как и другие модели ИНС, основанные на синаптических весах – генерализацию и устойчивость к шуму.

Чтобы обучить дискриминатор, необходимо установить все ячейки оперативной памяти в 0 и выбрать обучающий набор, образованный двоичными шаблонами из битов X⋅n. Для каждого обучающего шаблона в ячейке памяти каждого ОЗУ, к которому обращается этот входной шаблон, сохраняется 1. После завершения обучения шаблонов содержимое оперативной памяти будет установлено на определенное количество нулей и единиц.

Информация, хранящаяся в ОЗУ на этапе обучения, используется для работы с предыдущими невидимыми шаблонами. Когда один из них задан в качестве входных данных, содержимое оперативной памяти, адресованное входным шаблоном, считывается и суммируется с помощью Σ. Полученное таким образом число r , которое называется откликом дискриминатора, равно количеству ОЗУ, которые выводят 1. r достигает максимума X, если входные данные принадлежат обучающему набору. r равен 0, если в обучающем наборе не появляется n- битный компонент входного шаблона (ни одно ОЗУ не выводит 1). Промежуточные значения r выражают своего рода «меру сходства» входного шаблона по отношению к шаблонам в обучающем наборе.

Система, образованная различными RAM-дискриминаторами, называется WiSARD. Каждый RAM-дискриминатор обучается на определенном классе паттернов, а классификация мультидискриминаторной системой осуществляется следующим образом. Когда на вход подается шаблон, каждый RAM-дискриминатор дает ответ на этот вход. Различные ответы оцениваются с помощью алгоритма, который сравнивает их и вычисляет относительную достоверность c самого высокого ответа (например, разницу d между самым высоким ответом и вторым по величине ответом, деленную на самый высокий ответ). Схематическое изображение ОЗУ-дискриминатора и 10 ОЗУ-дискриминатора WiSARD показано на рисунке 1. ^[1]

См. также

Ссылки

^ Достижения в области вычислительного интеллекта и обучения: 17-й Европейский симпозиум по искусственным нейронным сетям; ЕСАНН 2009; Брюгге, Бельгия, 22-23-24 апреля 2009 г.; разбирательство . Верлейсен, Мишель, Католический университет Лувена, ESANN (17 22 апреля 2009 г. – 24 Брюгге), Европейский симпозиум по искусственным нейронным сетям (17 22 апреля 2009 г. – 24 Брюгге). Эвер: Сторона D. 2009. ISBN 978-2930307091 . OCLC 553956424 . {{cite book}}: CS1 maint: другие ( ссылка )

Михал Морсинек и Ричард Ровер (1995) « Классификатор n-кортежей: слишком хорош, чтобы его игнорировать ».
Хасти, Тревор; Тибширани, Роберт (2009). Элементы статистического обучения: интеллектуальный анализ данных, логические выводы и прогнозирование . Нью-Йорк: Спрингер. стр. 485–586. дои : 10.1007/978-0-387-84858-7_14 . ISBN 978-0-387-84857-0 .
Хинтон, Джеффри ; Сейновский, Терренс Дж. , ред. (1999). Обучение без учителя: основы нейронных вычислений . МТИ Пресс . ISBN 0-262-58168-Х . (Эта книга посвящена обучению без учителя в нейронных сетях .)
Ю. Гуан, Дж. Г. Тейлор, Д. Горс, .Г. Кларксон (1993). «Обобщение в вероятностных сетях RAM». Транзакции IEEE в нейронных сетях . 4 (2): 360–363. дои : 10.1109/72.207603 . ПМИД 18267737 . {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )
Краткое введение в Weightless NeuralSystems (2009 г.)

Дальнейшее чтение

Н. М. Аллинсон, А. Р. Кольч (1997). N-кортежные нейронные сети . Springer Science+Business Media Нью-Йорк: Спрингер, Бостон, Массачусетс. ISBN 978-1-4615-6099-9 .
Фукунага, Кейносукэ (1990). Введение в статистическое распознавание образов (2-е изд.). Бостон: Академическая пресса. ISBN 0-12-269851-7 .
Хорнеггер, Иоахим; Паулюс, Дитрих В.Р. (1999). Прикладное распознавание образов: практическое введение в обработку изображений и речи на C++ (2-е изд.). Сан-Франциско: Издательство Morgan Kaufmann. ISBN 3-528-15558-2 .
Вводное руководство по классификаторам (ознакомление с основными терминами и числовым примером)

[1] Достижения в области вычислительного интеллекта и обучения: 17-й Европейский симпозиум по искусственным нейронным сетям; ЕСАНН 2009; Брюгге, Бельгия, 22-23-24 апреля 2009 г.; разбирательство . Верлейсен, Мишель, Католический университет Лувена, ESANN (17 22 апреля 2009 г. – 24 Брюгге), Европейский симпозиум по искусственным нейронным сетям (17 22 апреля 2009 г. – 24 Брюгге). Эвер: Сторона D. 2009. ISBN 978-2930307091 . OCLC 553956424 . {{cite book}}: CS1 maint: другие ( ссылка )

[1]