Обобщенный алгоритм Хебба

Обобщенный алгоритм Хеббиана ( GHA ), также известный в литературе как правило Сэнгера , представляет собой линейную нейронную сеть прямого распространения для обучения без учителя с приложениями, главным образом, в анализе главных компонентов . Впервые определено в 1989 году, ^{[ 1 ]} оно похоже на правило Оджи по своей формулировке и устойчивости, за исключением того, что его можно применять к сетям с несколькими выходами. Название происходит из-за сходства алгоритма с гипотезой Дональда Хебба. ^{[ 2 ]} о том, как сила синапсов в мозге изменяется в ответ на опыт, т.е. эти изменения пропорциональны корреляции между возбуждением пре- и постсинаптических нейронов . ^{[ 3 ]}

Теория

ГСГ объединяет правило Оджи с процессом Грама-Шмидта, чтобы создать правило обучения вида

\,\Delta w_{ij}~=~\eta \left(y_{i}x_{j}-y_{i}\sum _{k=1}^{i}w_{kj}y_{k}\right)

, ^{[ 4 ]}

где $w ij$ определяет синаптический вес или силу связи между $j$ -м входным и $i-$ м выходным нейронами, $x$ и $y$ — входной и выходной векторы соответственно, а $η$ — параметр скорости обучения .

Вывод

В матричной форме правило Оджи можно записать

\,{\frac {{\text{d}}w(t)}{{\text{d}}t}}~=~w(t)Q-\mathrm {diag} [w(t)Qw(t)^{\mathrm {T} }]w(t)

,

и алгоритм Грама-Шмидта

\,\Delta w(t)~=~-\mathrm {lower} [w(t)w(t)^{\mathrm {T} }]w(t)

,

где $w (t)$ — любая матрица, в данном случае представляющая синаптические веса, $Q = η x x Т$ — это матрица автокорреляции, просто внешний продукт входных данных, $Diag$ — это функция, которая диагонализует матрицу, а $нижняя$ — это функция, которая устанавливает все элементы матрицы на диагонали или выше ее равными 0. Мы можем объединить эти уравнения, чтобы получить наше исходное правило в матричной форме,

\,\Delta w(t)~=~\eta (t)\left(\mathbf {y} (t)\mathbf {x} (t)^{\mathrm {T} }-\mathrm {LT} [\mathbf {y} (t)\mathbf {y} (t)^{\mathrm {T} }]w(t)\right)

,

где функция $LT$ устанавливает все элементы матрицы выше диагонали равными 0, и обратите внимание, что наш выход $y (t) = w (t) x (t)$ является линейным нейроном. ^{[ 1 ]}

Стабильность и PCA

^{[ 5 ]} ^{[ 6 ]}

Приложения

ГСГ используется в приложениях, где необходима самоорганизующаяся карта анализ функций или основных компонентов или где можно использовать . Примеры таких случаев включают искусственный интеллект и обработку речи и изображений.

Его важность обусловлена тем фактом, что обучение представляет собой одноуровневый процесс, то есть синаптический вес меняется только в зависимости от реакции входов и выходов этого слоя, что позволяет избежать многоуровневой зависимости, связанной с алгоритмом обратного распространения ошибки . Он также имеет простой и предсказуемый компромисс между скоростью обучения и точностью сходимости, заданный параметром обучения скорости $η$ . ^{[ 5 ]}

См. также

Ссылки

^ Перейти обратно: ^а ^б Сэнгер, Теренс Д. (1989). «Оптимальное обучение без учителя в однослойной линейной нейронной сети прямого распространения» (PDF) . Нейронные сети . 2 (6): 459–473. CiteSeerX 10.1.1.128.6893 . дои : 10.1016/0893-6080(89)90044-0 . Проверено 24 ноября 2007 г.
^ Хебб, DO (1949). Организация поведения . Нью-Йорк: Wiley & Sons. ISBN 9781135631918 .
^ Герц, Джон; Андерс Кроф; Ричард Г. Палмер (1991). Введение в теорию нейронных вычислений . Редвуд-Сити, Калифорния: Издательство Addison-Wesley. ISBN 978-0201515602 .
^ Горрелл, Женевьева (2006), «Обобщенный алгоритм Хебба для постепенного разложения сингулярных значений при обработке естественного языка», EACL , CiteSeerX 10.1.1.102.2084
^ Перейти обратно: ^а ^б Хайкин, Саймон (1998). Нейронные сети: комплексный фундамент (2-е изд.). Прентис Холл. ISBN 978-0-13-273350-2 .
^ Оя, Эркки (ноябрь 1982 г.). «Упрощенная модель нейрона как анализатора главных компонентов». Журнал математической биологии . 15 (3): 267–273. дои : 10.1007/BF00275687 . ПМИД 7153672 . S2CID 16577977 . БФ00275687.

[Sanger89-1] Перейти обратно: ^а ^б Сэнгер, Теренс Д. (1989). «Оптимальное обучение без учителя в однослойной линейной нейронной сети прямого распространения» (PDF) . Нейронные сети . 2 (6): 459–473. CiteSeerX 10.1.1.128.6893 . дои : 10.1016/0893-6080(89)90044-0 . Проверено 24 ноября 2007 г.

[Hebb_1949-2] Хебб, DO (1949). Организация поведения . Нью-Йорк: Wiley & Sons. ISBN 9781135631918 .

[Hertz,_Krough,_and_Palmer,_1991-3] Герц, Джон; Андерс Кроф; Ричард Г. Палмер (1991). Введение в теорию нейронных вычислений . Редвуд-Сити, Калифорния: Издательство Addison-Wesley. ISBN 978-0201515602 .

[4] Горрелл, Женевьева (2006), «Обобщенный алгоритм Хебба для постепенного разложения сингулярных значений при обработке естественного языка», EACL , CiteSeerX 10.1.1.102.2084

[Haykin98-5] Перейти обратно: ^а ^б Хайкин, Саймон (1998). Нейронные сети: комплексный фундамент (2-е изд.). Прентис Холл. ISBN 978-0-13-273350-2 .

[Oja82-6] Оя, Эркки (ноябрь 1982 г.). «Упрощенная модель нейрона как анализатора главных компонентов». Журнал математической биологии . 15 (3): 267–273. дои : 10.1007/BF00275687 . ПМИД 7153672 . S2CID 16577977 . БФ00275687.

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

v т и Хеббианское обучение
Настоящее хеббианское обучение	Контрастное хеббианское обучение Обобщенный алгоритм Хебба Правило Оджи
Связанные понятия	Инграмма (нейропсихология) Нейронная сеть прямого распространения Обратное распространение ошибки Леабра GeneRec