Конкурсное обучение

Конкурентное обучение — это форма обучения без учителя в искусственных нейронных сетях , в которой узлы конкурируют за право реагировать на подмножество входных данных. ^[1]^[2] Вариант обучения Хебба , конкурентное обучение, работает за счет повышения специализации каждого узла в сети. Он хорошо подходит для поиска кластеров в данных.

Модели и алгоритмы, основанные на принципе конкурентного обучения, включают векторное квантование и самоорганизующиеся карты (карты Кохонена).

Принцип

Правило конкурентного обучения состоит из трех основных элементов: ^[3]^[4]

Набор нейронов, которые одинаковы, за исключением некоторых случайно распределенных синаптических весов, и которые, следовательно, по-разному реагируют на заданный набор входных шаблонов.
Ограничение, налагаемое на «силу» каждого нейрона.
Механизм, который позволяет нейронам конкурировать за право реагировать на заданное подмножество входных данных, при этом только один выходной нейрон (или только один нейрон на группу) активен (т.е. «включен») в каждый момент времени. Нейрон, который побеждает в соревновании, называется нейроном «победитель получает все» .

Соответственно, отдельные нейроны сети учатся специализироваться на ансамблях схожих шаблонов и, таким образом, становятся «детекторами признаков» для разных классов входных шаблонов.

Тот факт, что конкурирующие сети перекодируют наборы коррелированных входных данных в один из немногих выходных нейронов, по существу устраняет избыточность в представлении, которая является важной частью обработки в биологических сенсорных системах . ^[5]^[6]

Архитектура и реализация

Конкурентное обучение обычно реализуется с помощью нейронных сетей, которые содержат скрытый уровень, широко известный как «конкурентный уровень». ^[7] Каждый конкурентный нейрон описывается вектором весов ${\mathbf {w} }_{i}=\left({w_{i1},..,w_{id}}\right)^{T},i=1,..,M$ и вычисляет меру сходства между входными данными ${\mathbf {x} }^{n}=\left({x_{n1},..,x_{nd}}\right)^{T}\in \mathbb {R} ^{d}$ и весовой вектор ${\mathbf {w} }_{i}$ .

Для каждого входного вектора конкурирующие нейроны «конкурируют» друг с другом, чтобы определить, какой из них наиболее похож на этот конкретный входной вектор. Нейрон-победитель m устанавливает свой выход $o_{m}=1$ и все остальные конкурентные нейроны устанавливают свою мощность $o_{i}=0,i=1,..,M,i\neq m$ .

Обычно для измерения сходства используется величина, обратная евклидову расстоянию: $\left\|{{\mathbf {x} }-{\mathbf {w} }_{i}}\right\|$ между входным вектором ${\mathbf {x} }^{n}$ и весовой вектор ${\mathbf {w} }_{i}$ .

Пример алгоритма

Вот простой алгоритм конкурентного обучения, позволяющий найти три кластера в некоторых входных данных.

1. (Настройка.) Пусть набор датчиков подключен к трем различным узлам, так что каждый узел подключен к каждому датчику. Пусть веса, которые каждый узел присваивает своим датчикам, задаются случайным образом в диапазоне от 0,0 до 1,0. Пусть выходной сигнал каждого узла представляет собой сумму всех его датчиков, причем мощность сигнала каждого датчика умножается на его вес.

2. Когда сеть отображается на входе, победителем считается узел с наибольшим выходом. Входные данные классифицируются как находящиеся внутри кластера, соответствующего этому узлу.

3. Победитель обновляет каждый из своих весов, перемещая вес от соединений, которые давали ему более слабые сигналы, к соединениям, которые давали более сильные сигналы.

Таким образом, по мере получения большего количества данных каждый узел сходится в центре кластера, который он представляет, и активируется сильнее для входов в этом кластере и слабее для входов в других кластерах.

См. также

Ссылки

^ Румельхарт, Дэвид ; Дэвид Зипсер; Джеймс Л. Макклелланд; и др. (1986). Параллельная распределенная обработка, Vol. 1 . МТИ Пресс. стр. 151–193 .
^ Гроссберг, Стивен (1 января 1987 г.). «Конкурентное обучение: от интерактивной активации к адаптивному резонансу» (PDF) . Когнитивная наука . 11 (1): 23–63. дои : 10.1016/S0364-0213(87)80025-3 . ISSN 0364-0213 .
^ Румельхарт, Дэвид Э. и Дэвид Зипсер. « Открытие функций посредством конкурентного обучения ». Когнитивная наука 9.1 (1985): 75-112.
^ Хайкин, Саймон, «Нейронная сеть. Комплексная основа». Нейронные сети 2.2004 (2004 г.).
^ Барлоу, Гораций Б. «Обучение без присмотра». Нейронные вычисления 1.3 (1989): 295-311.
^ Эдмунд Т. Роллс и Густаво Деко. Вычислительная нейробиология зрения. Оксфорд: Издательство Оксфордского университета, 2002.
^ Салатас, Джон (24 августа 2011 г.). «Внедрение сетей конкурентного обучения для WEKA» . Блог исследований ИКТ . Проверено 28 января 2012 г.

Дополнительная информация и программное обеспечение

Проект отчета «Некоторые методы конкурентного обучения» (содержит описания нескольких связанных алгоритмов)
DemoGNG — Java-симулятор конкурентных методов обучения

[1] Румельхарт, Дэвид ; Дэвид Зипсер; Джеймс Л. Макклелланд; и др. (1986). Параллельная распределенная обработка, Vol. 1 . МТИ Пресс. стр. 151–193 .

[2] Гроссберг, Стивен (1 января 1987 г.). «Конкурентное обучение: от интерактивной активации к адаптивному резонансу» (PDF) . Когнитивная наука . 11 (1): 23–63. дои : 10.1016/S0364-0213(87)80025-3 . ISSN 0364-0213 .

[3] Румельхарт, Дэвид Э. и Дэвид Зипсер. « Открытие функций посредством конкурентного обучения ». Когнитивная наука 9.1 (1985): 75-112.

[4] Хайкин, Саймон, «Нейронная сеть. Комплексная основа». Нейронные сети 2.2004 (2004 г.).

[5] Барлоу, Гораций Б. «Обучение без присмотра». Нейронные вычисления 1.3 (1989): 295-311.

[6] Эдмунд Т. Роллс и Густаво Деко. Вычислительная нейробиология зрения. Оксфорд: Издательство Оксфордского университета, 2002.

[7] Салатас, Джон (24 августа 2011 г.). «Внедрение сетей конкурентного обучения для WEKA» . Блог исследований ИКТ . Проверено 28 января 2012 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]