Обучение векторному квантованию

В информатике обучающее векторное квантование ( LVQ ) представляет собой на основе прототипа контролируемый классификации алгоритм . LVQ — это контролируемый аналог систем векторного квантования .

Обзор [ править ]

LVQ можно понимать как частный случай искусственной нейронной сети , точнее, он применяет «победитель получает все» подход Хебба, основанный на обучении . Это предшественник самоорганизующихся карт (SOM), связанный с нейронным газом и алгоритмом k-ближайшего соседа (k-NN). LVQ был изобретен Теуво Кохоненом . ^[1]

Система LVQ представлена прототипами. $W=(w(i),...,w(n))$ которые определены в пространстве признаков наблюдаемых данных. В алгоритмах обучения по принципу «победитель получает все» для каждой точки данных определяется прототип, который наиболее близок к входным данным в соответствии с заданной мерой расстояния. Затем положение этого так называемого прототипа-победителя адаптируется, т. е. победитель перемещается ближе, если он правильно классифицирует точку данных, или удаляется, если он классифицирует точку данных неправильно.

Преимущество LVQ заключается в том, что он создает прототипы, которые легко интерпретировать эксперты в соответствующей области применения. ^[2] применяться к задачам многоклассовой классификации Системы LVQ могут естественным образом .

Ключевой проблемой LVQ является выбор подходящей меры расстояния или сходства для обучения и классификации. Недавно были разработаны методы, которые адаптируют параметризованную меру расстояния в процессе обучения системы, см., например (Schneider, Biehl and Hammer, 2009). ^[3] и ссылки в нем.

LVQ может оказаться отличным подспорьем в классификации текстовых документов. ^{[ нужна ссылка ]}

Алгоритм [ править ]

Ниже следует неофициальное описание.
Алгоритм состоит из трёх основных шагов. Входные данные алгоритма:

сколько нейронов будет в системе $M$ (в простейшем случае оно равно количеству классов)
какой вес имеет каждый нейрон ${\vec {w_{i}}}$ для $i=0,1,...,M-1$
соответствующая этикетка $c_{i}$ каждому нейрону ${\vec {w_{i}}}$
как быстро учатся нейроны $\eta$
и список ввода $L$ содержащий все векторы, метки которых уже известны (обучающий набор).

Алгоритм следующий:

Для следующего ввода ${\vec {x}}$ (с этикеткой $y$ ) в $L$ найти ближайший нейрон ${\vec {w_{m}}}$ ,
т.е. $d({\vec {x}},{\vec {w_{m}}})=\min \limits _{i}{d({\vec {x}},{\vec {w_{i}}})}$ , где $\,d$ используемая метрика ( евклидова и т. д.).
Обновлять ${\vec {w_{m}}}$ . Лучшее объяснение - получить ${\vec {w_{m}}}$ ближе к входу ${\vec {x}}$ , если ${\vec {x}}$ и ${\vec {w_{m}}}$ принадлежат к одному и тому же лейблу и разводят их друг от друга, если это не так.
${\vec {w_{m}}}\gets {\vec {w_{m}}}+\eta \cdot \left({\vec {x}}-{\vec {w_{m}}}\right)$ если $c_{m}=y$ (ближе друг к другу)
или ${\vec {w_{m}}}\gets {\vec {w_{m}}}-\eta \cdot \left({\vec {x}}-{\vec {w_{m}}}\right)$ если $c_{m}\neq y$ (дальше друг от друга).
Пока остались векторы $L$ перейдите к шагу 1, иначе завершите работу.

Примечание: ${\vec {w_{i}}}$ и ${\vec {x}}$ являются векторами в пространстве признаков.

Ссылки [ править ]

^ Т. Кохонен. Самоорганизующиеся карты. Шпрингер, Берлин, 1997.
^ Т. Кохонен (1995), «Изучение векторного квантования», в MA Arbib (редактор), The Handbook of Brain Theory and Neural Networks , Cambridge, MA: MIT Press, стр. 537–540.
^ П. Шнайдер; Б. Хаммер; М. Биль (2009). «Адаптивные матрицы релевантности в обучении векторному квантованию». Нейронные вычисления . 21 (10): 3532–3561. CiteSeerX 10.1.1.216.1183 . дои : 10.1162/neco.2009.10-08-892 . ПМИД 19635012 . S2CID 17306078 .

Дальнейшее чтение [ править ]

Самоорганизующиеся карты и векторное квантование обучения для последовательностей признаков, Сомервуо и Кохонен. 2004 (pdf)

Внешние ссылки [ править ]

Официальный выпуск lvq_pak (1996 г.) Кохонена и его команды

[1] Т. Кохонен. Самоорганизующиеся карты. Шпрингер, Берлин, 1997.

[2] Т. Кохонен (1995), «Изучение векторного квантования», в MA Arbib (редактор), The Handbook of Brain Theory and Neural Networks , Cambridge, MA: MIT Press, стр. 537–540.

[3] П. Шнайдер; Б. Хаммер; М. Биль (2009). «Адаптивные матрицы релевантности в обучении векторному квантованию». Нейронные вычисления . 21 (10): 3532–3561. CiteSeerX 10.1.1.216.1183 . дои : 10.1162/neco.2009.10-08-892 . ПМИД 19635012 . S2CID 17306078 .

[1]

[2]

[3]