Нейронный газ

Нейронный газ — это искусственная нейронная сеть , вдохновленная самоорганизующейся картой и представленная в 1991 году Томасом Мартинцем и Клаусом Шультеном . ^[1] Нейронный газ — это простой алгоритм поиска оптимальных представлений данных на основе векторов признаков . Алгоритм был назван «нейронным газом» из-за динамики векторов признаков во время процесса адаптации, которые распределяются как газ в пространстве данных. Он применяется там, где со сжатием данных или векторным квантованием проблема , например, с распознаванием речи . ^[2] обработка изображений ^[3] или распознавание образов . В качестве надежно сходящейся альтернативы кластеризации k-средних он также используется для кластерного анализа . ^[4]

Алгоритм

Предположим, мы хотим смоделировать распределение вероятностей $P(x)$ векторов данных $x$ использование конечного числа векторов признаков $w_{i}$ , где $i=1,\cdots ,N$ .

Для каждого временного шага $t$ $т$
1. Пример вектора данных $x$ от $P(x)$
2. Вычислите расстояние между $x$ и каждый вектор признаков. Оцените расстояния.
3. Позволять $i_{0}$ быть индексом ближайшего вектора признаков, $i_{1}$ индекс второго ближайшего вектора признаков и т. д.
4. Обновите каждый вектор признаков: $w_{i_{k}}^{t+1}=w_{i_{k}}^{t}+\varepsilon \cdot e^{-k/\lambda }\cdot (x-w_{i_{k}}^{t}),k=0,\cdots ,N-1$

В алгоритме $\varepsilon$ можно понимать как скорость обучения, а $\lambda$ как диапазон соседства. $\varepsilon$ и $\lambda$ уменьшаются с увеличением $t$ так что алгоритм сходится после многих шагов адаптации.

Шаг адаптации нейронного газа можно интерпретировать как градиентный спуск функции стоимости . Путем адаптации не только ближайшего вектора признаков, но и всех их с размером шага, уменьшающимся с увеличением порядка расстояния, по сравнению с (онлайн) кластеризацией k-средних, можно достичь гораздо более надежной сходимости алгоритма. Модель нейронного газа не удаляет узел, а также не создает новые узлы.

Сравнение с СОМ

По сравнению с самоорганизующейся картой модель нейронного газа не предполагает, что некоторые векторы являются соседями. Если два вектора оказываются близко друг к другу, они будут иметь тенденцию двигаться вместе, а если два вектора находятся друг от друга, они будут иметь тенденцию не двигаться вместе. Напротив, в SOM, если два вектора являются соседями в базовом графе, они всегда будут иметь тенденцию двигаться вместе, независимо от того, являются ли эти два вектора соседями в евклидовом пространстве.

Название «нейронный газ» связано с тем, что можно представить, как выглядел бы SOM, если бы не было основного графика, и все точки могли бы свободно перемещаться без связей, связывающих их вместе.

Варианты

В литературе существует ряд вариантов алгоритма нейронного газа, призванных смягчить некоторые его недостатки. Более примечательным, пожалуй, является растущий нервный газ Бернда Фрицке. ^[5] но также следует упомянуть о дальнейших разработках, таких как сеть «Растущий при необходимости». ^[6] а также постепенно растущий нервный газ. ^[7] Подход, ориентированный на производительность и позволяющий избежать риска переобучения, — это модель пластического нейронного газа. ^[8]

Выращивание нервного газа

Фрицке описывает растущий нейронный газ (GNG) как инкрементную сетевую модель, которая изучает топологические отношения с помощью « правила обучения, подобного Хеббу ». ^[5] только, в отличие от нейронного газа, он не имеет параметров, которые изменяются со временем, и способен к непрерывному обучению, то есть обучению на потоках данных. GNG широко используется в нескольких областях, ^[9] демонстрируя свои возможности для поэтапной кластеризации данных. GNG инициализируется двумя случайно расположенными узлами, которые изначально связаны краем нулевого возраста и чьи ошибки установлены равными 0. Поскольку входные данные GNG представляются последовательно один за другим, на каждой итерации выполняются следующие шаги:

Вычисляются ошибки (расстояния) между двумя ближайшими к текущим входным данным узлами.
Соответственно накапливается ошибка узла-победителя (только ближайшего).
Узел-победитель и его топологические соседи (соединенные ребром) движутся к текущему входу с разной долей своих соответствующих ошибок.
Возраст всех ребер, подключенных к узлу-победителю, увеличивается.
Если узел-победитель и второй победитель соединены ребром, такое ребро устанавливается в 0. В противном случае между ними создается ребро.
Если есть ребра с возрастом больше порога, они удаляются. Узлы без связей исключаются.
Если текущая итерация является целым числом, кратным предопределенному порогу создания частоты, новый узел вставляется между узлом с наибольшей ошибкой (среди всех) и его топологическим соседом, представляющим наибольшую ошибку. Связь между первым и вторым узлами устраняется (их ошибки уменьшаются в заданный раз) и новый узел подключается к ним обоим. Ошибка нового узла инициализируется как обновленная ошибка узла, который имел наибольшую ошибку (среди всех).
Накопленная ошибка всех узлов уменьшается на заданный коэффициент.
Если критерий остановки не выполняется, алгоритм принимает следующие входные данные. Критерием может быть заданное количество эпох, т. е. заранее установленное количество раз, когда будут представлены все данные, или достижение максимального количества узлов.

Постепенно растущий нейронный газ

Еще один вариант нейронного газа, вдохновленный алгоритмом GNG, — это инкрементно растущий нейронный газ (IGNG). Авторы предлагают основным преимуществом этого алгоритма «обучение новых данных (пластичность) без ухудшения качества ранее обученной сети и забывания старых входных данных (стабильность)». ^[7]

Выращивание при необходимости

Наличие сети с растущим набором узлов, подобной той, что реализована алгоритмом GNG, рассматривалось как большое преимущество, однако некоторые ограничения на обучение были замечены введением параметра λ, при котором сеть могла бы только расти, когда итерации кратны этому параметру. ^[6] Предложением по смягчению этой проблемы был новый алгоритм, сеть Growing When Required (GWR), которая позволяла сети расти быстрее за счет добавления узлов как можно быстрее всякий раз, когда сеть определяла, что существующие узлы не будут хорошо описывать входные данные. достаточно.

Пластиковый нервный газ

Способность только расширять сеть может быстро привести к переоснащению; с другой стороны, удаление узлов только на основе возраста, как в модели GNG, не гарантирует, что удаленные узлы фактически бесполезны, поскольку удаление зависит от параметра модели, который должен быть тщательно настроен на «длину памяти» поток входных данных.

Модель «Пластиковый нейронный газ». ^[8] решает эту проблему, принимая решения о добавлении или удалении узлов с использованием неконтролируемой версии перекрестной проверки, которая управляет эквивалентным понятием «способности обобщения» для неконтролируемой настройки.

В то время как методы только увеличения подходят только для сценария постепенного обучения , возможность роста и сжатия подходит для более общей проблемы потоковой передачи данных .

Реализации

Чтобы найти рейтинг $i_{0},i_{1},\ldots ,i_{N-1}$ Из векторов признаков алгоритм нейронного газа включает сортировку, которая представляет собой процедуру, которую нелегко распараллелить или реализовать на аналоговом оборудовании. Однако реализации как в параллельном программном обеспечении, так и в параллельном программном обеспечении ^[10] и аналоговое оборудование ^[11] были фактически спроектированы.

Ссылки

^ Томас Мартинец и Клаус Шультен (1991). «Сеть «нейронного газа» изучает топологии» (PDF) . Искусственные нейронные сети . Эльзевир . стр. 397–402.
^ Ф. Курателли; О. Майора-Иберра (2000). «Конкурентные методы обучения эффективному векторному квантованию в среде распознавания речи» . В Освальдо Каире; Л. Энрике Сукар; Франсиско Х. Канту-Ортис (ред.). MICAI 2000: Достижения в области искусственного интеллекта: Мексиканская международная конференция по искусственному интеллекту, Акапулько, Мексика, апрель 2000 г.: материалы . Спрингер. п. 109. ИСБН 978-3-540-67354-5 .
^ Ангелопулу, Анастасия; Псарру, Александра; Гарсия Родригес, Хосе; Реветт, Кеннет (2005). «Компьютерное зрение для приложений биомедицинских изображений». В Яньси Лю ; Тяньцзы Цзян; Чаншуй Чжан (ред.). Компьютерное зрение для приложений биомедицинских изображений: первый международный семинар, CVBIA 2005, Пекин, Китай, 21 октября 2005 г.: материалы . Конспекты лекций по информатике. Том. 3765. Спрингер. п. 210. дои : 10.1007/11569541_22 . ISBN 978-3-540-29411-5 .
^ Фернандо Каналес; Макс Чакон (2007). «Прогресс в распознавании образов, анализе изображений и приложениях». В Луисе Руэде; Доминго Мери (ред.). Прогресс в распознавании образов, анализе изображений и приложениях: 12-й Ибероамериканский конгресс по распознаванию образов, CIARP 2007, Винья-дель-Мар-Вальпараисо, Чили, 13–16 ноября 2007 г.; разбирательство . Конспекты лекций по информатике. Том. 4756. Спрингер. стр. 684–693. дои : 10.1007/978-3-540-76725-1_71 . ISBN 978-3-540-76724-4 .
^ Перейти обратно: ^а ^б Фрицке, Бернд (1995). «Растущая сеть нейронных газов изучает топологии» . Достижения в области нейронных систем обработки информации . 7 : 625–632 . Проверено 26 апреля 2016 г.
^ Перейти обратно: ^а ^б Марсланд, Стивен; Шапиро, Джонатан; Немцов, Ульрих (2002). «Самоорганизующаяся сеть, которая растет по мере необходимости». Нейронные сети . 15 (8): 1041–1058. CiteSeerX 10.1.1.14.8763 . дои : 10.1016/s0893-6080(02)00078-3 . ПМИД 12416693 .
^ Перейти обратно: ^а ^б Благоразумный, Янн; Эннаджи, Абделлатиф (2005). «Постепенно растущий нейронный газ изучает топологии». Слушания. 2005 Международная совместная конференция IEEE по нейронным сетям, 2005 г. Том. 2. С. 1211–1216. дои : 10.1109/IJCNN.2005.1556026 . ISBN 978-0-7803-9048-5 . S2CID 41517545 .
^ Перейти обратно: ^а ^б Риделла, Сандро; Роветта, Стефано; Зунино, Родольфо (1998). «Пластический алгоритм адаптивного векторного квантования». Нейронные вычисления и приложения . 7 : 37–51. дои : 10.1007/BF01413708 . S2CID 1184174 .
^ Икбал, Хафса; Кампо, Дамиан; Байдун, Мохамад; Марсенаро, Лусио; Мартин, Дэвид; Регаццони, Карло (2019). «Оптимизация кластеризации для обнаружения аномалий в полуавтономных системах». 1-й международный семинар по мультимодальному пониманию и обучению для воплощенных приложений . стр. 33–41. дои : 10.1145/3347450.3357657 . ISBN 978-1-4503-6918-3 .
^ Анкона, Фабио; Роветта, Стефано; Зунино, Родольфо (1996). «Параллельный подход к пластическому нервному газу». Материалы Международной конференции по нейронным сетям (ICNN'96) . Том. 1. С. 126–130. дои : 10.1109/ICNN.1996.548878 . ISBN 0-7803-3210-5 . S2CID 61686854 .
^ Анкона, Фабио; Роветта, Стефано; Зунино, Родольфо (1997). «Аппаратная реализация нейрогаза». Материалы Международной конференции по нейронным сетям (ICNN'97) . Том. 2. С. 991–994. дои : 10.1109/ICNN.1997.616161 . ISBN 0-7803-4122-8 . S2CID 62480597 .

Дальнейшее чтение

Т. Мартинец, С. Беркович и К. Шультен. Сеть «нейронный газ» для векторного квантования и ее применение для прогнозирования временных рядов. IEEE-транзакции в нейронных сетях, 4 (4): 558–569, 1993.
Мартинец, Т.; Шультен, К. (1994). «Топология, представляющая сети». Нейронные сети . 7 (3): 507–522. дои : 10.1016/0893-6080(94)90109-0 .

Внешние ссылки

Javascript-симулятор DemoGNG.js для Neural Gas (и других сетевых моделей)
Приложения для конкурентного обучения Java Неконтролируемые нейронные сети (включая самоорганизующуюся карту) на Java с исходными кодами.
формальное описание алгоритма нейронного газа
Реализация классификатора GNG и GWR в Matlab

[1] Томас Мартинец и Клаус Шультен (1991). «Сеть «нейронного газа» изучает топологии» (PDF) . Искусственные нейронные сети . Эльзевир . стр. 397–402.

[2] Ф. Курателли; О. Майора-Иберра (2000). «Конкурентные методы обучения эффективному векторному квантованию в среде распознавания речи» . В Освальдо Каире; Л. Энрике Сукар; Франсиско Х. Канту-Ортис (ред.). MICAI 2000: Достижения в области искусственного интеллекта: Мексиканская международная конференция по искусственному интеллекту, Акапулько, Мексика, апрель 2000 г.: материалы . Спрингер. п. 109. ИСБН 978-3-540-67354-5 .

[3] Ангелопулу, Анастасия; Псарру, Александра; Гарсия Родригес, Хосе; Реветт, Кеннет (2005). «Компьютерное зрение для приложений биомедицинских изображений». В Яньси Лю ; Тяньцзы Цзян; Чаншуй Чжан (ред.). Компьютерное зрение для приложений биомедицинских изображений: первый международный семинар, CVBIA 2005, Пекин, Китай, 21 октября 2005 г.: материалы . Конспекты лекций по информатике. Том. 3765. Спрингер. п. 210. дои : 10.1007/11569541_22 . ISBN 978-3-540-29411-5 .

[4] Фернандо Каналес; Макс Чакон (2007). «Прогресс в распознавании образов, анализе изображений и приложениях». В Луисе Руэде; Доминго Мери (ред.). Прогресс в распознавании образов, анализе изображений и приложениях: 12-й Ибероамериканский конгресс по распознаванию образов, CIARP 2007, Винья-дель-Мар-Вальпараисо, Чили, 13–16 ноября 2007 г.; разбирательство . Конспекты лекций по информатике. Том. 4756. Спрингер. стр. 684–693. дои : 10.1007/978-3-540-76725-1_71 . ISBN 978-3-540-76724-4 .

[:0-5] Перейти обратно: ^а ^б Фрицке, Бернд (1995). «Растущая сеть нейронных газов изучает топологии» . Достижения в области нейронных систем обработки информации . 7 : 625–632 . Проверено 26 апреля 2016 г.

[:1-6] Перейти обратно: ^а ^б Марсланд, Стивен; Шапиро, Джонатан; Немцов, Ульрих (2002). «Самоорганизующаяся сеть, которая растет по мере необходимости». Нейронные сети . 15 (8): 1041–1058. CiteSeerX 10.1.1.14.8763 . дои : 10.1016/s0893-6080(02)00078-3 . ПМИД 12416693 .

[:2-7] Перейти обратно: ^а ^б Благоразумный, Янн; Эннаджи, Абделлатиф (2005). «Постепенно растущий нейронный газ изучает топологии». Слушания. 2005 Международная совместная конференция IEEE по нейронным сетям, 2005 г. Том. 2. С. 1211–1216. дои : 10.1109/IJCNN.2005.1556026 . ISBN 978-0-7803-9048-5 . S2CID 41517545 .

[pgas-8] Перейти обратно: ^а ^б Риделла, Сандро; Роветта, Стефано; Зунино, Родольфо (1998). «Пластический алгоритм адаптивного векторного квантования». Нейронные вычисления и приложения . 7 : 37–51. дои : 10.1007/BF01413708 . S2CID 1184174 .

[9] Икбал, Хафса; Кампо, Дамиан; Байдун, Мохамад; Марсенаро, Лусио; Мартин, Дэвид; Регаццони, Карло (2019). «Оптимизация кластеризации для обнаружения аномалий в полуавтономных системах». 1-й международный семинар по мультимодальному пониманию и обучению для воплощенных приложений . стр. 33–41. дои : 10.1145/3347450.3357657 . ISBN 978-1-4503-6918-3 .

[10] Анкона, Фабио; Роветта, Стефано; Зунино, Родольфо (1996). «Параллельный подход к пластическому нервному газу». Материалы Международной конференции по нейронным сетям (ICNN'96) . Том. 1. С. 126–130. дои : 10.1109/ICNN.1996.548878 . ISBN 0-7803-3210-5 . S2CID 61686854 .

[11] Анкона, Фабио; Роветта, Стефано; Зунино, Родольфо (1997). «Аппаратная реализация нейрогаза». Материалы Международной конференции по нейронным сетям (ICNN'97) . Том. 2. С. 991–994. дои : 10.1109/ICNN.1997.616161 . ISBN 0-7803-4122-8 . S2CID 62480597 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]