Победитель получает все (вычисления)
«Победитель получает все» — это вычислительный принцип, применяемый в вычислительных моделях нейронных сетей, с помощью которого нейроны конкурируют друг с другом за активацию. В классической форме только нейрон с самой высокой активацией остается активным, в то время как все остальные нейроны отключаются; однако другие варианты позволяют быть активными более чем одному нейрону, например, «мягкий победитель получает все», при котором степенная функция к нейронам применяется .
Нейронные сети
[ редактировать ]В теории искусственных нейронных сетей сети «победитель получает все» представляют собой случай конкурентного обучения в рекуррентных нейронных сетях . Выходные узлы в сети взаимно тормозят друг друга, одновременно активируя себя посредством рефлексивных связей. Через некоторое время активным будет только один узел выходного слоя, а именно тот, который соответствует самому сильному входному сигналу. Таким образом, сеть использует нелинейное торможение, чтобы выбрать самый большой из набора входных данных. Принцип «победитель получает все» — это общий вычислительный примитив, который можно реализовать с использованием различных типов моделей нейронных сетей, включая как непрерывные, так и пиковые сети. [1] [2]
Сети «победитель получает все» обычно используются в вычислительных моделях мозга, особенно для распределенного принятия решений или выбора действий в коре головного мозга . Важные примеры включают иерархические модели видения, [3] и модели избирательного внимания и распознавания. [4] [5] Они также распространены в искусственных нейронных сетях и нейроморфных аналоговых схемах СБИС. Формально доказано, что операция «победитель получает все» является вычислительно мощной по сравнению с другими нелинейными операциями, такими как определение порога. [6]
Во многих практических случаях активным становится не только один нейрон, но есть ровно k нейронов, которые становятся активными в течение фиксированного числа k . Этот принцип называется « k-победители получают все» .
Пример схемы
[ редактировать ]
простая, но популярная схема КМОП, Справа показана при которой победитель получает все. Эта схема была первоначально предложена Лаззаро и др. (1989) [7] использование МОП-транзисторов, смещенных для работы в режиме слабой инверсии или подпороговом режиме. В показанном конкретном случае имеется только два входа ( I IN ,1 и I IN ,2 ), но схему можно легко расширить до нескольких входов простым способом. Он работает с входными сигналами (токами) непрерывного времени параллельно, используя только два транзистора на вход. Кроме того, ток смещения I BIAS задается одним глобальным транзистором, общим для всех входов.
Наибольший из входных токов устанавливает общий потенциал V C . В результате соответствующий выход несет почти весь ток смещения, в то время как остальные выходы имеют токи, близкие к нулю. Таким образом, схема выбирает больший из двух входных токов, т.е. если I IN ,1 > I IN ,2 , мы получаем I OUT ,1 = I BIAS и I OUT ,2 = 0. Аналогично, если I IN ,2 > I IN ,1 , мы получаем I OUT ,1 = 0 и I OUT ,2 = I BIAS .
входами . Справа показано моделирование постоянного тока КМОП-схемы «победитель получает все» на основе SPICE в случае с двумя Как показано на верхнем подграфике, входной ток I IN ,1 был зафиксирован на уровне 6 нА, а ток I IN ,2 линейно увеличивался от 0 до 10 нА. Нижний подграфик показывает два выходных тока. Как и ожидалось, выход, соответствующий большему из двух входов, несет весь ток смещения (в данном случае 10 нА), сводя другой выходной ток почти к нулю.
Другое использование
[ редактировать ]В алгоритмах стереосопоставления , следуя таксономии, предложенной Шарштейном и Шеллиски, [8] «Победитель получает все» — это локальный метод вычисления неравенства. Приняв стратегию «победитель получает все», несоответствие, связанное с минимальным или максимальным значением стоимости, выбирается в каждом пикселе.
Это аксиома, что на рынке электронной коммерции ранние доминирующие игроки, такие как AOL или Yahoo! получить большую часть наград. К 1998 году одно исследование [ нужны разъяснения ] обнаружил, что 5% лучших веб-сайтов собирают более 74% всего трафика.
Гипотеза «победитель получает все» в экономике предполагает, что, как только технология или фирма вырвутся вперед, они со временем будут работать все лучше и лучше, тогда как отстающие технологии и фирмы будут все больше отставать. См. Преимущество первопроходца .
См. также
[ редактировать ]- Самоорганизующаяся карта
- Выбор действий по принципу «победитель получает все»
- Компьютер с нулевым набором команд
Ссылки
[ редактировать ]- ^ Гроссберг, Стивен (1982), «Улучшение контуров, кратковременная память и постоянство в реверберирующих нейронных сетях» , Исследования разума и мозга , Бостонские исследования по философии науки, том. 70, Дордрехт: Springer Нидерланды, стр. 332–378, doi : 10.1007/978-94-009-7758-7_8 , ISBN 978-90-277-1360-5 , получено 5 ноября 2022 г.
- ^ Остер, Матиас; Родни, Дуглас; Лю, Ши-Чи (2009). «Вычисления с шипами в сети, где победитель получает все» . Нейронные вычисления . 21 (9): 2437–2465. дои : 10.1162/neco.2009.07-08-829 . ПМИД 19548795 . S2CID 7259946 .
- ^ Ризенхубер, Максимилиан; Поджо, Томазо (1 ноября 1999 г.). «Иерархические модели распознавания объектов в коре головного мозга» . Природная неврология . 2 (11): 1019–1025. дои : 10.1038/14819 . ISSN 1097-6256 . ПМИД 10526343 . S2CID 8920227 .
- ^ Карпентер, Гейл А. (1987). «Массовая параллельная архитектура для самоорганизующейся машины распознавания нейронных образов» . Компьютерное зрение, графика и обработка изображений . 37 (1): 54–115. дои : 10.1016/S0734-189X(87)80014-2 .
- ^ Итти, Лоран; Кох, Кристоф (1998). «Модель визуального внимания, основанного на значимости, для быстрого анализа сцены» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 20 (11): 1254–1259. дои : 10.1109/34.730558 . S2CID 3108956 .
- ^ Маасс, Вольфганг (1 ноября 2000 г.). «О вычислительной мощности принципа «победитель получает все» . Нейронные вычисления . 12 (11): 2519–2535. дои : 10.1162/089976600300014827 . ISSN 0899-7667 . ПМИД 11110125 . S2CID 10304135 .
- ^ Лаззаро, Дж.; Рикебуш, С.; Маховальд, Массачусетс; Мид, Калифорния (1 января 1988 г.). «Сети сложности O(N) по принципу «победитель получает все» . Форт Бельвуар, Вирджиния. дои : 10.21236/ada451466 .
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) - ^ Шарштейн, Дэниел; Селиски, Ричард (2002). «Таксономия и оценка алгоритмов плотного двухкадрового стереосоответствия» . Международный журнал компьютерного зрения . 47 (1/3): 7–42. дои : 10.1023/А:1014573219977 . S2CID 195859047 .