Алгоритм бодрствования и сна
Алгоритм бодрствования и сна [1] — это алгоритм обучения без учителя для глубоких генеративных моделей , особенно машин Гельмгольца . [2] Алгоритм аналогичен алгоритму максимизации ожидания , [3] модели и оптимизирует правдоподобие для наблюдаемых данных. [4] Название алгоритма происходит от использования двух фаз обучения: фазы «бодрствования» и фазы «сна», которые выполняются поочередно. [1] Его можно рассматривать как модель обучения мозга. [5] но также применяется для машинного обучения . [6]
Описание [ править ]
Цель алгоритма бодрствования-сна — найти иерархическое представление наблюдаемых данных. [7] В графическом представлении алгоритма данные применяются к алгоритму внизу, в то время как более высокие уровни постепенно формируют более абстрактные представления. Между каждой парой слоев находятся два набора весов: веса распознавания, которые определяют, как представления выводятся из данных, и генеративные веса, которые определяют, как эти представления связаны с данными. [8]
Обучение [ править ]
Тренировка состоит из двух фаз – фазы «бодрствования» и фазы «сна». Доказано, что данный алгоритм обучения является конвергентным. [3]
Фаза «пробуждения» [ править ]
Нейроны активируются распознавающими связями (от того, что будет входным, к тому, что будет выходным). Генеративные связи (ведущие от выходных данных ко входным) затем модифицируются, чтобы увеличить вероятность того, что они воссоздадут правильную деятельность на нижнем слое – ближе к фактическим данным сенсорного ввода. [1]
Фаза «сна» [ править ]
В фазе «сна» процесс обратный: нейроны возбуждаются генеративными связями, в то время как связи распознавания модифицируются, чтобы увеличить вероятность того, что они воссоздадут правильную активность в слое выше — в дополнение к фактическим данным, полученным от сенсорного ввода. [1]
Расширения [ править ]
Поскольку сеть распознавания ограничена в своей гибкости, она, возможно, не сможет хорошо аппроксимировать апостериорное распределение скрытых переменных. [6] Чтобы лучше аппроксимировать апостериорное распределение, можно использовать выборку по важности с сетью распознавания в качестве распределения предложений. Это улучшенное приближение апостериорного распределения также улучшает общую производительность модели. [6]
См. также [ править ]
- Ограниченная машина Больцмана — тип нейронной сети, обучающейся по концептуально схожему алгоритму.
- Машина Гельмгольца — модель нейронной сети, обученная по алгоритму бодрствования-сна.
Ссылки [ править ]
- ^ Jump up to: Перейти обратно: а б с д Хинтон, Джеффри Э .; Даян, Питер ; Фрей, Брендан Дж .; Нил, Рэдфорд (26 мая 1995 г.). «Алгоритм пробуждения-сна для неконтролируемых нейронных сетей». Наука . 268 (5214): 1158–1161. Бибкод : 1995Sci...268.1158H . дои : 10.1126/science.7761831 . ПМИД 7761831 . S2CID 871473 .
- ^ Даян, Питер . «Машины Гельмгольца и обучение во время сна» (PDF) . Проверено 1 ноября 2015 г.
- ^ Jump up to: Перейти обратно: а б Икеда, Сиро; Амари, Сюн-ичи; Накахара, Хироюки (1998). «Сходимость алгоритма бодрствования-сна» . Достижения в области нейронных систем обработки информации . 11 . МТИ Пресс.
- ^ Фрей, Брендан Дж.; Хинтон, Джеффри Э.; Даян, Питер (1 мая 1996 г.). «Дает ли алгоритм пробуждения и сна хорошие оценки плотности?» (PDF) . Достижения в области нейронных систем обработки информации.
- ^ Катаяма, Кацуки; Андо, Масатака; Хоригучи, Цуёси (1 апреля 2004 г.). «Модели областей MT и MST с использованием алгоритма пробуждения и сна». Нейронные сети . 17 (3): 339–351. дои : 10.1016/j.neunet.2003.07.004 . ПМИД 15037352 .
- ^ Jump up to: Перейти обратно: а б с Борншайн, Йорг; Бенджио, Йошуа (10 июня 2014 г.). «Пересмотренный режим бодрствования-сна». arXiv : 1406.2751 [ cs.LG ].
- ^ Маей, Хамид Реза (25 января 2007 г.). «Алгоритм бодрствования и сна для репрезентативного обучения» . Университет Монреаля . Проверено 1 ноября 2011 г.
- ^ Нил, Рэдфорд М.; Даян, Питер (24 ноября 1996 г.). «Факторный анализ с использованием дельта-правил обучения бодрствования и сна» (PDF) . Университет Торонто . Проверено 1 ноября 2015 г.