Проблема исчезающего градиента

В машинном обучении проблема исчезновения градиента встречается при обучении нейронных сетей методами градиентного обучения и обратного распространения ошибки . В таких методах во время каждой итерации обучения каждый из весов нейронной сети получает обновление, пропорциональное частной производной функции ошибок по текущему весу. Проблема в том, что по мере увеличения длины последовательности ожидается, что величина градиента будет уменьшаться (или бесконтрольно расти), замедляя процесс обучения. В худшем случае это может полностью остановить дальнейшее обучение нейронной сети. В качестве одного из примеров причины проблемы традиционные функции активации, такие как функция гиперболического тангенса, имеют градиенты в диапазоне [-1,1] , а обратное распространение ошибки вычисляет градиенты по правилу цепочки . Это приводит к умножению n этих небольших чисел для вычисления градиентов ранних слоев в n -слойной сети, а это означает, что градиент (сигнал ошибки) уменьшается экспоненциально с увеличением n, в то время как ранние слои обучаются очень медленно.

Обратное распространение ошибки позволило исследователям обучать контролируемые глубокие искусственные нейронные сети с нуля, поначалу без особого успеха. работа Хохрайтера 1991 года Дипломная формально определила причину этой неудачи в «проблеме исчезающего градиента». что влияет не только на многоуровневые сети прямого распространения , но и повторяющиеся сети . Последние обучаются путем развертывания их в очень глубокие сети прямого распространения, где новый слой создается для каждого временного шага входной последовательности, обрабатываемой сетью. (Комбинация развертывания и обратного распространения ошибки называется обратным распространением ошибки во времени .)

Когда используются функции активации, производные которых могут принимать большие значения, существует риск столкнуться с соответствующей проблемой взрывающегося градиента .

Прототипические модели

Этот раздел основан на статье О сложности обучения рекуррентных нейронных сетей» . Паскану, Миколова и Бенджио «

Рекуррентная сетевая модель

Общая рекуррентная сеть имеет скрытые состояния. $h_{1},h_{2},...$ входы $u_{1},u_{2},...$и выходные данные $x_{1},x_{2},...$. Пусть оно параметризовано $\theta$, так что система развивается как $$(h_{t},x_{t})=F(h_{t-1},u_{t},\theta )$$Часто вывод $x_{t}$ является функцией $h_{t}$, как некоторые $x_{t}=G(h_{t})$. Проблема исчезновения градиента ясно проявляется уже тогда, когда $x_{t}=h_{t}$, поэтому мы упрощаем наши обозначения до особого случая: $$x_{t}=F(x_{t-1},u_{t},\theta )$$ Теперь возьмем его дифференциал : $${\begin{aligned}dx_{t}&=\nabla _{\theta }F(x_{t-1},u_{t},\theta )d\theta +\nabla _{x}F(x_{t-1},u_{t},\theta )dx_{t-1}\\&=\nabla _{\theta }F(x_{t-1},u_{t},\theta )d\theta +\nabla _{x}F(x_{t-1},u_{t},\theta )(\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )d\theta +\nabla _{x}F(x_{t-2},u_{t-1},\theta )dx_{t-2})\\&=\cdots \\&=\left(\nabla _{\theta }F(x_{t-1},u_{t},\theta )+\nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )+\cdots \right)d\theta \end{aligned}}$$Обучение сети требует от нас определения функции потерь, которую необходимо минимизировать. Будь как будет $L(x_{T},u_{1},...,u_{T})$, то минимизация его градиентным спуском дает

$dL=\nabla _{x}L(x_{T},u_{1},...,u_{T})\left(\nabla _{\theta }F(x_{t-1},u_{t},\theta )+\nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )+\cdots \right)d\theta$ ( дифференциал потерь )

$$\Delta \theta =-\eta \cdot \left[\nabla _{x}L(x_{T})\left(\nabla _{\theta }F(x_{t-1},u_{t},\theta )+\nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )+\cdots \right)\right]^{T}$$где $\eta$ это скорость обучения.

Проблема исчезновения/взрыва градиента возникает из-за повторяющихся умножений вида $$\nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{x}F(x_{t-2},u_{t-1},\theta )\nabla _{x}F(x_{t-3},u_{t-2},\theta )\cdots$$

Пример: рекуррентная сеть с сигмовидной активацией.

В качестве конкретного примера рассмотрим типичную рекуррентную сеть, определяемую формулой

$$x_{t}=F(x_{t-1},u_{t},\theta )=W_{rec}\sigma (x_{t-1})+W_{in}u_{t}+b$$где $\theta =(W_{rec},W_{in})$ параметр сети, $\sigma$ это функция активации сигмовидной кишки , применяемый к каждой векторной координате отдельно, и $b$ – вектор смещения.

Затем, $\nabla _{x}F(x_{t-1},u_{t},\theta )=W_{rec}\mathop {diag} (\sigma '(x_{t-1}))$, и так $${\begin{aligned}\nabla _{x}F(x_{t-1},u_{t},\theta )&\nabla _{x}F(x_{t-2},u_{t-1},\theta )\cdots \nabla _{x}F(x_{t-k},u_{t-k+1},\theta )\\=W_{rec}\mathop {diag} (\sigma '(x_{t-1}))&W_{rec}\mathop {diag} (\sigma '(x_{t-2}))\cdots W_{rec}\mathop {diag} (\sigma '(x_{t-k}))\end{aligned}}$$С $|\sigma '|\leq 1$, операторная норма указанного умножения ограничена сверху величиной $\|W_{rec}\|^{k}$. Итак, если радиус спектральный $W_{rec}$ является $\gamma <1$, то на свободе $k$, указанное выше умножение имеет операторную норму, ограниченную сверху $\gamma ^{k}\to 0$. Это прототип проблемы исчезающего градиента.

Эффект исчезающего градиента заключается в том, что сеть не может изучить долгосрочные эффекты. Напомним уравнение ( дифференциал потерь ): $$\nabla _{\theta }L=\nabla _{x}L(x_{T},u_{1},...,u_{T})\left(\nabla _{\theta }F(x_{t-1},u_{t},\theta )+\nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )+\cdots \right)$$Компоненты $\nabla _{\theta }F(x,u,\theta )$ являются лишь компонентами $\sigma (x)$ и $u$, так что если $u_{t},u_{t-1},...$ ограничены, то $\|\nabla _{\theta }F(x_{t-k-1},u_{t-k},\theta )\|$ также ограничено некоторыми $M>0$, и поэтому члены в $\nabla _{\theta }L$ распадаться как $M\gamma ^{k}$. Это означает, что фактически $\nabla _{\theta }L$ влияет только первый $O(\gamma ^{-1})$ условия в сумме.

Если $\gamma \geq 1$, приведенный выше анализ не совсем работает. Для прототипной задачи взрывающегося градиента следующая модель более ясна.

Модель динамических систем

Бифуркационная диаграмма однонейронной рекуррентной сети. Горизонтальная ось — b, вертикальная ось — x. Черная кривая представляет собой совокупность устойчивых и неустойчивых состояний равновесия. Обратите внимание, что система имеет гистерезис и может использоваться как однобитовая память.

Следуя (Дойя, 1993), рассмотрим эту рекуррентную сеть из одного нейрона с активацией сигмовидной кишки: $$x_{t+1}=(1-\epsilon )x_{t}+\epsilon \sigma (wx_{t}+b)+\epsilon w'u_{t}$$В маленьком $\epsilon$ предел, динамика сети становится $${\frac {dx}{dt}}=-x(t)+\sigma (wx(t)+b)+w'u(t)$$Рассмотрим сначала автономный случай, когда $u=0$. Набор $w=5.0$и варьируются $b$ в $[-3,-2]$. Как $b$ уменьшается, система имеет 1 устойчивую точку, затем имеет 2 устойчивые точки и 1 неустойчивую точку и, наконец, снова имеет 1 устойчивую точку. Явно устойчивыми точками являются $(x,b)=\left(x,\ln \left({\frac {x}{1-x}}\right)-5x\right)$.

Теперь рассмотрим ${\frac {\Delta x(T)}{\Delta x(0)}}$ и ${\frac {\Delta x(T)}{\Delta b}}$, где $T$ достаточно велика, чтобы система достигла одной из устойчивых точек.

Если $(x(0),b)$ ставит систему очень близко к нестабильной точке, а затем небольшое изменение $x(0)$ или $b$ сделал бы $x(T)$ переходить из одной устойчивой точки в другую. Это делает ${\frac {\Delta x(T)}{\Delta x(0)}}$ и ${\frac {\Delta x(T)}{\Delta b}}$ оба очень большие, случай взрывающегося градиента.

Если $(x(0),b)$ уводит систему далеко от неустойчивой точки, тогда небольшое изменение $x(0)$ не оказало бы никакого влияния на $x(T)$, изготовление ${\frac {\Delta x(T)}{\Delta x(0)}}=0$, случай исчезающего градиента.

Обратите внимание, что в этом случае ${\frac {\Delta x(T)}{\Delta b}}\approx {\frac {\partial x(T)}{\partial b}}=\left({\frac {1}{x(T)(1-x(T))}}-5\right)^{-1}$ не распадается до нуля и не стремится к бесконечности. Действительно, это единственный градиент с хорошим поведением, что объясняет, почему ранние исследования были сосредоточены на обучении или разработке систем рекуррентных сетей, которые могли бы выполнять долгосрочные вычисления (например, выводить первый входной сигнал, который он видит в самом конце эпизода), путем формирования его стабильные аттракторы.

В общем случае интуиция остается верной ( рисунки 3, 4 и 5).

Геометрическая модель

Продолжайте использовать описанную выше сеть из одного нейрона, исправляя $w=5,x(0)=0.5,u(t)=0$и рассмотрим функцию потерь, определяемую формулой $L(x(T))=(0.855-x(T))^{2}$. Это создает довольно патологическую картину потерь: поскольку $b$ подход $-2.5$ сверху потери приближаются к нулю, но как только $b$ кресты $-2.5$, бассейн аттрактора изменяется, и потери подскакивают до 0,50.

Следовательно, попытка тренировать $b$ при градиентном спуске «упрется в стену в ландшафте потерь» и вызовет взрывной градиент. Здесь изображена несколько более сложная ситуация. Цифры 6.

Решения

Для решения этой проблемы было предложено несколько методов.

Пакетная нормализация

Пакетная нормализация — это стандартный метод решения проблем как взрывающегося, так и исчезающего градиента.

Многоуровневая иерархия

Одним из них является Юргена Шмидхубера многоуровневая иерархия сетей (1992), предварительно обучающая один уровень за раз посредством неконтролируемого обучения и точно настраиваемая посредством обратного распространения ошибки . Здесь каждый уровень изучает сжатое представление наблюдений, которое передается на следующий уровень.

Связанный подход

Подобные идеи использовались в нейронных сетях с прямой связью для предварительного обучения без учителя для структурирования нейронной сети, заставляя ее сначала изучать обычно полезные детекторы функций . Затем сеть обучается дополнительно с помощью контролируемого обратного распространения ошибки для классификации помеченных данных. Модель сети глубоких убеждений Хинтона и др. (2006) предполагает изучение распределения представления высокого уровня с использованием последовательных слоев двоичных или вещественнозначных скрытых переменных . Он использует ограниченную машину Больцмана для моделирования каждого нового слоя функций более высокого уровня. Каждый новый слой гарантирует увеличение нижней границы вероятности данных журнала , тем самым улучшая модель при правильном обучении. После изучения достаточного количества слоев глубокая архитектура может использоваться в качестве генеративной модели путем воспроизведения данных при выборке модели («предковый проход») из активаций функций верхнего уровня. Хинтон сообщает, что его модели являются эффективным средством извлечения признаков из многомерных структурированных данных.

Длинная кратковременная память

Основная статья: Длинная кратковременная память

Другой метод, особенно используемый для рекуррентных нейронных сетей, — это сеть долгой краткосрочной памяти (LSTM), разработанная в 1997 году Хохрайтером и Шмидхубером . В 2009 году глубокие многомерные сети LSTM продемонстрировали возможности глубокого обучения со многими нелинейными слоями, выиграв три ICDAR конкурса 2009 по связанному распознаванию рукописного ввода без каких-либо предварительных знаний о трех различных языках, которые необходимо изучить.

Более быстрое оборудование

Развитие аппаратного обеспечения привело к тому, что с 1991 по 2015 год мощность компьютеров (особенно с помощью графических процессоров ) увеличилась примерно в миллион раз, что сделало стандартное обратное распространение ошибки возможным для сетей на несколько уровней глубже, чем тогда, когда была признана проблема исчезающего градиента. Шмидхубер отмечает, что это «по сути то, что сейчас позволяет выигрывать во многих конкурсах по распознаванию изображений», но «на самом деле это не решает проблему фундаментальным образом». поскольку оригинальные модели Хинтона и других, решающие проблему исчезающего градиента, были обучены на процессоре Xeon , а не на графических процессорах.

Остаточные сети

Один из новейших и наиболее эффективных способов решения проблемы исчезающего градиента — использование остаточных нейронных сетей . или ResNets (не путать с рекуррентными нейронными сетями). ResNets относятся к нейронным сетям, в которых пропущенные соединения или остаточные соединения являются частью сетевой архитектуры. Эти пропускаемые соединения позволяют информации о градиенте проходить через слои, создавая «магистрали» информации, где выходные данные предыдущего слоя/активации добавляются к выходным данным более глубокого слоя. Это позволяет передавать информацию из более ранних частей сети в более глубокие части сети, помогая поддерживать распространение сигнала даже в более глубоких сетях. Пропускные соединения являются важнейшим компонентом, позволяющим успешно обучать более глубокие нейронные сети.

ResNets дали меньшую ошибку обучения (и ошибку теста), чем их более мелкие аналоги, просто за счет повторного введения выходных данных из более мелких слоев сети, чтобы компенсировать исчезающие данные. Обратите внимание, что ResNets представляют собой ансамбль относительно неглубоких сетей и не решают проблему исчезновения градиента, сохраняя градиентный поток по всей глубине сети – скорее, они избегают этой проблемы, просто создавая ансамбли из множества коротких сетей вместе. (Ансамбль по строительству )

Другие функции активации

Выпрямители, такие как ReLU, меньше страдают от проблемы исчезающего градиента, поскольку они насыщаются только в одном направлении.

Инициализация веса

Инициализация веса — это еще один подход, предложенный для решения проблемы исчезновения градиента в глубоких сетях.

Кумар предположил, что распределение начальных весов должно варьироваться в зависимости от используемой функции активации, и предложил инициализировать веса в сетях с помощью логистической функции активации, используя распределение Гаусса с нулевым средним значением и стандартным отклонением 3.6/sqrt(N), где N количество нейронов в слое.

Недавно Йылмаз и Поли выполнил теоретический анализ того, как на градиенты влияет среднее значение начальных весов в глубоких нейронных сетях с использованием логистической функции активации, и обнаружил, что градиенты не исчезают, если среднее значение начальных весов установлено по формуле: max(−1,-8/N). Эта простая стратегия позволяет очень эффективно и результативно обучать сети с 10 или 15 скрытыми слоями, используя стандартное обратное распространение ошибки .

Другой

Бенке полагался только на знак градиента ( Rprop ) при обучении своей пирамиды нейронной абстракции. для решения таких задач, как реконструкция изображений и локализация лица.

Нейронные сети также можно оптимизировать с помощью универсального алгоритма поиска в пространстве весов нейронной сети, например, случайного предположения или более систематического генетического алгоритма . Этот подход не основан на градиенте и позволяет избежать проблемы исчезающего градиента.

См. также

• Спектральный радиус