Обратное распространение ошибки

Эта статья о компьютерном алгоритме. Чтобы узнать о биологическом процессе, см. нейронное обратное распространение ошибки .

Обратное распространение ошибки также может относиться к способу распространения результата воспроизведения вверх по дереву поиска в дереве поиска Монте-Карло .

В машинном обучении обратное распространение ошибки — это метод оценки градиента , используемый для обучения моделей нейронных сетей. Оценка градиента используется алгоритмом оптимизации сети для вычисления обновлений параметров .

Это эффективное применение правила цепочки к нейронным сетям. Он также известен как обратный режим автоматического дифференцирования или обратного накопления благодаря Сеппо Линнаинмаа (1970). Термин «коррекция ошибок обратного распространения ошибки» был введен в 1962 году Фрэнком Розенблаттом . но он не знал, как это реализовать, хотя у Генри Дж. Келли был постоянный предшественник обратного распространения ошибки уже в 1960 году в контексте теории управления .

Обратное распространение ошибки вычисляет градиент функции потерь относительно весов сети для одного примера ввода-вывода и делает это эффективно , вычисляя градиент по одному слою за раз, делая итерацию назад от последнего слоя, чтобы избежать избыточных вычислений промежуточных значений. термины в цепном правиле; это может быть получено посредством динамического программирования . Градиентный спуск или такие варианты, как стохастический градиентный спуск . обычно используются.

Строго говоря, термин обратное распространение ошибки относится только к алгоритму вычисления градиента, а не к тому, как градиент используется; но этот термин часто используется в широком смысле для обозначения всего алгоритма обучения, включая то, как используется градиент, например, стохастический градиентный спуск. В 1986 году Дэвид Э. Румельхарт и др. опубликовал экспериментальный анализ метода. Это способствовало популяризации обратного распространения ошибки и помогло начать активный период исследований многослойных перцептронов .

Обзор

Обратное распространение ошибки вычисляет градиент в весовом пространстве нейронной сети прямого распространения относительно функции потерь . Обозначим:

• $x$: ввод (вектор признаков)
• $y$: целевой результат

  Для классификации выходными данными будет вектор вероятностей классов (например, $(0.1,0.7,0.2)$, а целевой результат — это конкретный класс, закодированный переменной one-hot / dummy (например, $(0,1,0)$).

• $C$: функция потерь или «функция стоимости»

  Для классификации это обычно перекрестная энтропия (XC, log loss ), а для регрессии — квадратичная потеря ошибки (SEL).

• $L$: количество слоев
• $W^{l}=(w_{jk}^{l})$: веса между слоями $l-1$ и $l$, где $w_{jk}^{l}$ это вес между $k$-й узел в слое $l-1$ и $j$-й узел в слое $l$
• $f^{l}$: функции активации на уровне $l$

  Для классификации последним слоем обычно является логистическая функция для бинарной классификации и softmax (softargmax) для многоклассовой классификации, тогда как для скрытых слоев это традиционно была сигмовидная функция (логистическая функция или другие) на каждом узле (координате), но сегодня более разнообразен, обычно используется выпрямитель ( рампа , ReLU ).

• $a_{j}^{l}$: активация $j$-й узел в слое $l$.

При выводе обратного распространения ошибки используются другие промежуточные величины, вводя их по мере необходимости ниже. Члены смещения не рассматриваются специально, поскольку они соответствуют весу с фиксированным входным значением, равным 1. Для обратного распространения ошибки конкретная функция потерь и функции активации не имеют значения, если они и их производные могут быть эффективно оценены. Традиционные функции активации включают сигмовидную мышцу, tanh и ReLU . взмахнуть Миш , с тех пор были предложены и другие функции активации.

Общая сеть представляет собой комбинацию композиции функций и умножения матриц :

$g(x):=f^{L}(W^{L}f^{L-1}(W^{L-1}\cdots f^{1}(W^{1}x)\cdots ))$

Для обучающего набора будет набор пар ввода-вывода, $\left\{(x_{i},y_{i})\right\}$. Для каждой пары ввода-вывода $(x_{i},y_{i})$ в обучающем наборе потеря модели в этой паре — это стоимость разницы между прогнозируемыми выходными данными $g(x_{i})$ и целевой результат $y_{i}$:

$C(y_{i},g(x_{i}))$

Обратите внимание на различие: во время оценки модели веса фиксируются, в то время как входные данные изменяются (а целевой выход может быть неизвестен), а сеть заканчивается выходным слоем (он не включает функцию потерь). Во время обучения модели пара ввода-вывода фиксируется, а веса меняются, и сеть заканчивается функцией потерь.

Обратное распространение ошибки вычисляет градиент для фиксированной пары ввода-вывода. $(x_{i},y_{i})$, где веса $w_{jk}^{l}$ может варьироваться. Каждый отдельный компонент градиента, $\partial C/\partial w_{jk}^{l},$ может быть вычислено по цепному правилу; но делать это отдельно для каждого веса неэффективно. Обратное распространение ошибки эффективно вычисляет градиент, избегая дублирования вычислений и не вычисляя ненужные промежуточные значения, вычисляя градиент каждого слоя – в частности, градиент взвешенного входного сигнала каждого слоя, обозначаемый $\delta ^{l}$ – сзади наперед.

Неофициально, ключевым моментом является то, что, поскольку единственный способ $W^{l}$ влияет на потери через свое влияние на следующий слой, и это происходит линейно , $\delta ^{l}$ — единственные данные, которые вам нужны для вычисления градиентов весов на слое. $l$, а затем можно вычислить предыдущий слой $\delta ^{l-1}$ и повторяется рекурсивно. Это позволяет избежать неэффективности двумя способами. Во-первых, это позволяет избежать дублирования, поскольку при вычислении градиента на слое $l$, нет необходимости пересчитывать все производные на более поздних слоях $l+1,l+2,\ldots$ каждый раз. Во-вторых, он позволяет избежать ненужных промежуточных вычислений, поскольку на каждом этапе он напрямую вычисляет градиент весов относительно конечного результата (потери), а не без необходимости вычисляет производные значений скрытых слоев с учетом изменений весов. $\partial a_{j'}^{l'}/\partial w_{jk}^{l}$.

Обратное распространение ошибки может быть выражено для простых сетей прямого распространения в терминах матричного умножения или, в более общем смысле, в терминах присоединенного графа .

Умножение матрицы

В базовом случае сети с прямой связью, где узлы каждого уровня соединены только с узлами следующего слоя (без пропуска каких-либо слоев), и существует функция потерь, которая вычисляет скалярные потери для конечного результата, обратное распространение ошибки может быть понимается просто путем матричного умножения. По сути, обратное распространение ошибки оценивает выражение производной функции стоимости как произведение производных между каждым слоем справа налево – «назад» – при этом градиент весов между каждым слоем представляет собой простую модификацию частичных произведений («обратное распространение ошибки»). ошибка обратного распространения»).

Учитывая пару ввода-вывода $(x,y)$, потери составляют:

$C(y,f^{L}(W^{L}f^{L-1}(W^{L-1}\cdots f^{2}(W^{2}f^{1}(W^{1}x))\cdots )))$

Чтобы вычислить это, нужно начать с ввода $x$ и работает вперед; обозначим взвешенный вход каждого скрытого слоя как $z^{l}$ и вывод скрытого слоя $l$ как активация $a^{l}$. Для обратного распространения ошибки активация $a^{l}$ а также производные $(f^{l})'$ (оценено в $z^{l}$) должен быть кэширован для использования во время обратного прохода.

Производная потерь по входящим ресурсам определяется цепным правилом; обратите внимание, что каждый термин представляет собой полную производную , оцениваемую по значению сети (в каждом узле) на входе. $x$:

${\frac {dC}{da^{L}}}\cdot {\frac {da^{L}}{dz^{L}}}\cdot {\frac {dz^{L}}{da^{L-1}}}\cdot {\frac {da^{L-1}}{dz^{L-1}}}\cdot {\frac {dz^{L-1}}{da^{L-2}}}\cdot \ldots \cdot {\frac {da^{1}}{dz^{1}}}\cdot {\frac {\partial z^{1}}{\partial x}},$

где ${\frac {da^{L}}{dz^{L}}}$ является диагональной матрицей.

Этими терминами являются: производная функции потерь; производные функций активации; и матрицы весов:

${\frac {dC}{da^{L}}}\circ (f^{L})'\cdot W^{L}\circ (f^{L-1})'\cdot W^{L-1}\circ \cdots \circ (f^{1})'\cdot W^{1}.$

Градиент $\nabla$ является транспонированием производной вывода через вход, поэтому матрицы транспонируются и порядок умножения меняется на обратный, но записи остаются теми же:

$\nabla _{x}C=(W^{1})^{T}\cdot (f^{1})'\circ \ldots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C.$

Тогда обратное распространение ошибки состоит, по существу, из вычисления этого выражения справа налево (что эквивалентно умножению предыдущего выражения для производной слева направо), вычисления градиента на каждом слое на пути; есть дополнительный шаг, потому что градиент весов — это не просто подвыражение: есть дополнительное умножение.

Вводя вспомогательную величину $\delta ^{l}$ для частичных произведений (умножающихся справа налево), что интерпретируется как «ошибка на уровне $l$" и определяется как градиент входных значений на уровне $l$:

$\delta ^{l}:=(f^{l})'\circ (W^{l+1})^{T}\cdot (f^{l+1})'\circ \cdots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C.$

Обратите внимание, что $\delta ^{l}$ - вектор длиной, равной количеству узлов на уровне $l$; каждый компонент интерпретируется как «стоимость, относящаяся к (стоимости) этого узла».

Градиент весов в слое $l$ тогда:

$\nabla _{W^{l}}C=\delta ^{l}(a^{l-1})^{T}.$

Фактор $a^{l-1}$ потому что веса $W^{l}$ между уровнями $l-1$ и $l$ уровень влияния $l$ пропорционально входам (активациям): входы фиксированы, веса меняются.

The $\delta ^{l}$ можно легко вычислить рекурсивно, идя справа налево, как:

$\delta ^{l-1}:=(f^{l-1})'\circ (W^{l})^{T}\cdot \delta ^{l}.$

Таким образом, градиенты весов можно вычислить с помощью нескольких умножений матриц для каждого уровня; это обратное распространение ошибки.

По сравнению с простыми вычислениями вперед (с использованием $\delta ^{l}$ для иллюстрации):

${\begin{aligned}\delta ^{1}&=(f^{1})'\circ (W^{2})^{T}\cdot (f^{2})'\circ \cdots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C\\\delta ^{2}&=(f^{2})'\circ \cdots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C\\&\vdots \\\delta ^{L-1}&=(f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C\\\delta ^{L}&=(f^{L})'\circ \nabla _{a^{L}}C,\end{aligned}}$

Есть два ключевых отличия от обратного распространения ошибки:

1. Вычисление $\delta ^{l-1}$ с точки зрения $\delta ^{l}$ позволяет избежать очевидного дублирования умножения слоев $l$ и за его пределами.
2. Умножение, начиная с $\nabla _{a^{L}}C$ – распространение ошибки назад – означает, что каждый шаг просто умножает вектор ( $\delta ^{l}$) по матрицам весов $(W^{l})^{T}$ и производные активаций $(f^{l-1})'$. Напротив, умножение вперед, начиная с изменений на более раннем уровне, означает, что каждое умножение умножает матрицу на матрицу . Это намного дороже и соответствует отслеживанию всех возможных путей изменения на одном уровне. $l$ вперед к изменениям в слое $l+2$ (для умножения $W^{l+1}$ к $W^{l+2}$, с дополнительными умножениями для производных активаций), который без необходимости вычисляет промежуточные величины того, как изменения веса влияют на значения скрытых узлов.

Сопряженный граф

Для более общих графов и других расширенных вариантов обратное распространение ошибки можно понимать как автоматическое дифференцирование , где обратное распространение ошибки является частным случаем обратного накопления (или «обратного режима»).

Интуиция

Мотивация

Цель любого алгоритма обучения с учителем — найти функцию, которая наилучшим образом сопоставляет набор входных данных с их правильными выходными данными. Мотивацией обратного распространения ошибки является обучение многоуровневой нейронной сети таким образом, чтобы она могла изучить соответствующие внутренние представления, позволяющие ей изучать любое произвольное сопоставление ввода и вывода.

Обучение как задача оптимизации

Чтобы понять математический вывод алгоритма обратного распространения ошибки, необходимо сначала получить некоторое представление о взаимосвязи между фактическим выходным сигналом нейрона и правильным выходным сигналом для конкретного обучающего примера. Рассмотрим простую нейронную сеть с двумя входными блоками, одним выходным блоком и без скрытых блоков, в которой каждый нейрон использует линейный выход (в отличие от большинства работ по нейронным сетям, в которых отображение входных данных на выходные данные является нелинейным). это взвешенная сумма его входных данных.

Простая нейронная сеть с двумя входными блоками (каждый с одним входом) и одним выходным блоком (с двумя входами).

Изначально, перед тренировкой, веса будут установлены случайным образом. Затем нейрон обучается на обучающих примерах , которые в данном случае состоят из набора кортежей. $(x_{1},x_{2},t)$ где $x_{1}$ и $x_{2}$ — это входные данные для сети, а t — правильный результат (выход, который сеть должна выдавать с учетом этих входных данных после обучения). Исходная сеть, заданная $x_{1}$ и $x_{2}$, вычислит выходной сигнал y , который, вероятно, отличается от t (с учетом случайных весов). Функция потерь $L(t,y)$ используется для измерения расхождения между целевым выходом t и вычисленным выходом y . Для задач регрессионного анализа квадрат ошибки можно использовать как функцию потерь, для классификации категориальную перекрестную энтропию можно использовать .

В качестве примера рассмотрим задачу регрессии, использующую квадратичную ошибку в качестве потери:

$L(t,y)=(t-y)^{2}=E,$

где E – несоответствие или ошибка.

Рассмотрим сеть на одном обучающем примере: $(1,1,0)$. Таким образом, вход $x_{1}$ и $x_{2}$ равны 1 и 1 соответственно, а правильный выходной сигнал t равен 0. Теперь, если построить график зависимости между выходным сигналом сети y на горизонтальной оси и ошибкой E на вертикальной оси, результатом будет парабола. Минимум который параболы , соответствует выходному сигналу y ошибку E. минимизирует Для одного обучающего случая минимум также касается горизонтальной оси, что означает, что ошибка будет равна нулю, и сеть может выдать результат y , который точно соответствует целевому выходу t . Следовательно, проблему сопоставления входных данных и выходных данных можно свести к задаче оптимизации поиска функции, которая будет давать минимальную ошибку.

Поверхность ошибок линейного нейрона для одного обучающего случая

Однако выходной сигнал нейрона зависит от взвешенной суммы всех его входных данных:

$y=x_{1}w_{1}+x_{2}w_{2},$

где $w_{1}$ и $w_{2}$ — это веса соединения между входными блоками и выходными блоками. Следовательно, ошибка также зависит от весов, поступающих в нейрон, что в конечном итоге и необходимо изменить в сети, чтобы обеспечить возможность обучения.

В этом примере после введения обучающих данных $(1,1,0)$, функция потерь становится

$E=(t-y)^{2}=y^{2}=(x_{1}w_{1}+x_{2}w_{2})^{2}=(w_{1}+w_{2})^{2}.$

Тогда функция потерь $E$ имеет форму параболического цилиндра с основанием, направленным вдоль $w_{1}=-w_{2}$. Поскольку все наборы весов, удовлетворяющие $w_{1}=-w_{2}$ минимизировать функцию потерь, в этом случае для сходимости к единственному решению требуются дополнительные ограничения. Дополнительные ограничения могут быть созданы либо путем установки определенных условий для весов, либо путем введения дополнительных обучающих данных.

Одним из часто используемых алгоритмов для поиска набора весов, который минимизирует ошибку, является градиентный спуск . Путем обратного распространения ошибки вычисляется направление наибольшего крутого спуска функции потерь в зависимости от текущих синаптических весов. Затем веса можно изменить вдоль направления наибольшего спуска, и ошибка будет эффективно минимизирована.

Вывод

Метод градиентного спуска предполагает вычисление производной функции потерь по весам сети. Обычно это делается с помощью обратного распространения ошибки. Предполагая один выходной нейрон, функция квадрата ошибки

$E=L(t,y)$

где

$L$ это потери на выходе $y$ и целевое значение $t$,

$t$ — целевой результат обучающей выборки, а

$y$ — это фактический выход выходного нейрона.

Для каждого нейрона $j$, его выход $o_{j}$ определяется как

$o_{j}=\varphi ({\text{net}}_{j})=\varphi \left(\sum _{k=1}^{n}w_{kj}x_{k}\right),$

где функция активации $\varphi$ дифференцируема нелинейна и . по области активации (ReLU не дифференцируема в одной точке) Исторически используемой функцией активации является логистическая функция :

$\varphi (z)={\frac {1}{1+e^{-z}}}$

который имеет удобную производную:

${\frac {d\varphi }{dz}}=\varphi (z)(1-\varphi (z))$

Вход ${\text{net}}_{j}$ для нейрона — это взвешенная сумма выходных сигналов $o_{k}$ предыдущих нейронов. Если нейрон находится в первом слое после входного, $o_{k}$ входного слоя — это просто входные данные $x_{k}$ в сеть. Число входных единиц нейрона равно $n$. Переменная $w_{kj}$ обозначает вес между нейроном $k$ предыдущего слоя и нейрона $j$ текущего слоя.

Нахождение производной ошибки

Схема искусственной нейронной сети для иллюстрации используемых здесь обозначений.

Вычисление частной производной ошибки по весу $w_{ij}$ делается с использованием цепного правила дважды:

${\frac {\partial E}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}{\frac {\partial {\text{net}}_{j}}{\partial w_{ij}}}$ ( Уравнение 1 )

В последнем множителе правой части вышеизложенного только одно слагаемое в сумме ${\text{net}}_{j}$ зависит от $w_{ij}$, так что

${\frac {\partial {\text{net}}_{j}}{\partial w_{ij}}}={\frac {\partial }{\partial w_{ij}}}\left(\sum _{k=1}^{n}w_{kj}o_{k}\right)={\frac {\partial }{\partial w_{ij}}}w_{ij}o_{i}=o_{i}.$ ( уравнение 2 )

Если нейрон находится в первом слое после входного слоя, $o_{i}$ это просто $x_{i}$.

Производная выхода нейрона $j$ по отношению к его входу является просто частной производной функции активации:

${\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\frac {\partial \varphi ({\text{net}}_{j})}{\partial {\text{net}}_{j}}}$ ( уравнение 3 )

что для логистической функции активации

${\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\frac {\partial }{\partial {\text{net}}_{j}}}\varphi ({\text{net}}_{j})=\varphi ({\text{net}}_{j})(1-\varphi ({\text{net}}_{j}))=o_{j}(1-o_{j})$

Именно по этой причине обратное распространение ошибки требует, чтобы функция активации была дифференцируемой . (Тем не менее, функция активации ReLU , недифференцируемая в 0, стала довольно популярной, например в AlexNet )

Первый фактор позволяет легко оценить, находится ли нейрон в выходном слое, потому что тогда $o_{j}=y$ и

${\frac {\partial E}{\partial o_{j}}}={\frac {\partial E}{\partial y}}$ ( уравнение 4 )

Если половина квадратичной ошибки используется в качестве функции потерь, мы можем переписать ее как

${\frac {\partial E}{\partial o_{j}}}={\frac {\partial E}{\partial y}}={\frac {\partial }{\partial y}}{\frac {1}{2}}(t-y)^{2}=y-t$

Однако, если $j$ находится в произвольном внутреннем слое сети, находя производную $E$ относительно $o_{j}$ менее очевидно.

Учитывая $E$ как функция, входами которой являются все нейроны $L=\{u,v,\dots ,w\}$ получение входных данных от нейрона $j$,

${\frac {\partial E(o_{j})}{\partial o_{j}}}={\frac {\partial E(\mathrm {net} _{u},{\text{net}}_{v},\dots ,\mathrm {net} _{w})}{\partial o_{j}}}$

и взяв полную производную по $o_{j}$, получается рекурсивное выражение для производной:

${\frac {\partial E}{\partial o_{j}}}=\sum _{\ell \in L}\left({\frac {\partial E}{\partial {\text{net}}_{\ell }}}{\frac {\partial {\text{net}}_{\ell }}{\partial o_{j}}}\right)=\sum _{\ell \in L}\left({\frac {\partial E}{\partial o_{\ell }}}{\frac {\partial o_{\ell }}{\partial {\text{net}}_{\ell }}}{\frac {\partial {\text{net}}_{\ell }}{\partial o_{j}}}\right)=\sum _{\ell \in L}\left({\frac {\partial E}{\partial o_{\ell }}}{\frac {\partial o_{\ell }}{\partial {\text{net}}_{\ell }}}w_{j\ell }\right)$ ( уравнение 5 )

Поэтому производная по $o_{j}$ можно вычислить, если все производные по выходам $o_{\ell }$ следующего слоя – тех, которые ближе к выходному нейрону – известны. [Обратите внимание: если какой-либо из нейронов в наборе $L$ не были связаны с нейроном $j$, они были бы независимы от $w_{ij}$ и соответствующая частная производная при суммировании обратится в нуль.]

Подставив уравнение 2 , уравнение. 3 Уравнение 4 и уравнение. 5 в уравнении 1 получаем:

${\frac {\partial E}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}{\frac {\partial {\text{net}}_{j}}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}o_{i}$

${\frac {\partial E}{\partial w_{ij}}}=o_{i}\delta _{j}$

с

$\delta _{j}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\begin{cases}{\frac {\partial L(t,o_{j})}{\partial o_{j}}}{\frac {d\varphi ({\text{net}}_{j})}{d{\text{net}}_{j}}}&{\text{if }}j{\text{ is an output neuron,}}\\(\sum _{\ell \in L}w_{j\ell }\delta _{\ell }){\frac {d\varphi ({\text{net}}_{j})}{d{\text{net}}_{j}}}&{\text{if }}j{\text{ is an inner neuron.}}\end{cases}}$

если $\varphi$ – логистическая функция, а ошибка – квадратичная ошибка:

$\delta _{j}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\begin{cases}(o_{j}-t_{j})o_{j}(1-o_{j})&{\text{if }}j{\text{ is an output neuron,}}\\(\sum _{\ell \in L}w_{j\ell }\delta _{\ell })o_{j}(1-o_{j})&{\text{if }}j{\text{ is an inner neuron.}}\end{cases}}$

Чтобы обновить вес $w_{ij}$ используя градиентный спуск, необходимо выбрать скорость обучения, $\eta >0$. Изменение веса должно отражать влияние на $E$ увеличения или уменьшения $w_{ij}$. Если ${\frac {\partial E}{\partial w_{ij}}}>0$, увеличение $w_{ij}$ увеличивается $E$; наоборот, если ${\frac {\partial E}{\partial w_{ij}}}<0$, увеличение $w_{ij}$ уменьшается $E$. Новый $\Delta w_{ij}$ добавляется к старому весу и произведению скорости обучения и градиента, умноженному на $-1$ гарантирует, что $w_{ij}$ изменяется таким образом, что всегда уменьшается $E$. Другими словами, в уравнении, приведенном непосредственно ниже, $-\eta {\frac {\partial E}{\partial w_{ij}}}$ всегда меняется $w_{ij}$ таким образом, что $E$ уменьшается:

$\Delta w_{ij}=-\eta {\frac {\partial E}{\partial w_{ij}}}=-\eta o_{i}\delta _{j}$

Градиентный спуск второго порядка

Используя матрицу Гессе производных второго порядка функции ошибок, алгоритм Левенберга-Марквардта часто сходится быстрее, чем градиентный спуск первого порядка, особенно когда топология функции ошибок сложна. Он также может находить решения с меньшим количеством узлов, для которых другие методы могут не сходиться. Гессиан можно аппроксимировать информационной матрицей Фишера .

Функция потерь

Дополнительная информация: функция потерь.

Функция потерь — это функция, которая отображает значения одной или нескольких переменных в действительное число, интуитивно представляющее некоторую «стоимость», связанную с этими значениями. При обратном распространении функция потерь вычисляет разницу между выходными данными сети и ожидаемыми выходными данными после распространения обучающего примера по сети.

Предположения

Математическое выражение функции потерь должно удовлетворять двум условиям, чтобы его можно было использовать в обратном распространении ошибки. Во-первых, его можно записать как среднее значение. ${\textstyle E={\frac {1}{n}}\sum _{x}E_{x}}$ над функциями ошибок ${\textstyle E_{x}}$, для ${\textstyle n}$ индивидуальные примеры обучения, ${\textstyle x}$. Причина этого предположения заключается в том, что алгоритм обратного распространения ошибки вычисляет градиент функции ошибок для одного обучающего примера, который необходимо обобщить до общей функции ошибок. Второе предположение заключается в том, что его можно записать как функцию выходных данных нейронной сети.

Пример функции потерь

Позволять $y,y'$ быть векторами в $\mathbb {R} ^{n}$.

Выберите функцию ошибки $E(y,y')$ измерение разницы между двумя выходными данными. Стандартный выбор — квадрат евклидова расстояния между векторами $y$ и $y'$: $$E(y,y')={\tfrac {1}{2}}\lVert y-y'\rVert ^{2}$$Функция ошибки закончилась ${\textstyle n}$ Затем обучающие примеры можно записать как среднее значение потерь по отдельным примерам: $$E={\frac {1}{2n}}\sum _{x}\lVert (y(x)-y'(x))\rVert ^{2}$$

Ограничения

Градиентный спуск может найти локальный минимум вместо глобального минимума.

• Градиентный спуск с обратным распространением ошибки не гарантирует нахождение глобального минимума функции ошибок, а только локального минимума; кроме того, у него есть проблемы с преодолением плато в ландшафте функций ошибок. Эта проблема, вызванная невыпуклостью функций ошибок в нейронных сетях, долгое время считалась серьезным недостатком, но Янн Лекун и др. утверждают, что во многих практических задачах это не так.
• Обучение обратному распространению ошибки не требует нормализации входных векторов; однако нормализация может улучшить производительность.
• Обратное распространение ошибки требует, чтобы производные функций активации были известны во время проектирования сети.

История

Смотрите также: История персептрона

Прекурсоры

Обратное распространение ошибки выводилось неоднократно, поскольку, по сути, оно представляет собой эффективное применение правила цепочки (впервые записанного Готфридом Вильгельмом Лейбницем в 1676 году). ) в нейронные сети.

Терминология «коррекция ошибок с обратным распространением ошибки» была введена в 1962 году Фрэнком Розенблаттом , но он не знал, как это реализовать. В любом случае он изучал только нейроны, выходные данные которых были дискретными уровнями, имеющими только нулевые производные, что делало обратное распространение ошибки невозможным.

Предшественники обратного распространения ошибки появились в теории оптимального управления с 1950-х годов. Янн Лекун и др. отдают должное работе Понтрягина и других 1950-х годов по теории оптимального управления, особенно методу сопряженного состояния , как версии обратного распространения ошибки с непрерывным временем. Хехт-Нильсен считает алгоритм Роббинса-Монро (1951) и » Артура Брайсона и Ю-Чи Хо ( «Прикладное оптимальное управление 1969) предвестниками обратного распространения ошибки. Другими предшественниками были Генри Дж. Келли (1960 г.), и Артур Э. Брайсон (1961). В 1962 году Стюарт Дрейфус опубликовал более простой вывод, основанный только на цепном правиле . В 1973 году он адаптировал параметры контроллеров пропорционально градиентам ошибок. В отличие от современного метода обратного распространения ошибки, эти предшественники использовали стандартные вычисления матрицы Якоби от одного этапа к предыдущему, не обращаясь ни к прямым связям между несколькими этапами, ни к потенциальному дополнительному повышению эффективности из-за разреженности сети.

Алгоритм обучения ADALINE (1960) представлял собой градиентный спуск с квадратичной потерей ошибок для одного слоя. Первый многослойный перцептрон (MLP) с более чем одним слоем, обученный методом стохастического градиентного спуска. был опубликован в 1967 году Шуничи Амари . MLP имел пять слоев, два из которых можно было изучить, и он научился классифицировать закономерности, которые не являются линейно разделимыми.

Современное обратное распространение ошибки

Современное обратное распространение ошибки было впервые опубликовано Сеппо Линнаинмаа как «обратный режим автоматического дифференцирования » (1970). для дискретных связных сетей вложенных дифференцируемых функций.

В 1982 году Пол Вербос применил обратное распространение ошибки к MLP способом, который стал стандартным. В интервью Вербос рассказал, как он разработал метод обратного распространения ошибки. В 1971 году, во время своей докторской диссертации, он разработал метод обратного распространения ошибки, чтобы математизировать . «поток психической энергии» Фрейда Он неоднократно сталкивался с трудностями при публикации работы, и ему это удалось только в 1981 году.

Примерно в 1982 году Дэвид Э. Румельхарт независимо разработал обратное распространение ошибки и научил этому алгоритму других членов своего исследовательского круга. Он не цитировал предыдущие работы, поскольку не знал о них. Сначала он опубликовал алгоритм в статье 1985 года, затем в статье Nature 1986 года с экспериментальным анализом метода. Эти статьи стали высоко цитируемыми, способствовали популяризации обратного распространения ошибки и совпали с возрождением исследовательского интереса к нейронным сетям в 1980-х годах.

В 1985 году метод также описал Дэвид Паркер. Янн ЛеКун предложил альтернативную форму обратного распространения ошибки для нейронных сетей в своей докторской диссертации в 1987 году.

Градиентный спуск потребовал значительного времени, чтобы добиться признания. Некоторые ранние возражения заключались в следующем: не было никаких гарантий того, что градиентный спуск может достичь глобального минимума, только локального минимума; Физиологам было «известно», что нейроны производят дискретные сигналы (0/1), а не непрерывные, а для дискретных сигналов не существует градиента. Смотрите интервью с Джеффри Хинтоном .

Ранние успехи

Этому способствовало несколько приложений по обучению нейронных сетей посредством обратного распространения ошибки, которые иногда приобретали популярность за пределами исследовательских кругов.

В 1987 году NETtalk научился преобразовывать английский текст в произношение. Сейновский попробовал обучить его как с помощью обратного распространения ошибки, так и с помощью машины Больцмана, но обнаружил, что обратное распространение ошибки происходит значительно быстрее, поэтому он использовал его для финального выступления NETtalk. Программа NETtalk имела популярный успех, появившись на Today шоу .

В 1989 году Дин А. Померло опубликовал ALVINN — нейронную сеть, обученную автономному управлению с использованием обратного распространения ошибки.

LeNet . был опубликован в 1989 году для распознавания рукописных почтовых индексов

В 1992 году TD-Gammon достигла высшего уровня игры в нарды. Это был агент обучения с подкреплением с двухслойной нейронной сетью, обученной методом обратного распространения ошибки.

В 1993 году Эрик Ван выиграл международный конкурс по распознаванию образов с помощью обратного распространения ошибки.

После обратного распространения ошибки

В 2000-е годы он вышел из моды. , но вернулся в 2010-х годах, воспользовавшись дешевыми и мощными вычислительными системами на базе графических процессоров . Это особенно заметно в распознавании речи , машинном зрении , обработке естественного языка и исследованиях изучения структуры языка (в которых оно использовалось для объяснения множества явлений, связанных с первым и изучение второго языка. )

Было предложено использовать обратное распространение ошибок для объяснения компонентов потенциала, связанных с событиями (ERP) человеческого мозга, таких как N400 и P600 .

В 2023 году алгоритм обратного распространения ошибки был реализован на фотонном процессоре командой Стэнфордского университета .

См. также

• Искусственная нейронная сеть
• Нейронная цепь
• Катастрофическое вмешательство
• Ансамблевое обучение
• АдаБуст
• Переобучение
• Нейронное обратное распространение ошибки
• Обратное распространение ошибки во времени

Дальнейшее чтение

• Гудфеллоу, Ян ; Бенджио, Йошуа ; Курвиль, Аарон (2016). «6.5 Обратное распространение ошибки и другие алгоритмы дифференцирования» . Глубокое обучение . МТИ Пресс. стр. 200–220. ISBN  9780262035613 .
• Нильсен, Майкл А. (2015). «Как работает алгоритм обратного распространения ошибки» . Нейронные сети и глубокое обучение . Определение Пресс.
• Маккаффри, Джеймс (октябрь 2012 г.). «Обратное распространение ошибки нейронной сети для программистов» . Журнал MSDN .
• Рохас, Рауль (1996). «Алгоритм обратного распространения ошибки» (PDF) . Нейронные сети: систематическое введение . Берлин: Шпрингер. ISBN  3-540-60505-3 .

Внешние ссылки

• Учебное пособие по нейронной сети обратного распространения ошибки в Викиверситете
• Бернацкий, Мариуш; Влодарчик, Пшемыслав (2004). «Принципы обучения многослойной нейронной сети с использованием обратного распространения ошибки» .
• Карпаты, Андрей (2016). «Лекция 4: Обратное распространение ошибки, нейронные сети 1» . CS231n . Стэнфордский университет. Архивировано из оригинала 12 декабря 2021 г. – на YouTube .
• «Что на самом деле делает обратное распространение ошибки?» . 3Синий1Коричневый . 3 ноября 2017 г. Архивировано из оригинала 12 декабря 2021 г. – на YouTube .
• Путта, Судип Раджа (2022). «Еще один вывод обратного распространения ошибки в матричной форме» .