Остаточная нейронная сеть

Остаточный блок в глубокой остаточной сети. Здесь Остаточное Соединение пропускает два слоя.

Остаточная нейронная сеть (также называемая остаточной сетью или ResNet ) представляет собой архитектуру глубокого обучения , в которой весовые слои изучают остаточные функции со ссылкой на входные данные слоя. Он был разработан в 2015 году для распознавания изображений и выиграл в этом году конкурс ImageNet Large Scale Visual Recognition Challenge ( ILSVRC ).

Терминологически «остаточное соединение» или «пропускное соединение» относится к конкретному архитектурному мотиву. $x\mapsto f(x)+x$, где $f$ — произвольный модуль нейронной сети. Остаточные соединения использовались до ResNet, например, в LSTM . сети и сеть автомобильных дорог . Однако публикация ResNet сделала его широко популярным, появившись в нейронных сетях, которые в остальном не связаны с ResNet.

Остаточное соединение стабилизирует обучение и конвергенцию глубоких нейронных сетей с сотнями слоев и является распространенным мотивом в глубоких нейронных сетях, таких как модели Transformer (например, модели BERT и GPT, такие как ChatGPT ), система AlphaGo Zero , AlphaStar. система и система AlphaFold .

Математика

Остаточное соединение

В модели многослойной нейронной сети рассмотрим подсеть с определенным количеством сложенных слоев (например, 2 или 3). Обозначим основную функцию, выполняемую этой подсетью, как ${\textstyle H(x)}$, где ${\textstyle x}$ является входом в подсеть. Остаточное обучение повторно параметризует эту подсеть и позволяет слоям параметров представлять «остаточную функцию». ${\textstyle F(x):=H(x)-x}$. Выход ${\textstyle y}$ этой подсети тогда представляется как:

${\begin{aligned}y&=F(x)+x\end{aligned}}$

Операция " ${\textstyle +\ x}$» реализуется посредством «пропуска соединения», которое выполняет сопоставление идентификаторов для соединения входа подсети с ее выходом. В более поздней работе это соединение будет называться «остаточным соединением». Функция ${\textstyle F(x)}$ часто представляется матричным умножением, переплетенным с функциями активации и операциями нормализации (например, пакетной нормализацией или нормализацией слоев). В целом одна из этих подсетей называется «остаточным блоком». Глубокая остаточная сеть создается путем простого объединения этих блоков вместе.

Важно отметить, что основополагающий принцип остаточных блоков также является принципом исходной ячейки LSTM . рекуррентная нейронная сеть , которая прогнозирует результат во времени $t+1$ как ${\textstyle y_{t+1}=F(x_{t})+x_{t}}$, который становится ${\textstyle y=F(x)+x}$ при обратном распространении ошибки во времени .

Подключение проекции

Если функция $F$ имеет тип $F:\mathbb {R} ^{n}\to \mathbb {R} ^{m}$ где $n\neq m$, затем $F(x)+x$ является неопределенным. Для обработки этого особого случая используется проекционное соединение: $$y=F(x)+P(x)$$где $P$ обычно представляет собой линейную проекцию, определяемую формулой $P(x)=Mx$ где $M$ это $m\times n$ матрица. Матрица обучается методом обратного распространения ошибки, как и любой другой параметр модели.

Распространение сигнала

Введение сопоставлений идентичности облегчает распространение сигнала как по прямому, так и по обратному пути, как описано ниже.

Прямое распространение

Если вывод ${\textstyle \ell }$-ый остаточный блок является входом в ${\textstyle (\ell +1)}$-ый остаточный блок (при условии отсутствия функции активации между блоками), затем ${\textstyle (\ell +1)}$-й вход:

${\begin{aligned}x_{\ell +1}&=F(x_{\ell })+x_{\ell }\end{aligned}}$

Применяя эту формулировку рекурсивно, например, ${\begin{aligned}x_{\ell +2}=F(x_{\ell +1})+x_{\ell +1}=F(x_{\ell +1})+F(x_{\ell })+x_{\ell }\end{aligned}}$

дает общее соотношение:

${\begin{aligned}x_{L}&=x_{\ell }+\sum _{i=\ell }^{L-1}F(x_{i})\\\end{aligned}}$

где ${\textstyle L}$ - индекс остаточного блока и ${\textstyle \ell }$ — это индекс некоторого более раннего блока. Эта формулировка предполагает, что всегда существует сигнал, который отправляется напрямую из более мелкого блока. ${\textstyle \ell }$ в более глубокий блок ${\textstyle L}$.

Обратное распространение

Формулировка остаточного обучения дает дополнительное преимущество, поскольку в некоторой степени решает проблему исчезающего градиента . Однако важно признать, что проблема исчезновения градиента не является основной причиной проблемы деградации, которая решается с помощью слоев нормализации. Чтобы наблюдать влияние остаточных блоков на обратное распространение ошибки , рассмотрим частную производную функции потерь ${\textstyle {\mathcal {E}}}$ относительно некоторого входного остаточного блока ${\textstyle x_{\ell }}$. Использование приведенного выше уравнения прямого распространения для более позднего остаточного блока $L>\ell$:

${\begin{aligned}{\frac {\partial {\mathcal {E}}}{\partial x_{\ell }}}&={\frac {\partial {\mathcal {E}}}{\partial x_{L}}}{\frac {\partial x_{L}}{\partial x_{\ell }}}\\&={\frac {\partial {\mathcal {E}}}{\partial x_{L}}}\left(1+{\frac {\partial }{\partial x_{\ell }}}\sum _{i=\ell }^{L-1}F(x_{i})\right)\\&={\frac {\partial {\mathcal {E}}}{\partial x_{L}}}+{\frac {\partial {\mathcal {E}}}{\partial x_{L}}}{\frac {\partial }{\partial x_{\ell }}}\sum _{i=\ell }^{L-1}F(x_{i})\\\end{aligned}}$

Эта формулировка предполагает, что вычисление градиента более мелкого слоя, ${\textstyle {\frac {\partial {\mathcal {E}}}{\partial x_{\ell }}}}$, всегда имеет более поздний срок ${\textstyle {\frac {\partial {\mathcal {E}}}{\partial x_{L}}}}$ это добавляется напрямую. Даже если градиенты ${\textstyle F(x_{i})}$ члены малы, общий градиент ${\textstyle {\frac {\partial {\mathcal {E}}}{\partial x_{\ell }}}}$ сопротивляется исчезновению благодаря добавленному члену ${\textstyle {\frac {\partial {\mathcal {E}}}{\partial x_{L}}}}$.

Варианты остаточных блоков

Два варианта сверточных остаточных блоков. Слева : базовый блок с двумя сверточными слоями 3x3. Справа : блок «Узкое место» , который имеет сверточный слой 1x1 для уменьшения размеров (например, 1/4), сверточный слой 3x3 и еще один сверточный слой 1x1 для восстановления размеров.

Базовый блок

Базовый блок — это самый простой строительный блок, изученный в оригинальной ResNet. Этот блок состоит из двух последовательных сверточных слоев 3x3 и остаточной связи. Входные и выходные размеры обоих слоев равны.

Узкий блок

Блок с узким местом состоит из трех последовательных сверточных слоев и остаточной связи. Первый слой в этом блоке представляет собой свертку 1x1 для уменьшения размерности, например, до 1/4 входного измерения; второй слой выполняет свертку 3x3; последний слой — это еще одна свертка 1x1 для восстановления размеров. Модели ResNet-50, ResNet-101 и ResNet-152 в все они основаны на блоках узких мест.

Блокировка предварительной активации

Остаточный блок предварительной активации применяет функции активации (например, нелинейность и нормализацию) перед применением функции невязки ${\textstyle F}$. Формально вычисление остаточного блока предварительной активации можно записать как:

${\begin{aligned}x_{\ell +1}&=F(\phi (x_{\ell }))+x_{\ell }\end{aligned}}$

где ${\textstyle \phi }$ может быть любой операцией активации нелинейности (например, ReLU ) или нормализации (например, LayerNorm ). Такая конструкция уменьшает количество неидентичных сопоставлений между остаточными блоками. Этот дизайн использовался для обучения моделей с количеством слоев от 200 до более 1000.

Начиная с GPT-2 , блоки- трансформеры преимущественно реализовывались как блоки предварительной активации. В литературе по моделям Трансформеров это часто называют «предварительной нормализацией».

Приложения

Архитектура Transformer включает остаточные соединения.

Все архитектуры Transformer включают остаточные соединения. Действительно, очень глубокие модели Трансформаторов не могут быть успешно обучены без Остаточных Связей.

В оригинальной статье «Остаточная сеть» не утверждалось, что она вдохновлена ​​биологическими системами. Но более поздние исследования связали ResNet с биологически правдоподобными алгоритмами.

Исследование, опубликованное в журнале Science в 2023 году. раскрыл полный коннектом мозга насекомого (личинки плодовой мухи). В ходе этого исследования были обнаружены « многоуровневые ярлыки », напоминающие пропускные соединения в искусственных нейронных сетях, включая ResNet.

История

Предыдущая работа

В 1961 году Фрэнк Розенблатт описал модель трехслойного многослойного перцептрона (MLP) с пропускаемыми соединениями. Модель называлась «системой с перекрестной связью», а скиповые соединения представляли собой формы перекрестных соединений.

В конце 1980-х годов в нейронных сетях иногда использовались соединения «пропускаемых слоев». Примеры включают в себя . Статья 1988 года обучили полностью подключенную сеть прямой связи, в которой каждый уровень остаточно соединяется со всеми последующими уровнями, как в более поздней DenseNet (2016).

Ячейка долговременной краткосрочной памяти (LSTM) может обрабатывать данные последовательно и сохранять свое скрытое состояние во времени. Состояние ячейки $c_{t}$ функционирует как обобщенная остаточная связь.

Проблема деградации

Зепп Хохрайтер обнаружил проблему исчезающего градиента в 1991 году. и утверждал, что это объясняет, почему распространенные в то время формы рекуррентных нейронных сетей не работали для длинных последовательностей. Позже он и Шрмидхубер разработали долговременную кратковременную память (LSTM, 1997). чтобы решить эту проблему, которая имеет «состояние ячейки» $c_{t}$ которая может функционировать как обобщенная остаточная связь. Сеть автомобильных дорог (2015) применил идею LSTM, развернутой во времени, для нейронных сетей прямого распространения , в результате чего появилась сеть автомагистралей.

Стандартная (слева) и развернутая (справа) базовая рекуррентная нейронная сеть

На заре глубокого обучения предпринимались попытки обучать все более глубокие модели. Яркие примеры включают AlexNet (2012) с 8 слоями и VGG19 (2014) с 19 слоями. Однако наложение слишком большого количества слоев привело к резкому снижению точности обучения . известная как проблема «деградации». Теоретически добавление дополнительных слоев для углубления сети не должно приводить к более высоким потерям при обучении , но именно это и произошло с VGGNet. Однако если дополнительные уровни можно установить как сопоставления идентификаторов , то более глубокая сеть будет представлять ту же функцию, что и ее более мелкий аналог. Это основная идея остаточного обучения, которая объясняется ниже. Предполагается, что оптимизатор не может выполнить сопоставление идентификаторов для параметризованных слоев.

В 2014 году современным уровнем техники было обучение «очень глубокой нейронной сети» с 20–30 слоями. Исследовательская группа попыталась обучить более глубокие сети, эмпирически проверяя различные приемы обучения более глубоких сетей, пока не обнаружила глубокую остаточную сетевую архитектуру.

Последующая работа

Плотная сеть (2016) соединяет выход каждого слоя со входом каждого последующего слоя: $${\begin{aligned}x_{\ell +1}&=F(x_{1},x_{2},\dots ,x_{\ell -1},x_{\ell })\end{aligned}}$$

Нейронные сети со стохастической глубиной стали возможными благодаря архитектуре остаточной сети. Эта процедура обучения случайным образом удаляет подмножество слоев и позволяет сигналу распространяться через соединение с пропуском идентификаторов. Это эффективный метод регуляризации, также известный как «DropPath», для обучения больших и глубоких моделей, таких как Vision Transformer (ViT).