Нейронное касательное ядро

При изучении искусственных нейронных сетей (ИНС) нейронное касательное ядро ​​( NTK ) — это ядро , которое описывает эволюцию глубоких искусственных нейронных сетей во время их обучения методом градиентного спуска . Это позволяет изучать ИНС с использованием теоретических инструментов ядерных методов .

В общем, ядро ​​— это положительно-полуопределенная симметричная функция двух входных данных, которая представляет некоторое понятие подобия между двумя входными данными. NTK — это конкретное ядро, полученное из данной нейронной сети; в общем, когда параметры нейронной сети изменяются во время обучения, NTK также развивается. Однако в пределе большой ширины слоя NTK становится постоянным, обнаруживая двойственность между обучением широкой нейронной сети и методами ядра: градиентный спуск в пределе бесконечной ширины полностью эквивалентен градиентному спуску ядра с NTK. В результате использование градиентного спуска для минимизации потерь по методу наименьших квадратов для нейронных сетей дает ту же самую среднюю оценку, что и регрессия ядра без гребней с NTK. Эта двойственность позволяет использовать простые уравнения в замкнутой форме, описывающие динамику обучения, обобщение и прогнозы широких нейронных сетей.

NTK был представлен в 2018 году Артуром Жако, Франком Габриэлем и Клеманом Хонглером. который использовал его для изучения свойств сходимости и обобщения полностью связанных нейронных сетей. Более поздние работы распространил результаты NTK на другие архитектуры нейронных сетей. Фактически, явление, лежащее в основе NTK, не является специфичным для нейронных сетей и может наблюдаться в общих нелинейных моделях, обычно с помощью подходящего масштабирования. .

Основные результаты (неформальные)

Позволять $f(x;\theta )$ обозначают скалярную функцию, вычисляемую данной нейронной сетью с параметрами $\theta$ на входе $x$. Затем определяется ядро ​​нейронного касательного как $$\Theta (x,x';\theta )=\nabla _{\theta }f(x;\theta )\cdot \nabla _{\theta }f(x';\theta ).$$Поскольку он записывается как скалярное произведение сопоставленных входных данных (с градиентом функции нейронной сети, служащим картой признаков), мы гарантируем, что NTK является симметричным и положительно полуопределенным . Таким образом, NTK является допустимой функцией ядра.

Рассмотрим полносвязную нейронную сеть , параметры которой выбираются в соответствии с любым распределением среднего и нуля. Эта случайная инициализация $\theta$ вызывает распределение по $f(x;\theta )$ чью статистику мы будем анализировать как при инициализации, так и на протяжении всего обучения (градиентный спуск по указанному набору данных). Мы можем визуализировать это распределение с помощью ансамбля нейронных сетей, который создается путем многократного извлечения исходного распределения по $f(x;\theta )$ и обучение каждого розыгрыша согласно одной и той же процедуре обучения.

При инициализации ансамбль широких нейронных сетей представляет собой гауссов процесс с нулевым средним ; во время обучения ( градиентный спуск по среднеквадратической ошибке ) ансамбль развивается в соответствии с ядром нейронного касательного. Сходящийся ансамбль представляет собой гауссов процесс, среднее значение которого представляет собой оценщик ядерной регрессии без гребней и чья дисперсия исчезает в точках обучения. Здесь нейронная сеть представляет собой скалярную функцию, обученную на входных данных, взятых из единичного круга.

Количество нейронов в каждом слое называется шириной слоя. Рассмотрите возможность довести ширину каждого скрытого слоя до бесконечности и обучить нейронную сеть градиентному спуску (с достаточно небольшой скоростью обучения ). В этом пределе бесконечной ширины проявляется несколько приятных свойств:

• При инициализации (до обучения) ансамбль нейронной сети представляет собой гауссов процесс с нулевым средним (GP). Это означает, что распределение функций представляет собой распределение максимальной энтропии со средним значением $\mathbb {E} _{\theta }[f(x;\theta )]=0$ и ковариация $\mathbb {E} _{\theta }[f(x;\theta )f(x';\theta )]=\Sigma (x,x')$, где ковариация GP $\Sigma (x,x')$ может быть вычислено на основе сетевой архитектуры. Другими словами, распределение функций нейронной сети при инициализации не имеет никакой структуры, кроме ее первого и второго моментов (среднего значения и ковариации). Это следует из центральной предельной теоремы.
• NTK является детерминированным. Другими словами, NTK не зависит от инициализации случайного параметра.
• NTK не меняется во время обучения.
• Каждый параметр изменяется незначительно в ходе обучения. Как Ли и др. обратите внимание: «хотя отдельные параметры изменяются на исчезающе малую величину, в совокупности они обеспечивают конечное изменение конечного результата сети, что необходимо для обучения».
• Во время обучения нейронная сеть линеаризуется, т. е. ее зависимость от параметров может быть зафиксирована с помощью ее разложения Тейлора первого порядка : $f(x;\theta _{0}+\Delta \theta )=f(x;\theta _{0})+\Delta \theta \cdot \nabla _{\theta }f(x;\theta _{0})$, где $\theta _{0}$ являются исходными параметрами. Это следует из того, что каждый параметр в процессе обучения меняется незначительно. (Нейронная сеть остается нелинейной по отношению к входным данным.)
• Динамика обучения эквивалентна градиентному спуску ядра с использованием NTK в качестве ядра. Если функция потерь представляет собой среднеквадратическую ошибку , окончательное распределение по $f(x;\theta )$ по-прежнему является гауссовским процессом, но с новым средним значением и ковариацией. В частности, среднее значение сходится к той же самой оценке, полученной с помощью ядерной регрессии с NTK в качестве регуляризации ядра и нулевого гребня , а ковариация выражается через NTK и начальную ковариацию GP. Можно показать, что дисперсия ансамбля исчезает в точках обучения (другими словами, нейронная сеть всегда интерполирует данные обучения, независимо от инициализации).

Приложения

Регрессия ядра без гребней и градиентный спуск ядра

Методы ядра — это алгоритмы машинного обучения, которые используют только парные отношения между входными точками. Методы ядра не зависят от конкретных значений входных данных; они зависят только от отношений между входными данными и другими входными данными (например, обучающим набором). Эти парные отношения полностью фиксируются функцией ядра: симметричной , положительно-полуопределенной функцией двух входных данных, которая представляет некоторое понятие сходства между двумя входными данными. Полностью эквивалентным условием является наличие некоторой карты признаков. ${\mathbf {x}}\mapsto \psi ({\mathbf {x}})$ так что функцию ядра можно записать как скалярное произведение сопоставленных входных данных. $$K({\mathbf {x} },{\mathbf {x} }')=\psi ({\mathbf {x} })\cdot \psi ({\mathbf {x} }').$$Свойства метода ядра зависят от выбора функции ядра. (Обратите внимание, что $\psi ({\mathbf {x}})$ может иметь более высокую размерность, чем $\mathbf {x}$.) В качестве подходящего примера рассмотрим линейную регрессию . Это задача оценки ${\mathbf {w}}^{*}$ данный $N$ образцы $({\mathbf {x}}_{i},y_{i})$ созданный из $y^{*}({\mathbf {x}})={\mathbf {w}}^{*}\cdot {\mathbf {x}}$, где каждый $\mathbf {x} _{i}$ рисуется в соответствии с некоторым распределением входных данных. В этой настройке ${\mathbf {w}}^{*}$ - весовой вектор, который определяет истинную функцию $y^{*}$; мы хотим использовать обучающие выборки для разработки модели $\mathbf {\hat {w}}$ который приближает ${\mathbf {w}}^{*}$. Мы делаем это, минимизируя среднеквадратическую ошибку между нашей моделью и обучающими выборками: $${\mathbf {\hat {w}} }=\arg \min _{\mathbf {w} }{\frac {1}{N}}\sum _{i=0}^{N}||y^{*}({\mathbf {x} }_{i})-{\mathbf {w} }\cdot {\mathbf {x} }_{i}||^{2}$$Существует явное решение для $\mathbf {\hat {w}}$ что минимизирует квадратичную ошибку: ${\mathbf {\hat {w}}}=({\mathbf {X}}{\mathbf {X}}^{T})^{-1}{\mathbf {X}}{\mathbf {y}}$, где ${\mathbf {X}}$ - это матрица, столбцы которой являются обучающими входными данными, и ${\mathbf {y}}$ – вектор результатов обучения. Затем модель может делать прогнозы на основе новых входных данных: ${\hat {y}}({\mathbf {x}})={\mathbf {\hat {w}}}\cdot {\mathbf {x}}$.

Однако этот результат можно переписать как: ${\hat {y}}({\mathbf {x}})=({\mathbf {x}}^{T}{\mathbf {X}})({\mathbf {X}}^{T}{\mathbf {X}})^{-1}{\mathbf {y}}$. Обратите внимание, что это двойное решение выражается исключительно через внутренние продукты между входами. Это мотивирует расширять линейную регрессию на настройки, в которых вместо прямого получения внутренних продуктов между входными данными мы сначала преобразуем входные данные в соответствии с выбранной картой признаков, а затем оцениваем внутренние продукты между преобразованными входными данными. Как обсуждалось выше, это может быть зафиксировано функцией ядра. $K({\mathbf {x}},{\mathbf {x}}')$, поскольку все функции ядра являются внутренними продуктами входных данных с сопоставлением объектов. Это дает оценку регрессии ядра без гребней: $${\hat {y}}({\mathbf {x}})=K({\mathbf {x}},{\mathbf {X}})\;K({\mathbf {X}},{\mathbf {X}})^{-1}\;{\mathbf {y}}.$$Если ядро ​​матрицы $K({\mathbf {X}},{\mathbf {X}})$ является сингулярным , используется псевдообратная функция Мура-Пенроуза . Уравнения регрессии называются «безгребневыми», поскольку в них отсутствует член регуляризации гребней .

С этой точки зрения линейная регрессия представляет собой особый случай ядерной регрессии с картой идентификационных признаков: $\psi ({\mathbf {x}})={\mathbf {x}}$. Эквивалентно, ядерная регрессия — это просто линейная регрессия в пространстве признаков (т. е. диапазоне карты признаков, определенном выбранным ядром). Обратите внимание, что регрессия ядра обычно представляет собой нелинейную регрессию во входном пространстве, что является основным преимуществом алгоритма.

Точно так же, как можно выполнить линейную регрессию, используя алгоритмы итеративной оптимизации, такие как градиентный спуск, можно выполнить ядерную регрессию, используя градиентный спуск ядра. Это эквивалентно выполнению градиентного спуска в пространстве признаков. Известно, что если весовой вектор инициализирован близким к нулю, градиентный спуск методом наименьших квадратов сходится к решению минимальной нормы, т. е. конечный весовой вектор имеет минимальную евклидову норму всех интерполирующих решений. Точно так же градиентный спуск ядра дает решение минимальной нормы относительно нормы RKHS . Это пример неявной регуляризации градиентного спуска.

NTK обеспечивает строгую связь между выводом, выполняемым ИНС бесконечной ширины, и выводом, выполняемым методами ядра : когда функция потерь представляет собой потерю по методу наименьших квадратов , вывод, выполняемый ИНС, в ожидании равен регрессии ядра без ребер по отношению к НТК. Это говорит о том, что производительность больших ИНС при параметризации NTK может быть воспроизведена методами ядра для соответственно выбранных ядер.

Сверхпараметризация, интерполяция и обобщение

В сверхпараметризованных моделях количество настраиваемых параметров превышает количество обучающих выборок. В этом случае модель способна запомнить (идеально подогнать) обучающие данные. Таким образом, модели с завышенными параметрами интерполируют данные обучения, практически достигая нулевой ошибки обучения.

Современные сверхпараметризованные модели обеспечивают низкую ошибку обобщения, несмотря на возможность интерполяции (запоминания) обучающего набора. Это явление можно понять, изучая свойства обобщения многомерной ядерной регрессии.

Регрессия ядра обычно рассматривается как непараметрический алгоритм обучения, поскольку нет явных параметров для настройки после выбора функции ядра. Альтернативный взгляд состоит в том, чтобы вспомнить, что регрессия ядра — это просто линейная регрессия в пространстве признаков, поэтому «эффективное» количество параметров — это размерность пространства признаков. Таким образом, изучение ядер с многомерными картами признаков может дать представление о сильно перепараметризованных моделях.

В качестве примера рассмотрим проблему обобщения. Согласно классической статистике, запоминание должно привести к тому, что модели будут соответствовать зашумленным сигналам в обучающих данных, что ухудшает их производительность на невидимых данных. Чтобы смягчить это, алгоритмы машинного обучения часто вводят регуляризацию, чтобы смягчить тенденцию к подгонке шума. Удивительно, но современные нейронные сети (которые имеют тенденцию сильно перепараметризироваться), похоже, хорошо обобщают даже при отсутствии явной регуляризации. Чтобы изучить свойства обобщения сверхпараметризованных нейронных сетей, можно использовать двойственность бесконечной ширины с регрессией ядра без гребней. Последние работы вывели уравнения, описывающие ожидаемую ошибку обобщения многомерной ядерной регрессии; эти результаты сразу объясняют обобщение достаточно широких нейронных сетей, обученных сходимости по методу наименьших квадратов.

Сходимость к глобальному минимуму

Для выпуклого функционала потерь ${\mathcal {C}}$ с глобальным минимумом , если NTK остается положительно-определенным во время обучения, потеря ИНС ${\mathcal {C}}\left(f\left(\cdot ;\theta \left(t\right)\right)\right)$ сходится к этому минимуму как $t\to \infty$. Это свойство положительной определенности было показано в ряде случаев, что дало первые доказательства того, что ИНС большой ширины сходятся к глобальным минимумам во время обучения.

Расширения и ограничения

NTK можно изучать для различных архитектур ИНС , в частности, сверточные нейронные сети (CNN), рекуррентные нейронные сети (RNN) и преобразователи . В таких настройках предел большой ширины соответствует увеличению количества параметров при сохранении фиксированного количества слоев: для CNN это предполагает увеличение количества каналов.

Отдельные параметры широкой нейронной сети в режиме ядра в процессе обучения изменяются незначительно. Однако это означает, что нейронные сети бесконечной ширины не могут демонстрировать обучение функциям , которое широко считается важным свойством реалистичных глубоких нейронных сетей. Это не является общей особенностью нейронных сетей бесконечной ширины и во многом связано с конкретным выбором масштабирования, с помощью которого ширина доводится до бесконечного предела; действительно несколько работ обнаружили альтернативные пределы масштабирования нейронных сетей с бесконечной шириной, в которых нет двойственности с регрессией ядра и обучение функций происходит во время обучения. Другие ввести «нейронную касательную иерархию» для описания эффектов конечной ширины, которая может способствовать обучению функций.

Neural Tangents — это с открытым исходным кодом, бесплатная библиотека Python используемая для вычислений и выполнения выводов с помощью NTK бесконечной ширины и гауссовского процесса нейронной сети (NNGP), соответствующих различным распространенным архитектурам ИНС. Кроме того, существует совместимая с scikit-learn реализация NTK бесконечной ширины для гауссовских процессов, называемая scikit-ntk .

Подробности

При оптимизации параметров $\theta \in \mathbb {R} ^{P}$ ИНС Чтобы минимизировать эмпирические потери за счет градиентного спуска , NTK управляет динамикой выходной функции ИНС. $f_{\theta }$ на протяжении всего обучения.

Случай 1: Скалярный выход

ИНС со скалярным выходом состоит из семейства функций. $f\left(\cdot ,\theta \right):\mathbb {R} ^{n_{\mathrm {in} }}\to \mathbb {R}$ параметризованный вектором параметров $\theta \in \mathbb {R} ^{P}$.

NTK — это ядро $\Theta :\mathbb {R} ^{n_{\mathrm {in} }}\times \mathbb {R} ^{n_{\mathrm {in} }}\to \mathbb {R}$ определяется $$\Theta \left(x,y;\theta \right)=\sum _{p=1}^{P}\partial _{\theta _{p}}f\left(x;\theta \right)\partial _{\theta _{p}}f\left(y;\theta \right).$$На языке методов ядра NTK $\Theta$ это ядро, связанное с картой объектов $\left(x\mapsto \partial _{\theta _{p}}f\left(x;\theta \right)\right)_{p=1,\ldots ,P}$. Чтобы увидеть, как это ядро ​​управляет динамикой обучения ИНС, рассмотрим набор данных. $\left(x_{i}\right)_{i=1,\ldots ,n}\subset \mathbb {R} ^{n_{\mathrm {in} }}$ со скалярными метками $\left(z_{i}\right)_{i=1,\ldots ,n}\subset \mathbb {R}$ и функция потерь $c:\mathbb {R} \times \mathbb {R} \to \mathbb {R}$. Тогда соответствующие эмпирические потери, определенные на функциях $f:\mathbb {R} ^{n_{\mathrm {in} }}\to \mathbb {R}$, определяется $${\mathcal {C}}\left(f\right)=\sum _{i=1}^{n}c\left(f\left(x_{i}\right),z_{i}\right).$$Когда ИНС $f\left(\cdot ;\theta \right):\mathbb {R} ^{n_{\mathrm {in} }}\to \mathbb {R}$ обучается, чтобы соответствовать набору данных (т.е. минимизировать ${\mathcal {C}}$) посредством градиентного спуска в непрерывном времени, параметры $\left(\theta \left(t\right)\right)_{t\geq 0}$ эволюционировать через обыкновенное дифференциальное уравнение :

$$\partial _{t}\theta \left(t\right)=-\nabla {\mathcal {C}}\left(f\left(\cdot ;\theta \right)\right).$$

Во время обучения выходная функция ИНС следует эволюционному дифференциальному уравнению, заданному в терминах NTK:

$\partial _{t}f\left(x;\theta \left(t\right)\right)=-\sum _{i=1}^{n}\Theta \left(x,x_{i};\theta \right)\partial _{w}c\left(w,z_{i}\right){\Big |}_{w=f\left(x_{i};\theta \left(t\right)\right)}.$

Это уравнение показывает, как NTK управляет динамикой $f\left(\cdot ;\theta \left(t\right)\right)$ в пространстве функций $\mathbb {R} ^{n_{\mathrm {in} }}\to \mathbb {R}$ во время обучения.

Случай 2: Векторный вывод

ИНС с векторным выводом размера $n_{\mathrm {out} }$ состоит из семейства функций $f\left(\cdot ;\theta \right):\mathbb {R} ^{n_{\mathrm {in} }}\to \mathbb {R} ^{n_{\mathrm {out} }}$ параметризованный вектором параметров $\theta \in \mathbb {R} ^{P}$.

В этом случае НТК $\Theta :\mathbb {R} ^{n_{\mathrm {in} }}\times \mathbb {R} ^{n_{\mathrm {in} }}\to {\mathcal {M}}_{n_{\mathrm {out} }}\left(\mathbb {R} \right)$ является матричным ядром со значениями в пространстве $n_{\mathrm {out} }\times n_{\mathrm {out} }$ матрицы, определяемые $$\Theta _{k,l}\left(x,y;\theta \right)=\sum _{p=1}^{P}\partial _{\theta _{p}}f_{k}\left(x;\theta \right)\partial _{\theta _{p}}f_{l}\left(y;\theta \right).$$Минимизация эмпирического риска происходит так же, как и в скалярном случае, с той разницей, что функция потерь принимает векторные входные данные. $c:\mathbb {R} ^{n_{\mathrm {out} }}\times \mathbb {R} ^{n_{\mathrm {out} }}\to \mathbb {R}$. Обучение $f_{\theta \left(t\right)}$ посредством градиентного спуска в непрерывном времени дает следующую эволюцию в функциональном пространстве, управляемую NTK: $$\partial _{t}f_{k}\left(x;\theta \left(t\right)\right)=-\sum _{i=1}^{n}\sum _{l=1}^{n_{\mathrm {out} }}\Theta _{k,l}\left(x,x_{i};\theta \right)\partial _{w_{l}}c\left(\left(w_{1},\ldots ,w_{n_{\mathrm {out} }}\right),z_{i}\right){\Big |}_{w=f\left(x_{i};\theta \left(t\right)\right)}.$$Это обобщает уравнение, показанное в случае 1 для скалярных выходных данных.

Интерпретация

Каждая точка данных $x_{i}$ влияет на эволюцию результатов $f\left(x;\theta \right)$ для каждого входа $x$, на протяжении всего обучения. Более конкретно, что касается примера $i$, значение NTK $\Theta \left(x,x_{i};\theta \right)$ определяет влияние градиента потерь $\partial _{w}c\left(w,z_{i}\right){\big |}_{w=f\left(x_{i};\theta \right)}$ об эволюции результатов ИНС $f\left(x;\theta \right)$ через ступень градиентного спуска. В скалярном случае это выглядит так: $$f\left(x;\theta \left(t+\epsilon \right)\right)-f\left(x;\theta \left(t\right)\right)\approx \epsilon \sum _{i=1}^{n}\Theta \left(x,x_{i};\theta \left(t\right)\right)\partial _{w}c\left(w,z_{i}\right){\big |}_{w=f\left(x_{i};\theta \right)}.$$

Широкие полносвязные ИНС имеют детерминированный NTK, который остается постоянным на протяжении всего обучения.

Рассмотрим ИНС с полносвязными слоями. $\ell =0,\ldots ,L$ ширины $n_{0}=n_{\mathrm {in} },n_{1},\ldots ,n_{L}=n_{\mathrm {out} }$, так что $f\left(\cdot ;\theta \right)=R_{L-1}\circ \cdots \circ R_{0}$, где $R_{\ell }=\sigma \circ A_{\ell }$ представляет собой композицию аффинного преобразования $A_{i}$ с поточечным применением нелинейности $\sigma :\mathbb {R} \to \mathbb {R}$, где $\theta$ параметризует карты $A_{0},\ldots ,A_{L-1}$. Параметры $\theta \in \mathbb {R} ^{P}$ инициализируются случайным образом, независимым и одинаково распределенным образом.

По мере увеличения ширины на масштаб NTK влияет точная параметризация $A_{i}$и инициализацией параметра. Это мотивирует так называемую параметризацию NTK. $A_{\ell }\left(x\right)={\frac {1}{\sqrt {n_{\ell }}}}W^{\left(\ell \right)}x+b^{\left(\ell \right)}$. Эта параметризация гарантирует, что если параметры $\theta \in \mathbb {R} ^{P}$ инициализируются как стандартные нормальные переменные , NTK имеет конечный нетривиальный предел. В пределе большой ширины NTK сходится к детерминированному (неслучайному) пределу. $\Theta _{\infty }$, который остается постоянным во времени.

НТК $\Theta _{\infty }$ явно задается $\Theta _{\infty }=\Theta ^{\left(L\right)}$, где $\Theta ^{\left(L\right)}$ определяется системой рекурсивных уравнений:

${\begin{aligned}\Theta ^{\left(1\right)}\left(x,y\right)&=\Sigma ^{\left(1\right)}\left(x,y\right),\\\Sigma ^{\left(1\right)}\left(x,y\right)&={\frac {1}{n_{\mathrm {in} }}}x^{T}y+1,\\\Theta ^{\left(\ell +1\right)}\left(x,y\right)&=\Theta ^{\left(\ell \right)}\left(x,y\right){\dot {\Sigma }}^{\left(\ell +1\right)}\left(x,y\right)+\Sigma ^{\left(\ell +1\right)}\left(x,y\right),\\\Sigma ^{\left(\ell +1\right)}\left(x,y\right)&=L_{\Sigma ^{\left(\ell \right)}}^{\sigma }\left(x,y\right),\\{\dot {\Sigma }}^{\left(\ell +1\right)}\left(x,y\right)&=L_{\Sigma ^{\left(\ell \right)}}^{\dot {\sigma }},\end{aligned}}$

где $L_{K}^{f}$ обозначает ядро, определенное в терминах гауссовского ожидания :

$L_{K}^{f}\left(x,y\right)=\mathbb {E} _{\left(X,Y\right)\sim {\mathcal {N}}\left(0,{\begin{pmatrix}K\left(x,x\right)&K\left(x,y\right)\\K\left(y,x\right)&K\left(y,y\right)\end{pmatrix}}\right)}\left[f\left(X\right)f\left(Y\right)\right].$

В этой формуле ядра $\Sigma ^{\left(\ell \right)}$ являются так называемыми ядрами активации ИНС.

Широкие полносвязные сети линейны по своим параметрам на протяжении всего обучения.

NTK описывает эволюцию нейронных сетей при градиентном спуске в функциональном пространстве. Двойственным к этой перспективе является понимание того, как нейронные сети развиваются в пространстве параметров, поскольку NTK определяется в терминах градиента выходных данных ИНС относительно ее параметров. В пределе бесконечной ширины связь между этими двумя перспективами становится особенно интересной. NTK остается постоянным на протяжении всего обучения при большой ширине, что соответствует тому, что ИНС хорошо описывается на протяжении всего обучения с помощью разложения Тейлора первого порядка вокруг своих параметров при инициализации:

$f\left(x;\theta (t)\right)=f\left(x;\theta (0)\right)+\nabla _{\theta }f\left(x;\theta (0)\right)\left(\theta (t)-\theta (0)\right)+{\mathcal {O}}\left(\min \left(n_{1}\dots n_{L-1}\right)^{-{\frac {1}{2}}}\right).$

См. также

• Большие ограничения ширины нейронных сетей

Внешние ссылки

• Анантасвами, Анил (11 октября 2021 г.). «Новая ссылка на старую модель может раскрыть тайну глубокого обучения» . Журнал Кванта .