Большие ограничения ширины нейронных сетей

Продолжительность: 8 секунд. 0:08

Поведение нейронной сети упрощается, поскольку она становится бесконечно широкой. Слева : байесовская нейронная сеть с двумя скрытыми слоями, преобразующая трехмерные входные данные (внизу) в двумерные выходные данные. $(y_{1},y_{2})$ (вершина). Справа : выходная функция плотности вероятности. $p(y_{1},y_{2})$ индуцированные случайными весами сети. Видео : по мере увеличения ширины сети выходное распределение упрощается, в конечном итоге сходясь к гауссовскому процессу нейронной сети в пределе бесконечной ширины.

Искусственные нейронные сети — это класс моделей, используемых в машинном обучении и вдохновленных биологическими нейронными сетями . Они являются основным компонентом современных алгоритмов глубокого обучения . Вычисления в искусственных нейронных сетях обычно организованы в последовательные слои искусственных нейронов . Количество нейронов в слое называется шириной слоя. Теоретический анализ искусственных нейронных сетей иногда рассматривает предельный случай, когда ширина слоя становится большой или бесконечной. Этот предел позволяет делать простые аналитические утверждения о прогнозах нейронной сети, динамике обучения, обобщении и поверхностях потерь. Этот широкий предел слоев также представляет практический интерес, поскольку нейронные сети конечной ширины часто работают строго лучше с увеличением ширины слоя.

Теоретические подходы, основанные на большом пределе ширины

• Гауссов процесс нейронной сети (NNGP) соответствует пределу бесконечной ширины байесовских нейронных сетей и распределению по функциям, реализуемым небайесовскими нейронными сетями после случайной инициализации.
• Те же базовые вычисления, которые используются для получения ядра NNGP, также используются при глубоком распространении информации , чтобы охарактеризовать распространение информации о градиентах и ​​входных данных через глубокую сеть. Эта характеристика используется для прогнозирования того, как обучаемость модели зависит от архитектуры и гиперпараметров инициализации.
• Ядро Neural Tangent описывает эволюцию прогнозов нейронной сети во время обучения градиентному спуску. В пределе бесконечной ширины NTK обычно становится постоянным, что часто позволяет использовать выражения в замкнутой форме для функции, вычисленной широкой нейронной сетью во время обучения градиентному спуску. Динамика обучения по существу становится линеаризованной.
• Анализ пределов среднего поля применительно к нейронным сетям с весовым масштабированием $\sim 1/h$ вместо $\sim 1/{\sqrt {h}}$ и достаточно большие скорости обучения предсказывают качественно отличную нелинейную динамику обучения по сравнению со статическим линейным поведением, описываемым фиксированным ядром нейронного касательного, предлагая альтернативные пути для понимания сетей бесконечной ширины.
• Динамика катапульты описывает динамику обучения нейронной сети в случае, когда логиты расходятся до бесконечности при стремлении ширины слоя к бесконечности, и описывает качественные свойства динамики раннего обучения.