Закон нейронного масштабирования

В машинном обучении закон нейронного масштабирования — это эмпирический закон масштабирования , который описывает, как изменяется производительность нейронной сети при увеличении или уменьшении ключевых факторов. Эти факторы обычно включают количество параметров, размер набора обучающих данных, и стоимость обучения.

Введение

В целом нейронную модель можно охарактеризовать 4 параметрами: размер модели, размер набора обучающих данных, стоимость обучения, частота ошибок после обучения. Каждую из этих четырех переменных можно точно определить как действительное число, и эмпирически установлено, что они связаны простыми статистическими законами , называемыми «законами масштабирования». Обычно они записываются как $N,D,C,L$ (количество параметров, размер набора данных, стоимость вычислений, потери).

Размер модели

В большинстве случаев размер модели — это просто количество параметров. Однако при использовании разреженных моделей, таких как модели смешанных экспертов , возникает одна сложность . В разреженных моделях при каждом выводе используется только часть параметров. Для сравнения, большинство других типов нейронных сетей, таких как сети-трансформеры, всегда используют все свои параметры во время каждого вывода.

Размер набора обучающих данных

Размер набора обучающих данных обычно определяется количеством содержащихся в нем точек данных. Обычно предпочтительны более крупные наборы обучающих данных, поскольку они предоставляют более богатый и разнообразный источник информации для модели, на которой можно учиться. Это, в свою очередь, может привести к повышению производительности обобщения, когда модель применяется к невидимым данным. Однако увеличение размера набора обучающих данных также увеличивает вычислительные ресурсы и время, необходимые для обучения модели.

При использовании метода «предварительное обучение, затем точная настройка», используемого в большинстве больших языковых моделей , существует два типа набора обучающих данных: набор данных для предварительного обучения и набор данных для точной настройки. Их размеры будут по-разному влиять на производительность модели. Как правило, размер набора данных точной настройки составляет менее 1% от размера набора данных для предварительной подготовки.

В некоторых случаях для точной настройки достаточно небольшого объема данных высокого качества, а увеличение количества данных не приводит к повышению производительности.

Стоимость обучения

Стоимость обучения обычно измеряется с точки зрения времени (сколько времени требуется для обучения модели) и вычислительных ресурсов (сколько вычислительной мощности и памяти требуется для обучения модели). Важно отметить, что стоимость обучения можно значительно снизить за счет эффективных алгоритмов обучения, оптимизированных программных библиотек и параллельных вычислений на специализированном оборудовании, таком как графические процессоры или TPU .

Стоимость обучения нейронной модели зависит от нескольких факторов, включая размер модели, размер набора обучающих данных, сложность алгоритма обучения и доступные вычислительные ресурсы. В частности, удвоение набора обучающих данных не обязательно удваивает стоимость обучения, поскольку модель можно обучать несколько раз на одном и том же наборе данных (каждый из которых представляет собой « эпоху »).

Производительность

Производительность нейронной модели оценивается на основе ее способности точно прогнозировать выходные данные с учетом входных данных. Общие метрики для оценки эффективности модели включают в себя:

• точность , точность, отзыв и оценка F1 для задач классификации;
• среднеквадратическая ошибка (MSE) или средняя абсолютная ошибка (MAE) для задач регрессии;
• отрицательное логарифмическое правдоподобие на токен (логарифм недоумения ) для языкового моделирования .
• Рейтинг Эло в соревновании с другими моделями, например геймплей или предпочтение человеческого судьи

Производительность можно повысить за счет использования большего количества данных, более крупных моделей, различных алгоритмов обучения, регуляризации модели во избежание переобучения и ранней остановки с использованием набора проверки.

Примеры

(Хестнесс, Наранг и др., 2017 г.)

Документ 2017 года является общей отправной точкой для законов нейронного масштабирования, определяемых статистическим анализом экспериментальных данных. Предыдущие работы до 2000-х годов, как цитируется в статье, были либо теоретическими, либо на несколько порядков меньшими по масштабу. В то время как в предыдущих работах обычно было обнаружено, что показатель масштабирования масштабируется как $L\propto D^{-\alpha }$, с $\alpha \in \{0.5,1,2\}$, в газете было обнаружено, что $\alpha \in [0.07,0.35]$.

Из факторов, которые они варьировали, только задача может изменить показатель степени $\alpha$. Изменение оптимизаторов архитектуры, регуляризаторов и функций потерь приведет только к изменению коэффициента пропорциональности, а не показателя степени. Например, для одной и той же задачи одна архитектура может иметь $L=1000D^{-0.3}$ в то время как другой мог бы иметь $L=500D^{-0.3}$. Также было обнаружено, что для данной архитектуры количество параметров, необходимых для достижения минимального уровня потерь при фиксированном размере набора данных, растет как $N\propto D^{\beta }$ для другого показателя $\beta$.

Они изучали машинный перевод с помощью LSTM ( $\alpha \sim 0.13$), моделирование генеративного языка с помощью LSTM ( $\alpha \in [0.06,0.09],\beta \approx 0.7$), классификация ImageNet с помощью ResNet ( $\alpha \in [0.3,0.5],\beta \approx 0.6$) и распознавание речи ( $\alpha \approx 0.3$).

(Хениган, Каплан и др., 2020 г.)

Анализ 2020 года изучал статистические связи между $C,N,D,L$ в широком диапазоне значений и обнаружили аналогичные законы масштабирования в диапазоне $N\in [10^{3},10^{9}]$, $C\in [10^{12},10^{21}]$и в нескольких модальностях (текст, видео, изображение, преобразование текста в изображение и т. д.).

В частности, обнаруженные им законы масштабирования таковы (табл. 1). ):

• Для каждой модальности они зафиксировали одну из двух $C,N$, и варьируя другой ( $D$ варьируется в зависимости от использования $D=C/6N$), достижимые потери при тестировании удовлетворяют $$L=L_{0}+\left({\frac {x_{0}}{x}}\right)^{\alpha }$$где $x$ – варьируемая переменная, а $L_{0},x_{0},\alpha$ — параметры, которые необходимо найти путем статистической аппроксимации. Параметр $\alpha$ является самым важным.
  • Когда $N$ – варьируемая переменная, $\alpha$ варьируется от $0.037$ к $0.24$ в зависимости от модальности модели. Это соответствует $\alpha =0.34$ из бумаги для чешуи шиншиллы.
  • Когда $C$ – варьируемая переменная, $\alpha$ варьируется от $0.048$ к $0.19$ в зависимости от модальности модели. Это соответствует $\beta =0.28$ из бумаги для чешуи шиншиллы.
• При фиксированном вычислительном бюджете оптимальное количество параметров модели постоянно составляет около $$N_{opt}(C)=\left({\frac {C}{5\times 10^{-12}{\text{petaFLOP-day}}}}\right)^{0.7}=9.0\times 10^{-7}C^{0.7}$$Параметр $9.0\times 10^{-7}$ варьируется в 10 раз для разных модальностей. Параметр экспоненты $0.7$ варьируется от $0.64$ к $0.75$ для разных модальностей. Этот показатель соответствует $\approx 0.5$ из бумаги для чешуи шиншиллы.
• «Настоятельно рекомендуется» (но не проверено статистически), что $D_{opt}(C)\propto N_{opt}(C)^{0.4}\propto C^{0.28}$. Этот показатель соответствует $\approx 0.5$ из бумаги для чешуи шиншиллы.

Закон масштабирования $L=L_{0}+(C_{0}/C)^{0.048}$ было подтверждено в ходе обучения GPT-3 (рис. 3.1). ).

Чешуя шиншиллы (Хоффманн и др., 2022 г.)

Один конкретный закон масштабирования (« Шиншилловое масштабирование ») гласит, что для большой языковой модели (LLM), авторегрессионно обученной для одной эпохи, с косинусным графиком скорости обучения , мы имеем: $${\begin{cases}C=C_{0}ND\\L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}$$где переменные

• $C$ — стоимость обучения модели в FLOPS .
• $N$ количество параметров в модели.
• $D$ — количество токенов в обучающем наборе.
• $L$ — это средняя отрицательная логарифмическая потеря правдоподобия на токен ( nats /token), достигнутая обученным LLM на тестовом наборе данных.
  • $L_{0}$ представляет собой потерю идеального генеративного процесса на тестовых данных
  • ${\frac {A}{N^{\alpha }}}$ отражает тот факт, что модель языка Transformer с $N$ параметры отстают от идеального генеративного процесса
  • ${\frac {B}{D^{\beta }}}$ отражает тот факт, что модель обучалась на $D$ токены отстают от идеального генеративного процесса

а статистические параметры

• $C_{0}=6$Это означает, что обучение на одном токене стоит 6 флопов на каждый параметр. Это оценено Kaplan et al. Обратите внимание, что стоимость обучения намного выше, чем стоимость вывода, поскольку обучение включает в себя как прямые, так и обратные проходы , тогда как вывод требует от 1 до 2 флопс на каждый параметр для вывода по одному токену.
• $\alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_{0}=1.69$.

Хотя Бесироглу и др. ал. утверждает, что статистическая оценка немного ошибочна и ее следует $\alpha =0.35,\beta =0.37,A=482.01,B=2085.43,L_{0}=1.82$.

Статистические законы аппроксимировались экспериментальными данными с $N\in [7\times 10^{7},1.6\times 10^{10}],D\in [5\times 10^{9},5\times 10^{11}],C\in [10^{18},10^{24}]$.

Поскольку существует 4 переменные, связанные двумя уравнениями, наложение 1 дополнительного ограничения и 1 дополнительной цели оптимизации позволяет нам найти решение для всех четырех переменных. В частности, для любого фиксированного $C$, мы можем однозначно решить для всех 4 переменных, что минимизирует $L$. Это обеспечивает нам оптимальную $D_{opt}(C),N_{opt}(C)$ для любого фиксированного $C$: $$N_{opt}(C)=G\left({\frac {C}{6}}\right)^{a},\quad D_{opt}(C)=G^{-1}\left({\frac {C}{6}}\right)^{b},\quad {\text{ where }}\quad G=\left({\frac {\alpha A}{\beta B}}\right)^{\frac {1}{\alpha +\beta }},\quad a={\frac {\beta }{\alpha +\beta }}{\text{, and }}b={\frac {\alpha }{\alpha +\beta }}{\text{. }}$$Подставляя числовые значения, мы получаем «эффективный для шиншиллы» размер модели и размер набора обучающих данных, а также достижимые потери при тестировании: $${\begin{cases}N_{opt}(C)=0.6\;C^{0.45}\\D_{opt}(C)=0.3\;C^{0.55}\\L_{opt}(C)=1070\;C^{-0.154}+1.7\end{cases}}$$Аналогичным образом мы можем найти оптимальный размер набора обучающих данных и бюджет обучающих вычислений для любого фиксированного размера параметров модели и так далее.

Существуют и другие оценки размера «эффективной для шиншиллы» модели и размера набора обучающих данных. Вышеизложенное основано на статистической модели $L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}$. Можно также напрямую подогнать статистический закон для $D_{opt}(C),N_{opt}(C)$ не проходя обходного пути, за что получаем: $${\begin{cases}N_{opt}(C)=0.1\;C^{0.5}\\D_{opt}(C)=1.7\;C^{0.5}\end{cases}}$$или как указано в таблице:

$N_{opt}(C)$	$C$ / ФЛОП	$C$ / Флопов обучения Gopher	$D_{opt}(C)$
400 миллионов	1.92e+19	1/29968	8,0 миллиардов
1 миллиард	1.21e+20	1/5706	20,2 миллиарда
10 миллиардов	1.23е+22	1/2819	205,1 миллиарда
67 миллиардов	5.76е+23	1	1,5 триллиона
175 миллиардов	3.85е+24	6.7	3,7 триллиона
280 миллиардов	9.90e+24	17.2	5,9 триллиона
520 миллиардов	3.43e+25	59.5	11,0 триллионов
1 триллион	1.27e+26	221.3	21,2 триллиона
10 триллионов	1.30e+28	22515.9	216,2 триллиона

Проще говоря, закон масштабирования Chinchilla для обучения моделей языка Transformer предполагает, что при увеличении бюджета (в FLOP ) для достижения оптимального по вычислениям количества параметров модели (N) и количества токенов для обучения модели (D ) должно масштабироваться примерно в равных пропорциях. Этот вывод отличается от предыдущего закона масштабирования для моделей нейронного языка: в котором говорится, что N следует масштабировать быстрее, чем D. Несоответствие возникает из-за установки разной длины цикла для планировщиков скорости косинусного обучения . При оценке масштабирования Шиншиллы авторы установили длину цикла такой же, как и шаги обучения, поскольку экспериментальные результаты показывают, что более крупные циклы переоценивают потери моделей.

За пределами масштабирования шиншиллы

Поскольку масштабирование Шиншиллы было ориентиром для многих крупномасштабных тренировочных запусков, одновременно предпринимались попытки выйти «за рамки масштабирования Шиншиллы», то есть изменить некоторые части обучающего конвейера, чтобы получить те же потери с меньшими усилиями, или намеренно тренируйтесь дольше, чем «оптимально для шиншиллы».

Обычно цель состоит в том, чтобы увеличить показатель закона масштабирования, что означает, что те же потери можно обучить с гораздо меньшими вычислительными затратами. Например, фильтрация данных может увеличить показатель закона масштабирования.

Другое направление исследований посвящено тому, как обращаться с ограниченными данными: согласно законам масштабирования Шиншиллы, размер обучающего набора данных для крупнейших языковых моделей уже приближается к тому, что доступно в Интернете. обнаружил, что дополнение набора данных набором «целей шумоподавления», построенных на основе набора данных, повышает производительность. изучает оптимальное масштабирование, когда все доступные данные уже исчерпаны (например, в редких языках), поэтому необходимо обучать несколько эпох на одном и том же наборе данных (тогда как для масштабирования Шиншиллы требуется только одна эпоха). Серия небольших языковых моделей Phi была обучена на данных, подобных учебникам, сгенерированных большими языковыми моделями, для которых данные ограничены только объемом доступных вычислений.

Оптимальность шиншиллы была определена как «оптимальная для обучающих вычислений», тогда как в реальных моделях производственного качества после завершения обучения будет сделано много выводов. «Перетренированность» во время тренировки означает лучшую производительность при выводе. LLaMA По этой причине модели были перетренированы. Последующие исследования обнаружили законы масштабирования в режиме перетренировки для размеров наборов данных до 32 раз больше, чем оптимальный для Шиншиллы.

Нарушенные законы нейронного масштабирования (BNSL)

Анализ 2022 года обнаружил, что многие масштабируемые поведения искусственных нейронных сетей подчиняются плавно нарушенной функциональной форме степенного закона :

$y=a+{\bigg (}bx^{-c_{0}}{\bigg )}\prod _{i=1}^{n}\left(1+\left({\frac {x}{d_{i}}}\right)^{1/f_{i}}\right)^{-c_{i}*f_{i}}$

в котором $x$ относится к масштабируемой величине (т.е. $C$, $N$, $D$, количество шагов обучения, количество шагов вывода или размер входных данных модели) и $y$ относится к нисходящего интересующей метрике оценки производительности (или восходящего потока) (например, ошибка прогнозирования, перекрестная энтропия , ошибка калибровки, AUROC , процент оценки BLEU , оценка F1 , вознаграждение, рейтинг Elo , скорость решения или оценка FID ) в нулевом выстреле , запрос или точные настройки. Параметры $a,b,c_{0},c_{1}...c_{n},d_{1}...d_{n},f_{1}...f_{n}$ находятся методом статистической аппроксимации.

На логарифмическом графике , когда $f_{i}$ не слишком велик и $a$ вычитается из оси Y, эта функциональная форма выглядит как серия линейных сегментов, соединенных дугами; тот $n$ переходы между сегментами называются «разрывами», отсюда и название « Законы сломанного нейронного масштабирования» (BNSL) .

Сценарии, в которых масштабируемое поведение искусственных нейронных сетей соответствует этой функциональной форме, включают крупномасштабное зрение , язык , аудио, видео, диффузию , генеративное моделирование , мультимодальное обучение , контрастное обучение , согласование ИИ , возможности ИИ, робототехнику и т. д. обобщение нераспределенного распределения (OOD), непрерывное обучение, трансферное обучение , неопределенности оценка / калибровка , обнаружение внераспределения , состязательная устойчивость , дистилляция , разреженность, извлечение, квантование, обрезка , справедливость , молекулы, компьютерное программирование/кодирование, математика словесные задачи, арифметика, возникающие способности , двойное спуск , обучение с учителем , обучение без учителя / самоконтроля и обучение с подкреплением (один агент и несколько агентов ).

Архитектуры, для которых поведение масштабирования искусственных нейронных сетей соответствует этой функциональной форме, включают ResNets , Transformers , MLP , MLP-Mixers , рекуррентные нейронные сети , сверточные нейронные сети , графовые нейронные сети , U-сети , кодировщик-декодер (и Модели только для кодировщика (и только для декодера), ансамбли (и не-ансамбли), модели MoE (смесь экспертов) (и не-MoE), а также модели с разреженным сокращением (и неразреженным необрезанным).

Другие примеры

Трансформаторы зрения

Трансформаторы зрения , как и преобразователи языка, демонстрируют законы масштабирования. Преобразователи машинного зрения, прошедшие исследовательскую подготовку в 2022 году, со счетчиком параметров. $N\in [5\times 10^{6},2\times 10^{9}]$, на наборах изображений размеров $D\in [3\times 10^{7},3\times 10^{9}]$, для вычислений $C\in [0.2,10^{4}]$ (в единицах TPUv3-ядро-дней).

После обучения модели она настраивается на ImageNet обучающем наборе . Позволять $L$ быть вероятностью ошибки точно настроенной модели, классифицирующей набор тестов ImageNet. Они нашли $\min _{N,D}L=0.09+{\frac {0.26}{(C+0.01)^{0.35}}}$.

Нейронный машинный перевод

Горбани, Бехруз и др. изучали законы масштабирования для нейронного машинного перевода (в частности, английский в качестве источника и немецкий в качестве целевого) в моделях кодировщика-декодера Transformer , обучались до сходимости на одних и тех же наборах данных (таким образом, они не соответствовали законам масштабирования для расчета стоимости $C$ или размер набора данных $D$). Они различались $N\in [10^{8},3.5\times 10^{9}]$ Они нашли три результата:

• $L$ является функцией закона масштабирования $N_{E},N_{D}$, где $N_{E},N_{D}$ — количество параметров кодера и декодера. Это не просто функция общего количества параметров. $N=N_{E}+N_{D}$. Функция имеет вид $L\left(N_{e},N_{d}\right)=\alpha \left({\frac {{\bar {N}}_{e}}{N_{e}}}\right)^{p_{e}}\left({\frac {{\bar {N}}_{d}}{N_{d}}}\right)^{p_{d}}+L_{\infty }$, где $\alpha ,p_{e},p_{d},L_{\infty },{\bar {N}}_{e},{\bar {N}}_{d}$ являются подогнанными параметрами. Они обнаружили, что $N_{d}/N\approx 0.55$ минимизирует потери, если $N$ держится фиксированным.
• $L$ «насыщает» (то есть достигает $L_{\infty }$) для меньших моделей, когда наборы данных обучения и тестирования являются «естественными для источника», чем «естественными для цели». Точка данных «естественный источник» означает пару англо-немецких предложений, и модели предлагается перевести английское предложение на немецкий язык, при этом английское предложение пишется писателем-естественником английского языка, а немецкое предложение переводится с Английское предложение машинного переводчика. Чтобы создать два типа наборов данных, авторы собрали в Интернете естественные английские и немецкие предложения, а затем использовали машинный перевод для их перевода.
• По мере того, как модели становятся больше, модели, обученные на исходных наборах данных, могут достичь низких потерь, но плохого показателя BLEU . Напротив, модели, обученные на целевых и исходных наборах данных, одновременно достигают низких потерь и хорошего показателя BLEU (рис. 10, 11). ).

Авторы предполагают, что исходные наборы данных имеют однородные и скучные целевые предложения, и поэтому модель, обученная прогнозировать целевые предложения, быстро переобучится.

обученные Трансформеры для машинного перевода с размерами $N\in [4\times 10^{5},5.6\times 10^{7}]$ по размерам набора данных $D\in [6\times 10^{5},6\times 10^{9}]$. Они нашли Каплана и др. (2020) закон масштабирования, применяемый к машинному переводу: $L(N,D)=\left[\left({\frac {N_{C}}{N}}\right)^{\frac {\alpha _{N}}{\alpha _{D}}}+{\frac {D_{C}}{D}}\right]^{\alpha _{D}}$. Они также обнаружили, что оценка BLEU масштабируется как $BLEU\approx Ce^{-kL}$.

Трансферное обучение

Эрнандес, Дэнни и др. изучал законы масштабирования для трансферного обучения в языковых моделях. Они обучали семью Трансформеров тремя способами:

• предобучение английскому языку, доводка Python
• предварительное обучение английскому языку и Python, тонкая настройка Python
• обучение на Python

Идея состоит в том, что предварительное обучение английскому языку должно помочь модели добиться минимальных потерь на тестовом наборе текста Python. Предположим, что модель имеет количество параметров $N$, и после точной настройки $D_{F}$ Токены Python, это приводит к некоторым потерям $L$. Мы говорим, что его «количество переданных токенов» равно $D_{T}$, если другая модель с таким же $N$ достигает того же $L$ после тренировки на $D_{F}+D_{T}$ Токены Python.

Они нашли $D_{T}=1.9e4\left(D_{F}\right)^{.18}(N)^{.38}$ для предварительной подготовки по английскому тексту и $D_{T}=2.1e5\left(D_{F}\right)^{.096}(N)^{.38}$ для предварительного обучения английскому языку и коду, отличному от Python.

См. также

• Общий искусственный интеллект