Смесь экспертов

Смесь экспертов ( MoE ) — это метод машинного обучения , при котором несколько экспертных сетей (обучающихся) используются для разделения проблемного пространства на однородные области. Он отличается от ансамблевых методов тем, что для МО обычно запускается только одна или несколько экспертных моделей для каждого входного сигнала, тогда как в ансамблевом методе все модели запускаются для каждого входного сигнала.

Основная теория

В смеси экспертов у нас всегда есть следующие ингредиенты, но они составлены и сочетаются по-разному.

• Есть эксперты $f_{1},...,f_{n}$, каждый из которых принимает один и тот же входной сигнал $x$и производит выходные данные $f_{1}(x),...,f_{n}(x)$.
• Существует единственная весовая функция (она же функция стробирования). $w$, который принимает в себя $x$ и создает вектор результатов $(w(x)_{1},...,w(x)_{n})$.
• $\theta =(\theta _{0},\theta _{1},...,\theta _{n})$ это набор параметров. Параметр $\theta _{0}$ предназначен для весовой функции.
• Учитывая ввод $x$, совокупность экспертов дает единый совокупный результат путем объединения $f_{1}(x),...,f_{n}(x)$ судя по весам $w(x)_{1},...,w(x)_{n}$ каким-то образом.

И эксперты, и весовая функция обучаются путем минимизации той или иной формы функции потерь, обычно путем градиентного спуска. Существует большая свобода в выборе точной формы экспертов, весовой функции и функции потерь.

Мета-пи сеть

Сеть мета-пи , о которой сообщили Хэмпшир и Вайбель, использует $f(x)=\sum _{i}w(x)_{i}f_{i}(x)$ как результат. Модель обучается путем выполнения градиентного спуска с потерей среднеквадратической ошибки. $L:={\frac {1}{N}}\sum _{k}\|y_{k}-f(x_{k})\|^{2}$. Эксперты могут иметь произвольные функции.

В своей оригинальной публикации они решали проблему классификации фонем в речевом сигнале шести разных японоговорящих: двух женщин и четырех мужчин. Они обучили 6 экспертов, каждый из которых представляет собой «нейронную сеть с задержкой во времени». (по сути, многослойная сеть свертки над мел-спектрограммой ). Они обнаружили, что в результате полученная смесь экспертов выделила 5 экспертов для 5 говорящих, но у шестого говорящего (мужчины) нет выделенного эксперта, вместо этого его голос классифицировался линейной комбинацией экспертов для остальных 3 говорящих мужчин.

Адаптивные смеси от местных специалистов

Адаптивные смеси от местных специалистов использует модель гауссовой смеси . Каждый эксперт просто предсказывает гауссово распределение и полностью игнорирует входные данные. В частности, $i$-й эксперт предсказывает, что результат будет $y\sim N(\mu _{i},I)$, где $\mu _{i}$ это обучаемый параметр. Весовая функция представляет собой функцию линейного softmax: $$w(x)_{i}={\frac {e^{k_{i}^{T}x+b_{i}}}{\sum _{j}e^{k_{j}^{T}x+b_{j}}}}$$Совокупность экспертов прогнозирует, что выходные данные распределяются в соответствии с функцией плотности вероятности: $$f_{\theta }(y|x)=\ln \left[\sum _{i}{\frac {e^{k_{i}^{T}x+b_{i}}}{\sum _{j}e^{k_{j}^{T}x+b_{j}}}}N(y|\mu _{i},I)\right]=\ln \left[(2\pi )^{-d/2}\sum _{i}{\frac {e^{k_{i}^{T}x+b_{i}}}{\sum _{j}e^{k_{j}^{T}x+b_{j}}}}e^{-{\frac {1}{2}}\|y-\mu _{i}\|^{2}}\right]$$Он обучается с помощью оценки максимального правдоподобия, то есть градиентного восхождения на $f(y|x)$. Градиент для $i$-й эксперт

$$\nabla _{\mu _{i}}f_{\theta }(y|x)={\frac {w(x)_{i}N(y|\mu _{i},I)}{\sum _{j}w(x)_{j}N(y|\mu _{j},I)}}\;(y-\mu _{i})$$

а градиент весовой функции равен $$\nabla _{[k_{i},b_{i}]}f_{\theta }(y|x)={\begin{bmatrix}x\\1\end{bmatrix}}{\frac {w(x)_{i}}{\sum _{j}w(x)_{j}N(y|\mu _{j},I)}}(f_{i}(x)-f_{\theta }(y|x))$$

Для каждой пары ввода-вывода $(x,y)$, весовая функция изменяется таким образом, чтобы увеличить вес всех экспертов, показавших результаты выше среднего, и уменьшить вес всех экспертов, показавших результаты ниже среднего. Это побуждает весовую функцию научиться выбирать только тех экспертов, которые делают правильные прогнозы для каждого входного сигнала.

The $i$-й эксперт изменен, чтобы приблизить его прогноз к $y$, но величина изменения пропорциональна $w(x)_{i}N(y|\mu _{i},I)$. Это имеет байесовскую интерпретацию. Учитывая ввод $x$, априорная вероятность того, что эксперт $i$ правильный ли это $w(x)_{i}$, и $N(y|\mu _{i},I)$ вероятность ​ доказательства $y$. Так, ${\frac {w(x)_{i}N(y|\mu _{i},I)}{\sum _{j}w(x)_{j}N(y|\mu _{j},I)}}$ - апостериорная вероятность для эксперта $i$, и поэтому скорость изменения $i$-й эксперт пропорционален своей апостериорной вероятности.

Другими словами, экспертов, которые, оглядываясь назад, казались хорошими экспертами, с которыми можно было бы проконсультироваться, просят учиться на этом примере. Эксперты, которых, оглядываясь назад, не было, остались одни.

Совокупный эффект заключается в том, что эксперты становятся специализированными: предположим, что оба эксперта хорошо прогнозируют определенный тип входных данных, но один немного лучше, тогда весовая функция в конечном итоге научится отдавать предпочтение лучшему. После этого меньший эксперт не может получить сигнал с высоким градиентом и становится еще хуже прогнозировать такой тип входных данных. И наоборот, меньший эксперт может лучше прогнозировать другие виды вкладов и все больше уходить в другой регион. Это имеет положительный эффект обратной связи, заставляя каждого эксперта отделяться от остальных и заботиться о местном регионе в одиночку (отсюда и название « местные эксперты»).

Иерархическое МО

Иерархические смеси экспертов использует несколько уровней стробирования в дереве. Каждый шлюз представляет собой распределение вероятностей по следующему уровню шлюзов, а эксперты находятся на конечных узлах дерева. Они похожи на деревья решений .

Например, двухуровневое иерархическое МО будет иметь вентильную функцию первого порядка. $w_{i}$и стробирующие функции второго порядка $w_{j|i}$ и эксперты $f_{j|i}$. Тогда общий прогноз $\sum _{i}w_{i}(x)\sum _{j}w_{j|i}(x)f_{j|i}(x)$.

Варианты

Смесь экспертов, аналогичная модели смеси Гаусса, также может быть обучена с помощью алгоритма максимизации ожидания, как и модели смеси Гаусса . В частности, на этапе ожидания «бремя» объяснения каждой точки данных возлагается на экспертов, а на этапе максимизации эксперты обучаются улучшать объяснения, для которых они получили высокую нагрузку, в то время как шлюз обучается улучшать распределение его бремени. Это может сходиться быстрее, чем градиентный подъем по логарифмическому правдоподобию.

Выбор функции стробирования часто представляет собой стробирование softmax. Кроме этого, предложил использовать гауссово распределение, и предложил использовать экспоненциальные семейства.

Вместо выполнения взвешенной суммы всех экспертов, в жестком МО выбирается только эксперт с самым высоким рейтингом. То есть, $f(x)=f_{\arg \max _{i}w_{i}(x)}(x)$. Это может ускорить обучение и время вывода.

Эксперты могут использовать более общие формы многовариантных гауссовских распределений. Например, предложенный $f_{i}(y|x)=N(y|A_{i}x+b_{i},\Sigma _{i})$, где $A_{i},b_{i},\Sigma _{i}$ являются обучаемыми параметрами. Другими словами, каждый эксперт учится выполнять линейную регрессию с обучаемой оценкой неопределенности.

Можно использовать других экспертов, кроме гауссовских распределений. Например, можно использовать распределение Лапласа , или t-распределение Стьюдента . Для бинарной классификации также были предложены по логистической регрессии с эксперты $$f_{i}(y|x)={\begin{cases}{\frac {1}{1+e^{\beta _{i}^{T}x+\beta _{i,0}}}},&y=0\\1-{\frac {1}{1+e^{\beta _{i}^{T}x+\beta _{i,0}}}},&y=1\end{cases}}$$где $\beta _{i},\beta _{i,0}$ являются обучаемыми параметрами. Позже это обобщается для многоклассовой классификации с участием экспертов по полиномиальной логистической регрессии .

Глубокое обучение

В предыдущем разделе MoE описывался в том виде, в каком он использовался до эпохи глубокого обучения . После глубокого обучения Министерство образования нашло применение в запуске самых крупных моделей как простого способа выполнения условных вычислений : используются только части модели, части выбираются в зависимости от входных данных.

Самая ранняя статья, в которой MoE применяется к глубокому обучению, - «Изучение факторизованных представлений в глубоком составе экспертов» (Эйген, Ранзато, Суцкевер). который предлагает использовать разные вентильные сети на каждом уровне глубокой нейронной сети. В частности, каждый шлюз представляет собой сеть линейного ReLU-линейного softmax, а каждый эксперт представляет собой сеть линейного ReLU.

Ключевым желанием Министерства образования в области глубокого обучения является снижение затрат на вычисления. Следовательно, по каждому запросу следует опрашивать только небольшую группу экспертов. Это отличает МоО в глубоком обучении от классического МоО. В классическом MoE выходные данные для каждого запроса представляют собой взвешенную сумму результатов всех экспертов. В MoE глубокого обучения выходные данные для каждого запроса могут включать результаты только нескольких экспертов. Следовательно, ключевым выбором дизайна в MoE становится маршрутизация: при наличии пакета запросов как направить запросы лучшим экспертам.

Слой MoE с редкими воротами

Слой MoE с редкими воротами , опубликованный исследователями из Google Brain , использует сети прямой связи в качестве экспертов и гейтирование Linear-Softmax. Подобно ранее предложенному жесткому MoE, они достигают разреженности за счет взвешенной суммы только топ-k экспертов, а не взвешенной суммы всех из них. В частности, на уровне MoE существуют сети прямой связи. $f_{1},...,f_{n}$и воротная сеть $w$. Сеть шлюзов определяется $w(x)=\mathrm {softmax} (\mathrm {top} _{k}(Wx+{\text{noise}}))$, где $\mathrm {top} _{k}$ — это функция, которая сохраняет топ-k записей вектора одинаковыми, но устанавливает для всех остальных записей значения $-\infty$. Добавление шума помогает с балансировкой нагрузки.

Выбор $k$ — это гиперпараметр, выбираемый в соответствии с приложением. Типичные значения: $k=1,2$. $k=1$ Версия также называется Switch Transformer.

В качестве демонстрации они обучили серию моделей машинному переводу с чередующимися слоями MoE и LSTM и сравнили их с глубокими моделями LSTM. Таблица 3 показывает, что модели MoE использовали меньше времени для вычислений, несмотря на то, что имели в 30 раз больше параметров.

У Vanilla MoE, как правило, возникают проблемы с балансировкой нагрузки: с некоторыми экспертами консультируются часто, а с другими — редко или вообще не консультируются. Чтобы шлюз мог выбирать каждого эксперта с одинаковой частотой (правильная балансировка нагрузки) внутри каждого пакета, каждый уровень MoE имеет две вспомогательные функции потерь. Это улучшено за счет в одну вспомогательную функцию потерь. Конкретно, пусть $n$ - количество экспертов, то для данного пакета запросов $\{x_{1},x_{2},...,x_{T}\}$, вспомогательные потери для партии равны $$n\sum _{i=1}^{n}f_{i}P_{i}$$Здесь, $f_{i}={\frac {1}{T}}\#({\text{queries sent to expert }}i)$ это доля времени, в течение которой эксперт $i$ занимает высшую позицию и $P_{i}={\frac {1}{T}}\sum _{j=1}^{T}w_{i}(x_{j})$ это доля веса эксперта $i$. Эти потери минимизируются при $1$, именно тогда, когда все эксперты имеют одинаковый вес $1/n$ во всех ситуациях.

Маршрутизация

В МОС с редким контролем опрашиваются только топ-k экспертов, а их результаты суммируются. Есть и другие методы.

В Хэш МО, маршрутизация выполняется детерминированно с помощью хэш-функции, фиксируемой до начала обучения. Например, если модель представляет собой 4-слойный преобразователь, а входными данными является токен для слова «есть», а хеш слова «есть» равен $(1,4,2,3)$, то токен будет направлен 1-му эксперту на уровне 1, 4-му эксперту на уровне 2 и т. д. Несмотря на свою простоту, он обеспечивает конкурентоспособную производительность, поскольку MoE с редкой вентиляцией с $k=1$.

Предположим, что в мягком МО в каждой партии каждый эксперт может обрабатывать $p$ запросы, то есть $n\times p$ запросы, которые можно назначать для каждого пакета. Теперь для каждой партии запросов $\{x_{1},x_{2},...,x_{T}\}$, мягкий уровень MoE вычисляет массив $w_{i,j,k}$, такой, что $(w_{i,j,1},...,w_{i,j,T})$ — это распределение вероятностей по запросам, а $i$-го эксперта $j$-й запрос $\sum _{k}w_{i,j,k}x_{k}$. Однако это не работает при моделировании авторегрессии, поскольку веса $w_{i,j,k}$ более одного токена зависит от всех остальных токенов».

Другие подходы включают решение ее как задачи линейного программирования с ограничениями . заставить каждого эксперта выбирать топ-k запросов, которые он хочет (вместо того, чтобы каждый запрос выбирал для него топ-k экспертов), использование обучения с подкреплением для обучения алгоритма маршрутизации (поскольку выбор эксперта — дискретное действие, как в RL).

Коэффициент мощности

Предположим, есть $n$ эксперты в слое. Для заданного пакета запросов $\{x_{1},x_{2},...,x_{T}\}$, каждый запрос направляется одному или нескольким экспертам. Например, если каждый запрос направляется к одному эксперту, как в Switch Transformers, и если эксперты сбалансированы по нагрузке, то каждый эксперт должен ожидать в среднем $T/n$ запросы в пакетном режиме. На практике эксперты не могут рассчитывать на идеальную балансировку нагрузки: в одних партиях один эксперт может быть недогружен, а в других — перегружен.

Поскольку входные данные не могут перемещаться по уровню до тех пор, пока каждый эксперт на уровне не завершит назначенные ему запросы, важно балансировать нагрузку. Жестким ограничением балансировки нагрузки является коэффициент мощности : каждому эксперту разрешено обрабатывать только до $c\cdot T/n$ запросы в пакетном режиме. найденный $c\in [1.25,2]$ работать на практике.

Приложения к моделям трансформеров

Слои MoE используются в крупнейших моделях трансформаторов , для которых обучение и выводы по всей модели являются слишком дорогостоящими. Обычно они имеют разреженную вентиляцию, с разреженностью 1 или 2. В моделях Transformer слои MoE часто используются для выбора слоев прямой связи (обычно линейно-ReLU-линейная сеть), появляющихся в каждом блоке Transformer после многонаправленного внимания. Это связано с тем, что по мере увеличения размера модели на слои прямой связи приходится все большая часть вычислительных затрат. Например, в модели Palm-540B 90% параметров находятся в ее слоях прямой связи.

Обученный Трансформатор можно преобразовать в МО путем дублирования его слоев прямой связи со случайно инициализированным стробированием, а затем продолжить обучение. Это техника, называемая «разреженная переработка».

По состоянию на 2023 год Модели, достаточно большие для использования MoE, обычно представляют собой большие языковые модели , в которых каждый эксперт имеет порядка 10 миллиардов параметров. Помимо языковых моделей, Vision MoE представляет собой модель Трансформера со слоями MoE. Они продемонстрировали это, обучив модель с 15 миллиардами параметров. MoE Transformer также применяется для диффузионных моделей .

Серия крупных языковых моделей от Google использовала MoE. Гшард использует МО, привлекая до двух ведущих экспертов на каждом уровне. В частности, всегда выбирается эксперт первого уровня, а эксперт второго уровня выбирается с вероятностью, пропорциональной весу этого эксперта в соответствии с функцией пропускания. Позже ГЛаМ продемонстрировал языковую модель с 1,2 триллиона параметров, причем на каждом уровне Министерства образования использовались 2 лучших эксперта из 64. Переключающие трансформаторы используйте top-1 во всех слоях MoE.

NLLB-200 от Meta AI — это модель машинного перевода для 200 языков. На каждом уровне MoE используется иерархический MoE с двумя уровнями. На первом уровне функция шлюзования выбирает либо «общий» уровень прямой связи, либо экспертов. Если используются эксперты, то другая функция шлюзования вычисляет веса и выбирает двух лучших экспертов.

Большие языковые модели MoE можно адаптировать для последующих задач путем настройки инструкций .

В декабре 2023 года Mistral AI выпустила Mixtral 8x7B под лицензией Apache 2.0. Это языковая модель MoE с 46,7B параметров, 8 экспертами и разреженностью 2. Они также выпустили версию, настроенную для следования инструкциям.

В марте 2024 года Databricks выпустила DBRX . Это языковая модель MoE со 132B параметрами, 16 экспертами и разреженностью 4. Они также выпустили версию, настроенную для следования инструкциям.

Дальнейшее чтение

• До эпохи глубокого обучения
  • Маклахлан, Джеффри Дж.; Пил, Дэвид (2000). Модели конечной смеси . Ряд Уайли в разделе « Вероятность и статистика» прикладной вероятности и статистики. Нью-Йорк Чичестер Вайнхайм Брисбен Сингапур Торонто: John Wiley & Sons, Inc. ISBN  978-0-471-00626-8 .
  • Юксель, ГП; Уилсон, Дж. Н.; Гадер, доктор медицинских наук (август 2012 г.). «Двадцать лет смешения экспертов» . Транзакции IEEE в нейронных сетях и системах обучения . 23 (8): 1177–1193. дои : 10.1109/TNNLS.2012.2200299 . ISSN   2162-237X . ПМИД   24807516 . S2CID   9922492 .
  • Масудния, Саид; Эбрагимпур, Реза (12 мая 2012 г.). «Смесь экспертов: обзор литературы». Обзор искусственного интеллекта . 42 (2): 275–293. дои : 10.1007/s10462-012-9338-y . S2CID   3185688 .
  • Нгуен, Хиен Д.; Чамрухи, Файсел (июль 2018 г.). «Практические и теоретические аспекты моделирования смешанными экспертами: обзор» . WIREs Интеллектуальный анализ данных и обнаружение знаний . 8 (4). дои : 10.1002/widm.1246 . ISSN   1942-4787 . S2CID   49301452 .
• Эпоха глубокого обучения
  • Зоф, Баррет; Белло, Ирван; Кумар, Самир; Ду, Нэн; Хуан, Яньпин; Дин, Джефф; Шазир, Ноам; Федус, Уильям (2022). «ST-MoE: Разработка стабильных и переносимых разреженных экспертных моделей». arXiv : 2202.08906 [ cs.CL ].
  • Фучжао, Сюэ (21 июля 2024 г.), Сюэ Фучжао / удивительная смесь экспертов , получено 21 июля 2024 г.

См. также

• Продукт экспертов
• Модели смеси
• Смесь гауссиан
• Ансамблевое обучение