Трансформатор (архитектура глубокого обучения)

«Архитектура-трансформер» перенаправляется сюда. Для проектирования электрических трансформаторов см. Трансформатор .

Трансформатор , — это архитектура глубокого обучения разработанная Google и основанная на механизме многоголового внимания , предложенном в статье 2017 года « Внимание — это все, что вам нужно ». Текст преобразуется в числовые представления, называемые токенами , и каждый токен преобразуется в вектор путем поиска в таблице встраивания слов . На каждом уровне каждый токен затем контекстуализируется в пределах контекстного окна с другими (немаскированными) токенами с помощью параллельного с несколькими головками механизма внимания , позволяющего усиливать сигнал для ключевых токенов и уменьшать менее важные токены. Статья о трансформаторе, опубликованная в 2017 году, основана на механизме внимания на основе softmax, предложенном Богданау и др. в 2014 году по машинному переводу , и быстрый контроллер веса, похожий на трансформатор, предложенный в 1992 году.

Преимущество трансформаторов состоит в том, что они не имеют повторяющихся единиц и, следовательно, требуют меньше времени на обучение, чем более ранние рекуррентные нейронные архитектуры (RNN), такие как длинная кратковременная память (LSTM). Более поздние варианты получили широкое распространение для обучения больших языковых моделей (LLM) на больших (языковых) наборах данных, таких как Википедии корпус и Common Crawl .

Трансформаторы в настоящее время используются в крупномасштабной обработке естественного языка , компьютерном зрении ( трансформаторах зрения ), аудио, мультимодальная обработка, робототехника, и даже играл в шахматы . Это также привело к разработке предварительно обученных систем , таких как генеративные предварительно обученные преобразователи (GPT). и БЕРТ (Представления двунаправленного кодера от трансформаторов).

Хронология моделей обработки естественного языка

История

Хронология

• В 1990 году сеть Элмана , используя рекуррентную нейронную сеть , закодировала каждое слово в обучающем наборе как вектор, называемый встраиванием слов , и весь словарь как векторную базу данных , что позволило ей выполнять такие задачи, как прогнозирование последовательности, которые не по силам простому многослойному перцептрону . Недостаток статических вложений заключался в том, что они не различали несколько значений омонимов .
• опубликовал быстрый контроллер веса В 1992 году Юрген Шмидхубер . Одна сеть другой нейронной сети через внешние продукты ключевых векторов и векторов значений, называемых ОТ и ТО. Позже было показано, что он эквивалентен ненормализованному линейному трансформатору. Шмидхубер использовал терминологию «обучение внутренним источникам внимания». в 1993 году, и теперь утверждает, что он был предшественником того, что сейчас известно как механизм внимания, но Джеффри Хинтон оспаривает это утверждение о приоритете.
• В 1993 году модели выравнивания IBM использовались для статистического машинного перевода .
• слов был использован большой текстовый корпус объемом в один миллиард слов, взятый из Интернета, который в то время назывался «очень-очень большим» В 2001 году для устранения неоднозначности .
• В 2012 году AlexNet продемонстрировала эффективность больших нейронных сетей для распознавания изображений, поощряя использование больших искусственных нейронных сетей вместо старых статистических подходов.
• с 380 млн параметров модель seq2seq для машинного перевода с использованием двух сетей с длинной краткосрочной памятью ( LSTM ). В 2014 году Суцкевер и др. предложили Архитектура состоит из двух частей. Кодер — это LSTM, который принимает последовательность токенов и превращает ее в вектор. Декодер — это еще один LSTM, который преобразует вектор в последовательность токенов.
• В 2014 году стробирование оказалось полезным в модели seq2seq со 130 млн параметров , в которой использовались упрощенные вентилируемые рекуррентные единицы (GRU). Богданау и др. показали, что GRU не лучше и не хуже закрытых LSTM.
• В 2014 году Богданов и др. улучшил предыдущую модель seq2seq, используя «аддитивный» механизм внимания между двумя сетями LSTM. Однако это еще не был тот тип внимания, который можно распараллелить (масштабируемое «скалярное произведение»), позже предложенный в статье о трансформаторе 2017 года.
• В 2015 году относительная производительность архитектур моделей глобального и локального (оконного) внимания была оценена Луонгом и др.: было обнаружено, что архитектура смешанного внимания улучшает переводы, предлагаемые архитектурой Богданау, в то время как использование архитектуры локального внимания сокращает время перевода.
• В 2016 году Google Translate постепенно заменил старый подход статистического машинного перевода новым подходом, основанным на нейронных сетях , который включал модель seq2seq в сочетании с LSTM и «аддитивным» механизмом внимания. Они достигли более высокого уровня производительности, чем статистический подход, на разработку которого ушло десять лет, всего за девять месяцев.
• В 2017 году оригинальная (размером 100 М) модель преобразователя кодер-декодер с более быстрым (распараллеливаемым или разложимым) механизмом внимания была предложена в статье « Внимание — это все, что вам нужно ». Поскольку у модели были трудности со сходимостью, было предложено линейно масштабировать скорость обучения от 0 до максимального значения для первой части обучения (т. е. 2% от общего количества шагов обучения). Цель модели-трансформера состоит в том, чтобы взять модель seq2seq и удалить ее рекуррентные нейронные сети, но сохранить ее механизм аддитивного внимания.
• В статье ELMo 2018 года двунаправленный LSTM используется для расчета глубоких контекстуализированных вложений для каждого слова, улучшая направление исследований на основе Bag of Words и word2vec .
• (размером более 1B) использовался преобразователь только для энкодера В 2018 году в модели BERT , что усовершенствовало ELMo.
• В 2020 году трансформер зрения и преобразователь с расширенной сверткой для обработки речи превзошли рекуррентные нейронные сети , ранее использовавшиеся для зрения и речи.
• В 2020 году трудности с конвергенцией исходного преобразователя были решены за счет нормализации слоев до (а не после) многоголового внимания Сюн и др. Это называется предварительным трансформатором LN.
• В 2023 году однонаправленные («авторегрессивные») трансформаторы использовались в GPT-3 (размером более 100B) и других моделях OpenAI GPT .
• В 2024 году преобразователи были применены для оценки позиций на шахматной доске. Используя только статическую оценку (то есть без минимаксного поиска), удалось достичь Эло 2895, что соответствует уровню гроссмейстера .

Предшественники

Моделирование и генерация последовательностей уже много лет выполняются с помощью простых рекуррентных нейронных сетей. Первым широко цитируемым примером была сеть Элмана (1990). Теоретически информация от одного токена может распространяться сколь угодно далеко вниз по последовательности, но на практике проблема исчезающего градиента оставляет состояние модели в конце длинного предложения без точной, извлекаемой информации о предыдущих токенах.

Одним из ключевых компонентов механизма внимания является включение нейронов, которые умножают выходные сигналы других нейронов. Такие нейроны назывались мультипликативными единицами , а нейронные сети, использующие мультипликативные единицы, назывались сигма-пи-сетями или сетями второго порядка , но они столкнулись с высокой вычислительной сложностью. Ключевым прорывом стал LSTM (1995 г.), который включил мультипликативные единицы в рекуррентную сеть, а также другие инновации, которые предотвратили проблему исчезновения градиента и позволили эффективно освоить моделирование длинных последовательностей. Она стала стандартной архитектурой для моделирования длинных последовательностей до публикации книги «Трансформеры» в 2017 году.

Однако LSTM не решил общую проблему, с которой обычно сталкиваются рекуррентные сети. have, а именно то, что он не может работать параллельно со всеми токенами в последовательности. Он должен работать по одному от первого токена до последнего. Быстрый контроллер веса (1992 г.) был первой попыткой обойти эту трудность. Он использовал архитектуру быстрых весов, где одна нейронная сеть выводит веса другой нейронной сети. Позже было показано, что он эквивалентен линейному трансформатору без нормализации.

Периодическое внимание

был введен механизм внимания В 2014 году в модели seq2seq (с использованием закрытых рекуррентных единиц, вариант LSTM) для машинного перевода. Он был введен для решения конкретной проблемы, возникшей в seq2seq. В seq2seq входные данные последовательно обрабатываются одной рекуррентной сетью в выходной вектор фиксированного размера, который затем обрабатывается другой рекуррентной сетью в выходные данные. Если входные данные длинные, то выходной вектор не сможет содержать всю необходимую информацию, и качество вывода ухудшается.

Идея механизма внимания в рекуррентных сетях заключается в использовании всех выходов первой сети, а не только ее последнего выхода. Вторая сеть на каждом этапе использует механизм внимания для их линейного объединения, а затем обрабатывает его дальше.

Раньше в seq2seq не было механизма внимания, и вектор состояния был доступен только после обработки последнего слова исходного текста. Хотя теоретически такой вектор сохраняет информацию обо всем исходном предложении, на практике информация сохраняется плохо. Это связано с тем, что модели seq2seq испытывают трудности с моделированием зависимостей на больших расстояниях. Изменение входного предложения улучшило перевод seq2seq. Благодаря механизму внимания сеть может легче моделировать зависимости на расстоянии.

Внимание

Упомянутые модели Seq2seq по-прежнему страдали от той же проблемы с рекуррентными сетями, которая заключалась в том, что их трудно распараллеливать, что не позволяло их ускорять на графических процессорах. В 2016 году декомпозируемое внимание применило механизм внимания к сети прямой связи , которую легко распараллелить.

В 2017 году Васвани и др. также предложил заменить рекуррентные нейронные сети самообслуживанием и начал попытки оценить эту идею. Трансформеры, используя механизм внимания, обрабатывая все токены одновременно, вычисляли «мягкие» веса между ними в последовательных слоях. Поскольку механизм внимания использует информацию только о других токенах из нижних уровней, ее можно вычислять для всех токенов параллельно, что приводит к повышению скорости обучения.

Обучение

Методы стабилизации тренировок

Простая архитектура трансформатора с трудом сходилась. В оригинальной статье авторы рекомендовали использовать прогрев скорости обучения. То есть скорость обучения должна линейно увеличиваться от 0 до максимального значения для первой части обучения (обычно рекомендуется составлять 2% от общего количества шагов обучения), а затем снова снижаться.

В статье 2020 года было обнаружено, что использование нормализации слоев до (а не после) слоев многоголового внимания и прямой связи стабилизирует обучение, не требуя повышения скорости обучения.

Предварительная точная настройка

Трансформаторы обычно проходят самостоятельное обучение , включающее предварительную подготовку без присмотра с последующей контролируемой точной настройкой . Предварительное обучение обычно выполняется на большем наборе данных, чем точная настройка, из-за ограниченной доступности помеченных обучающих данных. Задачи по предварительному обучению и тонкой настройке обычно включают в себя:

• языковое моделирование
• предсказание следующего предложения
• ответ на вопрос
• понимание прочитанного
• анализ настроений
• перефразирование

Отчет трансформаторе Т5 о документирует большое количество предтренировочных задач. Некоторые примеры:

• восстановление поврежденного текста: Thank you <X> me to your party <Y> week. -> <X> for inviting <Y> last <Z> где <Z> означает «конец вывода».
• перевод: translate English to German: That is good. -> Das ist gut..
• оценка грамматической приемлемости предложения ( предложение CoLA ): The course is jumping well. -> not acceptable .

Приложения

Трансформатор добился больших успехов в обработке естественного языка (НЛП), например, в задачах машинного перевода и прогнозирования временных рядов . Многие большие языковые модели, такие как GPT-2 , GPT-3 , GPT-4 , Claude , BERT , XLNet, RoBERTa и ChatGPT, демонстрируют способность преобразователей выполнять широкий спектр таких задач, связанных с НЛП, и имеют потенциал для поиска реальные приложения. Они могут включать в себя:

• машинный перевод
• обобщение документов
• создание документов
• распознавание названного объекта (NER)
• анализ биологической последовательности
• написание компьютерного кода на основе требований, выраженных на естественном языке.
• видео понимание .

Помимо приложений НЛП, он также добился успеха в других областях, таких как компьютерное зрение или приложения для сворачивания белков (например, AlphaFold ).

В качестве наглядного примера можно привести Ithaca — преобразователь только для энкодера с тремя выходными головками. В качестве входных данных принимается древнегреческая надпись в виде последовательности символов, но с неразборчивыми символами, замененными на «-». Его три выходных головки соответственно выводят распределения вероятностей по греческим символам, местоположению надписи и дате надписи.

Реализации

Модель преобразователя реализована в стандартных средах глубокого обучения, таких как TensorFlow и PyTorch .

Transformers — это библиотека, созданная Hugging Face , которая предоставляет архитектуры на основе трансформаторов и предварительно обученные модели.

Архитектура

Иллюстрация основных компонентов модели трансформатора из оригинальной статьи, где нормализация слоев выполнялась после многоголового внимания. В статье 2020 года было обнаружено, что размещение нормализации слоя перед многонаправленным вниманием (а не после него) улучшает стабильность обучения.

Все трансформаторы имеют одинаковые первичные компоненты:

• Токенизаторы, которые преобразуют текст в токены.
• Один слой внедрения, который преобразует токены и позиции токенов в векторные представления.
• Слои преобразователей, которые выполняют повторяющиеся преобразования векторных представлений, извлекая все больше и больше лингвистической информации. Они состоят из чередующихся слоев внимания и прямой связи.
• (необязательно) Слой отмены внедрения, который преобразует окончательные векторные представления обратно в распределение вероятностей по токенам.

Слои преобразователя могут быть одного из двух типов: кодировщика и декодера . В оригинальной статье использовались оба они, тогда как более поздние модели включали только один из них. BERT — пример модели только для кодировщика; GPT — это модели только для декодера.

Вход

Входной текст анализируется на токены с помощью токенизатора, чаще всего кодирующего пару байтов токенизатора, , и каждый токен преобразуется в вектор посредством поиска в таблице встраивания слов . Затем к встраиванию слова добавляется позиционная информация токена.

Архитектура кодировщика-декодера

Как и более ранние модели seq2seq , исходная модель преобразователя использовала архитектуру кодер-декодер . Кодер состоит из слоев кодирования, которые итеративно обрабатывают входные токены один уровень за другим, а декодер состоит из слоев декодирования, которые итеративно обрабатывают выходные данные кодера, а также выходные токены декодера.

Функция каждого уровня кодера заключается в создании контекстуализированных представлений токенов, где каждое представление соответствует токену, который «смешивает» информацию из других входных токенов через механизм самообслуживания. Каждый уровень декодера содержит два подуровня внимания: (1) перекрестное внимание для включения выходных данных кодера (контекстуализированные входные представления токенов) и (2) самовнимание для «смешивания» информации между входными токенами в декодер (т. е. токены, сгенерированные на данный момент во время вывода).

И уровни кодера, и декодера имеют нейронную сеть прямого распространения для дополнительной обработки выходных данных и содержат остаточные соединения и этапы нормализации слоев.

Масштабируемое внимание к точечному произведению

Строительные блоки трансформатора представляют собой масштабированные со скалярным произведением единицы внимания . Для каждой единицы внимания модель преобразователя изучает три весовые матрицы: веса запроса $W_{Q}$, ключевые веса $W_{K}$и веса значений $W_{V}$. За каждый токен $i$, представление входного токена $x_{i}$ умножается на каждую из трех весовых матриц для получения вектора запроса $q_{i}=x_{i}W_{Q}$, ключевой вектор $k_{i}=x_{i}W_{K}$и вектор значений $v_{i}=x_{i}W_{V}$. Веса внимания рассчитываются с использованием запроса и ключевых векторов: вес внимания $a_{ij}$ из токена $i$ жетон $j$ является скалярным произведением между $q_{i}$ и $k_{j}$. Веса внимания делятся на квадратный корень из размерности ключевых векторов: ${\sqrt {d_{k}}}$, который стабилизирует градиенты во время тренировки, и прошел через softmax , который нормализует веса. Тот факт, что $W_{Q}$ и $W_{K}$ разные матрицы, позволяет вниманию быть несимметричным: если лексема $i$ занимается жетоном $j$ (т.е. $q_{i}\cdot k_{j}$ большой), это не обязательно означает, что токен $j$ займусь жетоном $i$ (т.е. $q_{j}\cdot k_{i}$ может быть небольшим). Выход блока внимания для токена $i$ представляет собой взвешенную сумму векторов значений всех токенов, взвешенных по $a_{ij}$, внимание от токена $i$ к каждому токену.

Вычисление внимания для всех токенов можно выразить как одно большое матричное вычисление с использованием функции softmax , которая полезна для обучения благодаря оптимизации вычислительных матричных операций, позволяющей быстро вычислять матричные операции. Матрицы $Q$, $K$ и $V$ определяются как матрицы, в которых $i$эти строки являются векторами $q_{i}$, $k_{i}$, и $v_{i}$ соответственно. Тогда мы можем представить внимание как

$${\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\end{aligned}}$$

где softmax отсчитывается по горизонтальной оси.

Многоголовое внимание

Один набор $\left(W_{Q},W_{K},W_{V}\right)$ матрицы называются « головой внимания» , и каждый слой модели преобразователя имеет несколько голов внимания. В то время как каждая голова внимания обслуживает токены, которые имеют отношение к каждому токену, несколько голов внимания позволяют модели делать это для разных определений «релевантности». Кроме того, поле влияния, представляющее релевантность, может постепенно расширяться на последующих уровнях. Многие преобразователи внимания кодируют отношения релевантности, значимые для людей. Например, некоторые головы внимания могут сосредоточиться в основном на следующем слове, тогда как другие в основном переключаются с глаголов на их прямые объекты. Вычисления для каждой головки внимания могут выполняться параллельно , что обеспечивает быструю обработку. Выходные данные слоя внимания объединяются для передачи в слои нейронной сети прямой связи .

Конкретно, пусть множественные головы внимания индексируются $i$, тогда мы имеем $${\text{MultiheadedAttention}}(Q,K,V)={\text{Concat}}_{i\in [\#heads]}({\text{Attention}}(XW_{i}^{Q},XW_{i}^{K},XW_{i}^{V}))W^{O}$$ где матрица $X$ представляет собой конкатенацию вложений слов и матриц $W_{i}^{Q},W_{i}^{K},W_{i}^{V}$ являются «проекционными матрицами», принадлежащими голове индивидуального внимания $i$, и $W^{O}$ — это окончательная проекционная матрица, принадлежащая всей многоголовой голове внимания.

Замаскированное внимание

Возможно, потребуется вырезать связи внимания между некоторыми парами слов. Например, декодер при декодировании позиции токена $t$, не должен иметь доступа к токену в позиции $t+1$. Это можно сделать до этапа softmax, добавив матрицу маски. $M$ то есть $-\infty$ в записях, где необходимо отключить ссылку внимания, и $0$ в других местах: $${\begin{aligned}{\text{MaskedAttention}}(Q,K,V)={\text{softmax}}\left(M+{\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\end{aligned}}$$Например, в авторегрессионном моделировании используется следующая матрица маски: $$M={\begin{bmatrix}0&-\infty &-\infty &\dots &-\infty \\0&0&-\infty &\dots &-\infty \\0&0&0&\dots &-\infty \\\vdots &\vdots &\vdots &\ddots &\vdots \\0&0&0&\dots &0\end{bmatrix}}$$На словах это означает, что каждый токен может обращать внимание на себя и каждый токен до него, но не на любой после него.

Кодер

Каждый кодер состоит из двух основных компонентов: механизма самообслуживания и нейронной сети прямой связи. Механизм самообслуживания принимает входные кодировки от предыдущего кодировщика и взвешивает их соответствие друг другу для создания выходных кодировок. Нейронная сеть с прямой связью дополнительно обрабатывает каждую выходную кодировку индивидуально. Эти выходные кодировки затем передаются следующему кодировщику в качестве входных данных, а также декодерам.

Первый кодер принимает в качестве входных данных позиционную информацию и вложения входной последовательности, а не кодировки. Информация о положении необходима преобразователю для использования порядка последовательности, поскольку никакая другая часть преобразователя не использует ее.

Кодер является двунаправленным. Внимание может быть обращено на токены до и после текущего токена. Токены используются вместо слов для учета многозначности .

Схема синусоидального позиционного кодирования с параметрами $N=10000,d=100$

Позиционное кодирование

Позиционное кодирование — это векторное представление фиксированного размера, которое инкапсулирует относительные позиции токенов в целевой последовательности: оно предоставляет модели преобразователя информацию о том, где находятся слова во входной последовательности.

Позиционное кодирование определяется как функция типа $f:\mathbb {R} \to \mathbb {R} ^{d};d\in \mathbb {Z} ,d>0$, где $d$ является положительным четным целым числом . Полное позиционное кодирование, определенное в оригинальной статье, задается уравнением: $$(f(t)_{2k},f(t)_{2k+1})=(\sin(\theta ),\cos(\theta ))\quad \forall k\in \{0,1,\ldots ,d/2-1\}$$где $\theta ={\frac {t}{r^{k}}},r=N^{2/d}$.

Здесь, $N$ это свободный параметр, который должен быть значительно больше самого большого $k$ это будет введено в функцию позиционного кодирования. В оригинальной статье авторы выбрали $N=10000$.

Функция имеет более простую форму, если ее записать как сложную функцию типа $f:\mathbb {R} \to \mathbb {C} ^{d/2}$$$f(t)=\left(e^{it/r^{k}}\right)_{k=0,1,\ldots ,{\frac {d}{2}}-1}$$где $r=N^{2/d}$.

Основная причина, по которой авторы выбрали ее в качестве функции позиционного кодирования, заключается в том, что она позволяет выполнять сдвиги как линейные преобразования: $$f(t+\Delta t)=\mathrm {diag} (f(\Delta t))f(t)$$где $\Delta t\in \mathbb {R}$ это расстояние, на которое человек хочет переместиться. Это позволяет преобразователю принимать любую закодированную позицию и находить кодировку позиции на n шагов вперед или на n шагов назад путем матричного умножения.

Взяв линейную сумму, любую свертку также можно реализовать как линейные преобразования: $$\sum _{j}c_{j}f(t+\Delta t_{j})=\left(\sum _{j}c_{j}\,\mathrm {diag} (f(\Delta t_{j}))\right)f(t)$$для любых констант $c_{j}$. Это позволяет преобразователю принять любую закодированную позицию и найти линейную сумму закодированных местоположений своих соседей. Эта сумма закодированных позиций, когда она подается в механизм внимания, будет создавать веса внимания для своих соседей, очень похоже на то, что происходит в сверточной нейронной сети языковой модели . По словам автора, «мы предположили, что это позволит модели легко научиться следить за относительным положением».

В типичных реализациях все операции выполняются над действительными числами, а не над комплексными числами, но поскольку комплексное умножение можно реализовать как умножение реальной матрицы 2 на 2 , это всего лишь разница в обозначениях.

Декодер

Каждый декодер состоит из трех основных компонентов: механизма самообслуживания, механизма внимания к кодировкам и нейронной сети прямой связи. Декодер функционирует аналогично кодировщику, но в него вставлен дополнительный механизм внимания, который вместо этого извлекает соответствующую информацию из кодировок, сгенерированных кодировщиками. Этот механизм также можно назвать вниманием кодера-декодера .

Как и первый кодер, первый декодер принимает в качестве входных данных позиционную информацию и внедрения выходной последовательности, а не кодировки. Преобразователь не должен использовать текущий или будущий выходной сигнал для прогнозирования выходного сигнала, поэтому выходная последовательность должна быть частично замаскирована, чтобы предотвратить обратный поток информации. Это позволяет генерировать авторегрессионный текст. Для всех голов внимания внимание не может быть сосредоточено на следующих токенах. За последним декодером следует окончательное линейное преобразование и слой softmax для получения выходных вероятностей по словарю.

Все представители серии OpenAI GPT имеют архитектуру только для декодера.

Терминология

В больших языковых моделях терминология несколько отличается от терминологии, используемой в оригинальной статье Transformer:

• «только кодер»: полный кодер, полный декодер.
• «кодер-декодер»: полный кодер, авторегрессионный декодер.
• «только декодер»: авторегрессионный кодер, авторегрессионный декодер.

Здесь «авторегрессия» означает, что в головку внимания вставляется маска, чтобы обнулить все внимание от одного токена до всех следующих за ним токенов, как описано в разделе «Маскированное внимание».

Обычно языковые модели на основе Transformer делятся на два типа: причинные (или «авторегрессивные») и маскированные. Серия GPT предназначена только для причинной связи и декодера. BERT маскируется и используется только кодировщиком. Серия T5 представляет собой кодер-декодер с полным кодером и авторегрессионным декодером.

Последующая работа

Альтернативные функции активации

Оригинальный трансформатор использует ReLU функцию активации . Были разработаны и другие функции активации, такие как SwiGLU.

Альтернативные позиционные кодировки

Трансформаторы могут использовать другие методы позиционного кодирования, кроме синусоидального.

Веревка

RoPE (поворотно-позиционное встраивание), лучше всего объяснить, рассматривая список двумерных векторов $[(x_{1}^{(1)},x_{1}^{(2)}),(x_{2}^{(1)},x_{2}^{(2)}),(x_{3}^{(1)},x_{3}^{(2)}),...]$. Теперь выберите угол $\theta$. Тогда кодировка RoPE $${\text{RoPE}}{\big (}x_{m}^{(1)},x_{m}^{(2)},m{\big )}={\begin{pmatrix}\cos m\theta &-\sin m\theta \\\sin m\theta &\cos m\theta \end{pmatrix}}{\begin{pmatrix}x_{m}^{(1)}\\x_{m}^{(2)}\\\end{pmatrix}}={\begin{pmatrix}x_{m}^{(1)}\cos m\theta -x_{m}^{(2)}\sin m\theta \\x_{m}^{(2)}\cos m\theta +x_{m}^{(1)}\sin m\theta \\\end{pmatrix}}$$Эквивалентно, если мы запишем двумерные векторы как комплексные числа $z_{m}:=x_{m}^{(1)}+ix_{m}^{(2)}$, то кодирование RoPE — это просто умножение на угол: $${\text{RoPE}}{\big (}z_{m},m{\big )}=e^{im\theta }z_{m}$$Для списка $2n$-мерные векторы, кодер RoPE определяется последовательностью углов $\theta ^{(1)},...,\theta ^{(n)}$. Затем к каждой паре координат применяется кодировка RoPE.

Преимущество RoPE заключается в том, что скалярное произведение между двумя векторами зависит только от их относительного местоположения:

$${\text{RoPE}}{\big (}x,m{\big )}^{T}{\text{RoPE}}{\big (}y,n{\big )}={\text{RoPE}}{\big (}x,m+k{\big )}^{T}{\text{RoPE}}{\big (}y,n+k{\big )}$$для любого целого числа $k$.

Алиби

ALiBi (Внимание с линейными смещениями) не является заменой позиционного энкодера оригинального трансформатора. Вместо этого это дополнительный позиционный энкодер, который напрямую подключается к механизму внимания. В частности, механизм внимания ALiBi $${\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}+sB\right)V\end{aligned}}$$Здесь, $s$ является действительным числом («скаляром»), и $B$ - матрица линейного смещения, определяемая формулой $$B={\begin{pmatrix}0&1&2&3&\cdots \\-1&0&1&2&\cdots \\-2&-1&0&1&\cdots \\-3&-2&-1&0&\cdots \\\vdots &\vdots &\vdots &\vdots &\ddots \\\end{pmatrix}}$$другими словами, $B_{i,j}=j-i$.

ALiBi позволяет выполнять предварительное обучение в коротких контекстных окнах, а затем выполнять точную настройку в более длинных контекстных окнах. Поскольку он напрямую подключается к механизму внимания, его можно комбинировать с любым позиционным энкодером, который подключается в «низ» всей сети (именно там находится синусоидальный энкодер на оригинальном трансформаторе, а также RoPE и многие другие, находятся).

Кодирование относительного положения

Кодирование относительного положения похож на ALiBi, но более общий: $${\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}+B\right)V\end{aligned}}$$где $B$ является матрицей Теплица , т. е. $B_{i,j}=B_{i',j'}$ в любое время $i-j=i'-j'$.

Эффективная реализация

FlashAttention

FlashAttention — это алгоритм, который эффективно реализует механизм внимания трансформатора на графическом процессоре. Он выполняет умножение матриц в блоках , так что каждый блок помещается в кэш графического процессора, и за счет тщательного управления блоками минимизирует копирование данных между кэшами графического процессора (поскольку перемещение данных происходит медленно).

Улучшенная версия FlashAttention-2. был разработан для удовлетворения растущего спроса на языковые модели, способные обрабатывать контексты большей длины. Он предлагает усовершенствования в разделении работы и параллелизме, что позволяет ему достигать производительности до 230 терафлопс/с на графических процессорах A100 ( FP16 / BF16 ), что в 2 раза превышает скорость исходного FlashAttention.

Ключевые достижения в FlashAttention-2 включают сокращение количества FLOP, не относящихся к Matmul, улучшенный параллелизм по измерению длины последовательности, лучшее разделение работы между деформациями графического процессора, а также добавленную поддержку размеров головы до 256, а также внимания к нескольким запросам (MQA) и группировки. запрос внимания (GQA).

Тесты показали, что FlashAttention-2 работает до 2 раз быстрее, чем FlashAttention, и до 9 раз быстрее, чем стандартная реализация внимания в PyTorch. Будущие разработки включают оптимизацию для нового оборудования, такого как графические процессоры H100 , и новых типов данных, таких как FP8.

Внимание к множественным запросам

Многозапросное внимание изменяет механизм многоголового внимания. В то время как обычно,

$${\text{MultiheadedAttention}}(Q,K,V)={\text{Concat}}_{i\in [\#heads]}\left({\text{Attention}}(XW_{i}^{Q},XW_{i}^{K},XW_{i}^{V})\right)W^{O}$$с вниманием к множественным запросам есть только один $W^{K},W^{V}$, таким образом:

$${\text{MultiQueryAttention}}(Q,K,V)={\text{Concat}}_{i\in [\#heads]}\left({\text{Attention}}(XW_{i}^{Q},XW^{K},XW^{V})\right)W^{O}$$

Это нейтрально влияет на качество модели и скорость обучения, но увеличивает скорость вывода.

Кэширование

Когда для вывода, например для генерации текста, используется авторегрессионный преобразователь, вектор запроса различен на каждом этапе, но уже вычисленные векторы ключа и значения всегда одинаковы. Метод кэширования KV сохраняет вычисленные векторы ключа и значения в каждом блоке внимания, чтобы они не вычислялись повторно при каждом новом токене. PagedAttention применяет подкачку памяти к кэшированию KV.

Если преобразователь используется со встроенным приглашением, например ["Вы агент службы поддержки клиентов..."], то векторы ключа и значения могут быть вычислены для приглашения и сохранены на диске. Экономия вычислительных ресурсов значительна, когда модель используется для множества коротких взаимодействий, например, в онлайн-чат-ботах.

Спекулятивное декодирование

Трансформаторы используются в больших языковых моделях для генерации авторегрессионных последовательностей: генерации потока текста по одному токену за раз. Однако в большинстве случаев декодирование языковых моделей ограничено памятью, а это означает, что у нас есть свободная вычислительная мощность. Спекулятивное декодирование использует эту свободную вычислительную мощность, параллельно вычисляя несколько токенов. Подобно спекулятивному исполнению в процессорах, будущие токены вычисляются одновременно, предполагая значение предыдущих токенов, а затем отбрасываются, если оказывается, что предположение было неверным.

В частности, рассмотрим модель преобразователя, такую ​​​​как GPT-3, с размером контекстного окна 512. Чтобы сгенерировать все контекстное окно авторегрессионно с жадным декодированием, его необходимо запустить 512 раз, каждый раз генерируя токен. $x_{1},x_{2},...,x_{512}$. Однако, если бы у нас было какое-то обоснованное предположение о значениях этих токенов, мы могли бы проверить их все параллельно, за один прогон модели, проверив, что каждый $x_{t}$ действительно является токеном с наибольшей логарифмической вероятностью в $t$-ый вывод.

При спекулятивном декодировании меньшая модель или какая-либо другая простая эвристика используется для генерации нескольких спекулятивных токенов, которые впоследствии проверяются более крупной моделью. Например, предположим, что небольшая модель сгенерировала четыре спекулятивных токена: ${\tilde {x_{1}}},{\tilde {x_{2}}},{\tilde {x_{3}}},{\tilde {x_{4}}}$. Эти токены проходят через более крупную модель, и только ${\tilde {x_{1}}}$ и ${\tilde {x_{2}}}$ принимаются. Тот же запуск большой модели уже сгенерировал новый токен. $x_{3}$ заменить ${\tilde {x_{3}}}$, и ${\tilde {x_{4}}}$ полностью отбрасывается. Затем процесс повторяется (начиная с 4-го токена), пока не будут сгенерированы все токены.

Для нежадного декодирования применяются аналогичные идеи, за исключением того, что спекулятивные токены принимаются или отклоняются стохастически, таким образом, чтобы гарантировать, что окончательное распределение выходных данных будет таким же, как если бы спекулятивное декодирование не использовалось.

Субквадратичные трансформаторы

Обучение архитектуры на основе трансформатора может быть дорогостоящим, особенно для длинных входных сигналов. Альтернативные архитектуры включают Reformer (который снижает вычислительную нагрузку от $O(N^{2})$ к $O(N\ln N)$), или такие модели, как ETC/BigBird (которые могут свести его к $O(N)$) где $N$ длина последовательности. Это делается с использованием локально-зависимого хеширования и обратимых слоев.

Обычным преобразователям требуется объем памяти, квадратичный по размеру контекстного окна. Трансформаторы без внимания свести это к линейной зависимости, сохранив при этом преимущества преобразователя, привязав ключ к значению.

Дальняя арена (2020) является стандартным эталоном для сравнения поведения архитектур трансформаторов при длинных входных сигналах.

Случайное внимание (2021) использует случайные функции Фурье : $$\varphi (x)={\frac {1}{\sqrt {D}}}[\cos \langle w_{1},x\rangle ,\sin \langle w_{1},x\rangle ,\cdots \cos \langle w_{D},x\rangle ,\sin \langle w_{D},x\rangle ]^{T}$$где $w_{1},...,w_{D}$ являются независимыми выборками из нормального распределения $N(0,\sigma ^{2}I)$. Такой выбор параметров удовлетворяет $\mathbb {E} [\langle \varphi (x),\varphi (y)\rangle ]=e^{-{\frac {\|x-y\|^{2}}{2\sigma ^{2}}}}$, или $$e^{\langle x,y\rangle /\sigma ^{2}}=\mathbb {E} [\langle e^{\|x\|^{2}/2\sigma ^{2}}\varphi (x),e^{\|y\|^{2}/2\sigma ^{2}}\varphi (y)\rangle ]\approx \langle e^{\|x\|^{2}/2\sigma ^{2}}\varphi (x),e^{\|y\|^{2}/2\sigma ^{2}}\varphi (y)\rangle$$Следовательно, однонаправленное внимание с одним запросом можно записать как $${\text{Attention}}(q,K,V)={\text{softmax}}\left({\frac {qK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\approx {\frac {\varphi (q)^{T}\sum _{i}e^{\|k_{i}\|^{2}/2\sigma ^{2}}\varphi (k_{i})v_{i}^{T}}{\varphi (q)^{T}\sum _{i}e^{\|k_{i}\|^{2}/2\sigma ^{2}}\varphi (k_{i})}}$$где $\sigma =d_{K}^{1/4}$. Аналогично для множественных запросов и многонаправленного внимания.

Это приближение можно вычислить за линейное время, поскольку мы можем вычислить матрицу $\varphi (k_{i})v_{i}^{T}$ сначала, затем умножьте его на запрос. По сути, нам удалось получить более точную версию $${\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\approx Q(K^{T}V/{\sqrt {d_{k}}})$$

Исполнитель (2022) использует то же случайное внимание к функциям, но $w_{1},...,w_{D}$ сначала независимо выбираются из нормального распределения $N(0,\sigma ^{2}I)$, затем они обрабатываются по Граму-Шмидту .

Мультимодальность

Трансформеры также можно использовать/адаптировать для модальностей (ввода или вывода), помимо текста, обычно путем поиска способа «токенизации» модальности.

Трансформаторы зрения адаптируйте преобразователь к компьютерному зрению, разбивая входные изображения на ряд фрагментов, превращая их в векторы и обрабатывая их как токены в стандартном преобразователе.

Конформер и позже Шепот следуйте той же схеме для распознавания речи , сначала превращая речевой сигнал в спектрограмму , которая затем обрабатывается как изображение, т.е. разбивается на серию патчей, превращается в векторы и обрабатывается как токены в стандартном преобразователе.

Воспринимающие , Эндрю Джегл и др. (2021) могут учиться на больших объемах разнородных данных.

Что касается изображений вывода , Пиблс и др. представили диффузионный преобразователь (DiT), который облегчает использование архитектуры преобразователя для создания изображений на основе диффузии . Кроме того, Google выпустила генератор изображений, ориентированный на трансформатор, под названием «Muse», основанный на технологии параллельного декодирования и генеративного преобразователя в масках. (Трансформеры играли менее центральную роль в предшествующих технологиях создания изображений. хотя и все равно значительный. )

См. также

• Perceiver - алгоритм машинного обучения для нетекстовых данных.
• BERT (языковая модель) – языковая модель, разработанная Google.
• GPT-3 — модель языка генерации текста 2020 года.
• GPT-4 – модель языка генерации текста 2023 г.
• ChatGPT — чат-бот и виртуальный помощник, разработанный OpenAI.
• У Дао - китайская мультимодальная программа искусственного интеллекта
• Трансформатор зрения — алгоритм машинного обучения для обработки изображений
• BLOOM (языковая модель) – многоязычная языковая модель открытого доступа.

Дальнейшее чтение

• Александр Раш, Трансформатор с аннотациями. Архивировано 22 сентября 2021 г. в Wayback Machine , Гарвардская группа НЛП, 3 апреля 2018 г.
• Фуонг, Мэри; Хаттер, Маркус (2022). «Формальные алгоритмы трансформаторов». arXiv : 2207.09238 [ cs.LG ].
• Феррандо, Хавьер; Сарти, Габриэле; Бисацца, Арианна; Коста-Хусса, Марта Р. (1 мая 2024 г.). «Букварь по внутренней работе языковых моделей на основе преобразователей». arXiv : 2405.00208 [ cs.CL ].
• Хуберт Рамзауэр и др. (2020), «Hopfield Networks — это все, что вам нужно». Архивировано 18 сентября 2021 г. в Wayback Machine , препринт представлен для ICLR 2021. arXiv : 2008.02217 ; авторов. см. также блог Архивировано 18 сентября 2021 г. на Wayback Machine.

– Обсуждение эффекта слоя преобразователя как эквивалента обновления Хопфилда, приближающего входные данные к одной из фиксированных точек (представимых шаблонов) непрерывной сети Хопфилда.