Трансформатор (архитектура глубокого обучения)

«Архитектура-трансформер» перенаправляется сюда. Для проектирования электрических трансформаторов см. Трансформатор .

Трансформатор , — это архитектура глубокого обучения разработанная Google и основанная на механизме многоголового внимания , предложенном в статье 2017 года « Внимание — это все, что вам нужно ». Текст преобразуется в числовые представления, называемые токенами , и каждый токен преобразуется в вектор путем поиска в таблице встраивания слов . На каждом уровне каждый токен затем контекстуализируется в пределах контекстного окна с другими (немаскированными) токенами с помощью параллельного с несколькими головками механизма внимания , позволяющего усиливать сигнал для ключевых токенов и уменьшать менее важные токены. Статья-трансформер, опубликованная в 2017 году, основана на механизме внимания на основе softmax, предложенном Богданау и др. ал. в 2014 году по машинному переводу , и быстрый контроллер веса, похожий на трансформатор, предложенный в 1992 году.

Преимущество трансформаторов состоит в том, что они не имеют повторяющихся единиц и, следовательно, требуют меньше времени на обучение, чем предыдущие рекуррентные нейронные архитектуры , такие как длинная кратковременная память (LSTM), и его более поздняя вариация была широко принята для обучения больших языковых моделей (LLM) на больших (языковых) наборах данных, таких как Википедии корпус и Common Crawl .

Эта архитектура сейчас используется не только в обработке естественного языка и компьютерном зрении , но и в аудио и мультимодальная обработка. Это также привело к разработке предварительно обученных систем , таких как генеративные предварительно обученные преобразователи (GPT). и БЕРТ (Представления двунаправленного кодера от трансформаторов).

Хронология моделей обработки естественного языка

Хронология

• В 1990 году сеть Элмана , используя рекуррентную нейронную сеть , закодировала каждое слово в обучающем наборе как вектор, называемый встраиванием слов , и весь словарь как векторную базу данных , что позволило ей выполнять такие задачи, как прогнозирование последовательности, которые не по силам простому многослойному перцептрону . Недостатком статических вложений было то, что они не различали несколько значений слов с одинаковым написанием.
• опубликовал книгу «Быстрый контроллер веса» В 1992 году Юрген Шмидхубер . Он учится отвечать на запросы, программируя веса внимания другой нейронной сети через внешние произведения ключевых векторов и векторов значений, называемых ОТ и ТО. Позже было показано, что быстрый контроллер веса эквивалентен ненормализованному линейному трансформатору. Терминология «обучение внутренним фокусам внимания» была введена в 1993 году.
• В 1993 году модели выравнивания IBM использовались для статистического машинного перевода .
• В 1997 году был предложен предшественник большой языковой модели, использующий рекуррентные нейронные сети , такие как долгосрочная кратковременная память .
• слов был использован большой текстовый корпус объемом в один миллиард слов, взятый из Интернета, который в то время назывался «очень-очень большим» В 2001 году для устранения неоднозначности .
• В 2012 году AlexNet продемонстрировала эффективность больших нейронных сетей для распознавания изображений, поощряя использование больших искусственных нейронных сетей вместо старых статистических подходов.
• с 380 млн параметров модель seq2seq для машинного перевода с использованием двух сетей с длинной краткосрочной памятью ( LSTM ). В 2014 году Суцкевер и др. предложили Архитектура состоит из двух частей. Кодер — это LSTM, который принимает последовательность токенов и превращает ее в вектор. Декодер — это еще один LSTM, который преобразует вектор в последовательность токенов.
• В 2014 году стробирование оказалось полезным в модели seq2seq со 130 млн параметров , в которой использовались упрощенные вентилируемые рекуррентные единицы (GRU). Богданау и др. показали, что GRU не лучше и не хуже закрытых LSTM.
• В 2014 году Богданов и др. улучшил предыдущую модель seq2seq, используя «аддитивный» механизм внимания между двумя сетями LSTM. Однако это еще не был тот тип внимания, который можно распараллелить (масштабируемое «скалярное произведение»), позже предложенный в статье о трансформаторе 2017 года.
• В 2015 году относительная производительность архитектур моделей глобального и локального (оконного) внимания была оценена Луонгом и др.: было обнаружено, что архитектура смешанного внимания улучшает переводы, предлагаемые архитектурой Богданау, в то время как использование архитектуры локального внимания сокращает время перевода.
• В 2016 году Google Translate постепенно заменил старый подход статистического машинного перевода новым подходом, основанным на нейронных сетях , который включал модель seq2seq в сочетании с LSTM и «аддитивным» механизмом внимания. Они достигли более высокого уровня производительности, чем статистический подход, на разработку которого ушло десять лет, всего за девять месяцев.
• В 2017 году оригинальная (размером 100 М) модель преобразователя кодер-декодер с более быстрым (распараллеливаемым или разложимым) механизмом внимания была предложена в статье « Внимание — это все, что вам нужно ». Поскольку у модели были трудности со сходимостью, было предложено линейно масштабировать скорость обучения от 0 до максимального значения для первой части обучения (т. е. 2% от общего количества шагов обучения). Цель модели-трансформера состоит в том, чтобы взять модель seq2seq и удалить ее рекуррентные нейронные сети, но сохранить ее механизм аддитивного внимания.
• В 2018 году в статье ELMo все предложение было обработано, прежде чем каждому слову в предложении был присвоен вектор внедрения. Для расчета таких глубоко контекстуализированных вложений для каждого слова использовался двунаправленный LSTM, что улучшило направление исследований, проведенное на основе Bag of Words и word2vec .
• (размером более 1B) использовался преобразователь только для энкодера В 2018 году в модели BERT , что усовершенствовало ELMo.
• В 2020 году трансформер зрения и преобразователь с расширенной сверткой для обработки речи превзошли рекуррентные нейронные сети , ранее использовавшиеся для зрения и речи.
• В 2020 году трудности с конвергенцией исходного преобразователя были решены за счет нормализации слоев до (а не после) многоголового внимания Сюн и др. Это называется предварительным трансформатором LN.
• В 2023 году однонаправленные («авторегрессивные») трансформаторы использовались в GPT-3 (размером более 100B) и других моделях OpenAI GPT .

Предшественники

До трансформаторов в закрытые рекуррентные нейронные сети были добавлены предшественники механизма внимания , такие как LSTM и закрытые рекуррентные единицы (GRU), которые обрабатывали наборы данных последовательно. Зависимость от предыдущих вычислений токенов не позволила им распараллелить механизм внимания. В 1992 году быстрый контроллер веса был предложен в качестве альтернативы рекуррентным нейронным сетям, способным обучаться «внутренним прожекторам внимания». Теоретически информация от одного токена может распространяться сколь угодно далеко вниз по последовательности, но на практике проблема исчезающего градиента оставляет состояние модели в конце длинного предложения без точной, извлекаемой информации о предыдущих токенах.

Производительность старых моделей была улучшена за счет добавления механизма внимания, который позволял модели получать доступ к любой предыдущей точке последовательности. Уровень внимания взвешивает все предыдущие состояния в соответствии с изученной мерой релевантности, предоставляя соответствующую информацию об удаленных токенах. Это оказалось особенно полезным при языковом переводе , где отдаленный контекст может иметь решающее значение для значения слова в предложении. Вектор состояния стал доступен только после того, как было обработано последнее английское слово во время, например, перевода его с французского с помощью модели LSTM. Хотя теоретически такой вектор сохраняет информацию обо всем исходном предложении, на практике информация сохраняется плохо. Если добавляется механизм внимания, декодеру предоставляется доступ к векторам состояния каждого входного слова, а не только последнего, и он может узнать веса внимания, которые определяют, сколько внимания уделять каждому входному вектору состояния. Дополнение моделей seq2seq механизмом внимания было впервые реализовано в контексте машинного перевода Богданау, Чо и Бенджио в 2014 году.

Разложимое внимание

В 2016 году высокораспараллеливаемое разлагаемое внимание было успешно объединено с сетью прямой связи . Это указывало на то, что механизмы внимания сами по себе мощные и что последовательная рекуррентная обработка данных не является необходимой для достижения повышения качества рекуррентных нейронных сетей с вниманием. В 2017 году Васвани и др. также предложил заменить рекуррентные нейронные сети самообслуживанием и начал попытки оценить эту идею. Трансформаторы, используя механизм внимания, обрабатывая все токены одновременно, вычисляли «мягкие» веса между ними в последовательных слоях. Поскольку механизм внимания использует информацию только о других токенах из нижних уровней, ее можно вычислять для всех токенов параллельно, что приводит к повышению скорости обучения.

Обучение

Методы стабилизации тренировок

Простая архитектура трансформатора с трудом сходилась. В оригинальной статье авторы рекомендовали использовать прогрев скорости обучения. То есть скорость обучения должна линейно увеличиваться от 0 до максимального значения для первой части обучения (обычно рекомендуется составлять 2% от общего количества шагов обучения), а затем снова снижаться.

В статье 2020 года было обнаружено, что использование нормализации слоев до (а не после) слоев многоголового внимания и прямой связи стабилизирует обучение, не требуя повышения скорости обучения.

Предварительная настройка

Трансформаторы обычно проходят самостоятельное обучение , включающее предварительную подготовку без присмотра с последующей контролируемой точной настройкой . Предварительное обучение обычно выполняется на большем наборе данных, чем точная настройка, из-за ограниченной доступности помеченных обучающих данных. Задачи по предварительному обучению и тонкой настройке обычно включают в себя:

• языковое моделирование
• предсказание следующего предложения
• ответ на вопрос
• понимание прочитанного
• анализ настроений
• перефразируя

Бумага-трансформер Т5. документирует большое количество предтренировочных задач. Некоторые примеры:

• восстановление поврежденного текста: Thank you <X> me to your party <Y> week. -> <X> for inviting <Y> last <Z> где <Z> означает «конец вывода».
• перевод: translate English to German: That is good. -> Das ist gut..
• оценка грамматической приемлемости предложения ( предложение CoLA ): The course is jumping well. -> not acceptable .

Приложения

Трансформатор добился больших успехов в обработке естественного языка (НЛП), например, в задачах машинного перевода и прогнозирования временных рядов . Многие большие языковые модели, такие как GPT-2 , GPT-3 , GPT-4 , Claude , BERT , XLNet, RoBERTa и ChatGPT, демонстрируют способность преобразователей выполнять широкий спектр таких задач, связанных с НЛП, и имеют потенциал для поиска реальные приложения. Они могут включать в себя:

• машинный перевод
• обобщение документов
• создание документов
• распознавание названного объекта (NER)
• анализ биологической последовательности
• написание компьютерного кода на основе требований, выраженных на естественном языке.
• видео понимание .

Помимо приложений НЛП, он также добился успеха в других областях, таких как компьютерное зрение или приложения для сворачивания белков (например, AlphaFold ).

В качестве наглядного примера можно привести Ithaca — преобразователь только для энкодера с тремя выходными головками. В качестве входных данных принимается древнегреческая надпись в виде последовательности символов, но с заменой неразборчивых символов на «-». Его три выходные головки соответственно выводят распределения вероятностей по греческим символам, местоположению надписи и дате надписи.

Реализации

Модель преобразователя реализована в стандартных средах глубокого обучения, таких как TensorFlow и PyTorch .

Transformers — это библиотека, созданная Hugging Face , которая предоставляет архитектуры на основе трансформаторов и предварительно обученные модели.

Архитектура

Иллюстрация основных компонентов модели трансформатора из оригинальной статьи, где нормализация слоев выполнялась после многоголового внимания. В статье 2020 года было обнаружено, что размещение нормализации слоя перед многоголовым вниманием (а не после него) улучшает стабильность обучения. .

Все трансформаторы имеют одинаковые первичные компоненты:

• Токенизаторы, которые преобразуют текст в токены.
• Один слой внедрения, который преобразует токены и позиции токенов в векторные представления.
• Слои преобразователей, которые выполняют повторяющиеся преобразования векторных представлений, извлекая все больше и больше лингвистической информации. Они состоят из чередующихся слоев внимания и прямой связи.
• (необязательно) Слой отмены внедрения, который преобразует окончательные векторные представления обратно в распределение вероятностей по токенам.

Слои трансформатора могут быть одного из двух типов: кодировщика и декодера . В оригинальной статье использовались оба они, тогда как более поздние модели включали только один из них. BERT — пример модели только для кодировщика; GPT — это модели только для декодера.

Ввод

Входной текст анализируется на токены с помощью токенизатора, чаще всего кодирующего пару байтов токенизатора, , и каждый токен преобразуется в вектор посредством поиска в таблице встраивания слов . Затем к встраиванию слова добавляется позиционная информация токена.

Архитектура кодировщика-декодера

Как и более ранние модели seq2seq , исходная модель трансформатора использовала архитектуру кодер-декодер . Кодер состоит из слоев кодирования, которые итеративно обрабатывают входные токены один уровень за другим, а декодер состоит из слоев декодирования, которые итеративно обрабатывают выходные данные кодера, а также выходные токены декодера.

Функция каждого уровня кодера заключается в создании контекстуализированных представлений токенов, где каждое представление соответствует токену, который «смешивает» информацию из других входных токенов через механизм самообслуживания. Каждый уровень декодера содержит два подуровня внимания: (1) перекрестное внимание для включения выходных данных кодера (контекстуализированные входные представления токенов) и (2) самовнимание для «смешивания» информации между входными токенами в декодер (т. е. токены, сгенерированные на данный момент во время вывода).

И уровни кодера, и декодера имеют нейронную сеть прямого распространения для дополнительной обработки выходных данных и содержат остаточные соединения и этапы нормализации слоев.

к точечному

Строительные блоки трансформатора представляют собой масштабированные со скалярным произведением единицы внимания . Для каждой единицы внимания модель преобразователя изучает три весовые матрицы: веса запроса $W_{Q}$, ключевые веса $W_{K}$и веса значений $W_{V}$. За каждый токен $i$, представление входного токена $x_{i}$ умножается на каждую из трех весовых матриц для получения вектора запроса $q_{i}=x_{i}W_{Q}$, ключевой вектор $k_{i}=x_{i}W_{K}$и вектор значений $v_{i}=x_{i}W_{V}$. Веса внимания рассчитываются с использованием запроса и ключевых векторов: вес внимания $a_{ij}$ из токена $i$ жетон $j$ является скалярным произведением между $q_{i}$ и $k_{j}$. Веса внимания делятся на квадратный корень из размерности ключевых векторов: ${\sqrt {d_{k}}}$, который стабилизирует градиенты во время тренировки, и прошел через softmax , который нормализует веса. Тот факт, что $W_{Q}$ и $W_{K}$ разные матрицы, позволяет вниманию быть несимметричным: если лексема $i$ занимается жетоном $j$ (т.е. $q_{i}\cdot k_{j}$ велик), это не обязательно означает, что токен $j$ займусь жетоном $i$ (т.е. $q_{j}\cdot k_{i}$ может быть небольшим). Выход блока внимания для токена $i$ представляет собой взвешенную сумму векторов значений всех токенов, взвешенных по $a_{ij}$, внимание от токена $i$ к каждому токену.

Вычисление внимания для всех токенов можно выразить как одно большое матричное вычисление с использованием функции softmax , которая полезна для обучения благодаря оптимизации вычислительных матричных операций, позволяющей быстро вычислять матричные операции. Матрицы $Q$, $K$ и $V$ определяются как матрицы, в которых $i$эти строки являются векторами $q_{i}$, $k_{i}$, и $v_{i}$ соответственно. Тогда мы можем представить внимание как

$${\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\end{aligned}}$$

где softmax отсчитывается по горизонтальной оси.

Многоголовое внимание

Один набор $\left(W_{Q},W_{K},W_{V}\right)$ матрицы называются « головой внимания» , и каждый слой модели преобразователя имеет несколько голов внимания. В то время как каждая голова внимания обслуживает токены, которые имеют отношение к каждому токену, несколько голов внимания позволяют модели делать это для разных определений «релевантности». Кроме того, поле влияния, представляющее релевантность, может постепенно расширяться на последующих уровнях. Многие преобразователи внимания кодируют отношения релевантности, значимые для людей. Например, некоторые головы внимания могут сосредоточиться в основном на следующем слове, тогда как другие в основном переключаются с глаголов на их прямые объекты. Вычисления для каждой головы внимания могут выполняться параллельно , что обеспечивает быструю обработку. Выходные данные слоя внимания объединяются для передачи в слои нейронной сети прямой связи .

Конкретно, пусть множественные головы внимания индексируются $i$, тогда мы имеем

$${\text{MultiheadedAttention}}(Q,K,V)={\text{Concat}}_{i\in [\#heads]}({\text{Attention}}(XW_{i}^{Q},XW_{i}^{K},XW_{i}^{V}))W^{O}$$

где матрица $X$ представляет собой конкатенацию вложений слов и матриц $W_{i}^{Q},W_{i}^{K},W_{i}^{V}$ являются «проекционными матрицами», принадлежащими голове индивидуального внимания $i$, и $W^{O}$ — это конечная проекционная матрица, принадлежащая всей многоголовой голове внимания.

Замаскированное внимание

Возможно, потребуется вырезать связи внимания между некоторыми парами слов. Например, декодер позиции токена $t$ не должен иметь доступа к позиции токена $t+1$. Это можно сделать до этапа softmax, добавив матрицу маски. $M$ то есть $-\infty$ в записях, где необходимо отключить ссылку внимания, и $0$ в других местах:

$${\begin{aligned}{\text{MaskedAttention}}(Q,K,V)={\text{softmax}}\left(M+{\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\end{aligned}}$$

Например, в авторегрессионном моделировании используется следующая матрица маски:

$$M={\begin{bmatrix}0&-\infty &-\infty &\dots &-\infty \\0&0&-\infty &\dots &-\infty \\0&0&0&\dots &-\infty \\\vdots &\vdots &\vdots &\ddots &\vdots \\0&0&0&\dots &0\end{bmatrix}}$$

На словах это означает, что каждый токен может обращать внимание на себя и каждый токен до него, но не на любой после него.

Кодер

Каждый кодер состоит из двух основных компонентов: механизма самообслуживания и нейронной сети прямой связи. Механизм самообслуживания принимает входные кодировки от предыдущего кодировщика и взвешивает их соответствие друг другу для создания выходных кодировок. Нейронная сеть с прямой связью дополнительно обрабатывает каждую выходную кодировку индивидуально. Эти выходные кодировки затем передаются следующему кодировщику в качестве входных данных, а также декодерам.

Первый кодер принимает в качестве входных данных позиционную информацию и вложения входной последовательности, а не кодировки. Информация о положении необходима преобразователю для использования порядка последовательности, поскольку никакая другая часть преобразователя не использует ее.

Кодер является двунаправленным. Внимание может быть обращено на токены до и после текущего токена. Токены используются вместо слов для учета многозначности .

Схема синусоидального позиционного кодирования с параметрами $N=10000,d=100$

Позиционное кодирование

Позиционное кодирование — это векторное представление фиксированного размера, которое инкапсулирует относительные позиции токенов в целевой последовательности: оно предоставляет модели преобразователя информацию о том, где находятся слова во входной последовательности.

Позиционное кодирование определяется как функция типа $f:\mathbb {R} \to \mathbb {R} ^{d};d\in \mathbb {Z} ,d>0$, где $d$ является положительным четным целым числом . Полное позиционное кодирование, определенное в оригинальной статье, задается уравнением:

$$(f(t)_{2k},f(t)_{2k+1})=(\sin(\theta ),\cos(\theta ))\quad \forall k\in \{0,1,\ldots ,d/2-1\}$$

где $\theta ={\frac {t}{r^{k}}},r=N^{2/d}$.

Здесь, $N$ это свободный параметр, который должен быть значительно больше самого большого $k$ это будет введено в функцию позиционного кодирования. В оригинальной статье авторы выбрали $N=10000$.

Функция имеет более простую форму, если ее записать как сложную функцию типа $f:\mathbb {R} \to \mathbb {C} ^{d/2}$

$$f(t)=\left(e^{it/r^{k}}\right)_{k=0,1,\ldots ,{\frac {d}{2}}-1}$$

где $r=N^{2/d}$.

Основная причина, по которой авторы выбрали ее в качестве функции позиционного кодирования, заключается в том, что она позволяет выполнять сдвиги как линейные преобразования:

$$f(t+\Delta t)=\mathrm {diag} (f(\Delta t))f(t)$$

где $\Delta t\in \mathbb {R}$ это расстояние, на которое человек хочет переместиться. Это позволяет преобразователю принимать любую закодированную позицию и находить кодировку позиции на n шагов вперед или на n шагов назад путем матричного умножения.

Взяв линейную сумму, любую свертку также можно реализовать как линейные преобразования:

$$\sum _{j}c_{j}f(t+\Delta t_{j})=\left(\sum _{j}c_{j}\,\mathrm {diag} (f(\Delta t_{j}))\right)f(t)$$

для любых констант $c_{j}$. Это позволяет преобразователю принять любую закодированную позицию и найти линейную сумму закодированных местоположений своих соседей. Эта сумма закодированных позиций, когда она подается в механизм внимания, будет создавать веса внимания для своих соседей, очень похоже на то, что происходит в сверточной нейронной сети языковой модели . По словам автора, «мы предположили, что это позволит модели легко научиться следить за относительным положением».

В типичных реализациях все операции выполняются над действительными числами, а не над комплексными числами, но поскольку комплексное умножение можно реализовать как умножение реальной матрицы 2 на 2 , это всего лишь разница в обозначениях.

Декодер

Каждый декодер состоит из трех основных компонентов: механизма самоконтроля, механизма внимания к кодировкам и нейронной сети прямой связи. Декодер функционирует аналогично кодировщику, но в него вставлен дополнительный механизм внимания, который вместо этого извлекает соответствующую информацию из кодировок, сгенерированных кодировщиками. Этот механизм также можно назвать вниманием кодера-декодера .

Как и первый кодер, первый декодер принимает в качестве входных данных позиционную информацию и внедрения выходной последовательности, а не кодировки. Преобразователь не должен использовать текущий или будущий выходной сигнал для прогнозирования выходного сигнала, поэтому выходная последовательность должна быть частично замаскирована, чтобы предотвратить обратный поток информации. Это позволяет генерировать авторегрессионный текст. Для всех голов внимания внимание не может быть сосредоточено на следующих токенах. За последним декодером следует окончательное линейное преобразование и слой softmax для получения выходных вероятностей по словарю.

Все члены серии OpenAI GPT имеют архитектуру только для декодера.

Терминология

В больших языковых моделях терминология несколько отличается от терминологии, использованной в оригинальной статье Transformer:

• «только кодер»: полный кодер, полный декодер.
• «кодер-декодер»: полный кодер, авторегрессионный декодер.
• «только декодер»: авторегрессионный кодер, авторегрессионный декодер.

Здесь «авторегрессия» означает, что в головку внимания вставляется маска, чтобы обнулить все внимание от одного токена до всех следующих за ним токенов, как описано в разделе «Маскированное внимание».

Обычно языковые модели на основе Transformer делятся на два типа: причинные (или «авторегрессивные») и маскированные. Серия GPT предназначена только для причинной связи и декодера. BERT маскируется и используется только кодировщиком. Серия T5 представляет собой кодер-декодер с полным кодером и авторегрессионным декодером.

Последующая работа

Альтернативные функции активации

Оригинальный трансформатор использует ReLU функцию активации . Были разработаны и другие функции активации, такие как SwiGLU.

Альтернативные позиционные кодировки

Трансформаторы могут использовать другие методы позиционного кодирования, кроме синусоидального.

РОПЭ

RoPE (поворотно-позиционное встраивание), лучше всего объяснить, рассматривая список двумерных векторов $[(x_{1}^{(1)},x_{1}^{(2)}),(x_{2}^{(1)},x_{2}^{(2)}),(x_{3}^{(1)},x_{3}^{(2)}),...]$. Теперь выберите угол $\theta$. Тогда кодировка RoPE

$${\text{RoPE}}{\big (}x_{m}^{(1)},x_{m}^{(2)},m{\big )}={\begin{pmatrix}\cos m\theta &-\sin m\theta \\\sin m\theta &\cos m\theta \end{pmatrix}}{\begin{pmatrix}x_{m}^{(1)}\\x_{m}^{(2)}\\\end{pmatrix}}={\begin{pmatrix}x_{m}^{(1)}\cos m\theta -x_{m}^{(2)}\sin m\theta \\x_{m}^{(2)}\cos m\theta +x_{m}^{(1)}\sin m\theta \\\end{pmatrix}}$$

Эквивалентно, если мы запишем двумерные векторы как комплексные числа $z_{m}:=x_{m}^{(1)}+ix_{m}^{(2)}$, то кодирование RoPE — это просто умножение на угол:

$${\text{RoPE}}{\big (}z_{m},m{\big )}=e^{im\theta }z_{m}$$

Для списка $2n$-мерные векторы, кодер RoPE определяется последовательностью углов $\theta ^{(1)},...,\theta ^{(n)}$. Затем к каждой паре координат применяется кодировка RoPE.

Преимущество RoPE заключается в том, что скалярное произведение между двумя векторами зависит только от их относительного местоположения:

$${\text{RoPE}}{\big (}x,m{\big )}^{T}{\text{RoPE}}{\big (}y,n{\big )}={\text{RoPE}}{\big (}x,m+k{\big )}^{T}{\text{RoPE}}{\big (}y,n+k{\big )}$$

для любого целого числа $k$.

АлиБи

ALiBi (Внимание с линейными смещениями) не является заменой позиционного энкодера оригинального трансформатора. Вместо этого это дополнительный позиционный энкодер, который напрямую подключается к механизму внимания. В частности, механизм внимания ALiBi

$${\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}+sB\right)V\end{aligned}}$$

Здесь, $s$ является действительным числом («скаляром»), и $B$ - матрица линейного смещения, определяемая формулой

$$B={\begin{pmatrix}0&1&2&3&\cdots \\-1&0&1&2&\cdots \\-2&-1&0&1&\cdots \\-3&-2&-1&0&\cdots \\\vdots &\vdots &\vdots &\vdots &\ddots \\\end{pmatrix}}$$

другими словами, $B_{i,j}=j-i$.

ALiBi позволяет выполнять предварительное обучение в коротких контекстных окнах, а затем выполнять точную настройку в более длинных контекстных окнах. Поскольку он напрямую подключается к механизму внимания, его можно комбинировать с любым позиционным энкодером, который подключается в «низ» всей сети (именно там находится синусоидальный энкодер на оригинальном трансформаторе, а также RoPE и многие другие, находятся).

Кодировки относительного положения

Кодирование относительного положения похож на ALiBi, но более общий:

$${\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}+B\right)V\end{aligned}}$$

где $B$ является матрицей Теплица , т. е. $B_{i,j}=B_{i',j'}$ в любое время $i-j=i'-j'$.

Эффективная реализация

FlashAttention

FlashAttention — это алгоритм, который эффективно реализует механизм внимания трансформатора на графическом процессоре. Он выполняет умножение матриц в блоках , так что каждый блок помещается в кэш графического процессора, и за счет тщательного управления блоками минимизирует копирование данных между кэшами графического процессора (поскольку перемещение данных происходит медленно).

Улучшенная версия FlashAttention-2. был разработан для удовлетворения растущего спроса на языковые модели, способные обрабатывать контексты большей длины. Он предлагает усовершенствования в разделении работы и параллелизме, что позволяет ему достигать производительности до 230 терафлопс/с на графических процессорах A100 ( FP16 / BF16 ), что в 2 раза превышает скорость исходного FlashAttention.

Ключевые достижения в FlashAttention-2 включают сокращение количества FLOP, не относящихся к Matmul, улучшенный параллелизм по размеру длины последовательности, лучшее разделение работы между деформациями графического процессора, а также добавленную поддержку размеров головы до 256, а также внимания к нескольким запросам (MQA) и группировки. запрос внимания (GQA).

Тесты показали, что FlashAttention-2 работает до 2 раз быстрее, чем FlashAttention, и до 9 раз быстрее, чем стандартная реализация внимания в PyTorch. Будущие разработки включают оптимизацию для нового оборудования, такого как графические процессоры H100 , и новых типов данных, таких как FP8.

Внимание к множественным запросам

Многозапросное внимание изменяет механизм многоголового внимания. В то время как обычно,

$${\text{MultiheadedAttention}}(Q,K,V)={\text{Concat}}_{i\in [\#heads]}({\text{Attention}}(XW_{i}^{Q},XW_{i}^{K},XW_{i}^{V}))W^{O}$$

с вниманием к множественным запросам есть только один $W^{K},W^{V}$, таким образом:

$${\text{MultiQueryAttention}}(Q,K,V)={\text{Concat}}_{i\in [\#heads]}({\text{Attention}}(XW_{i}^{Q},XW^{K},XW^{V}))W^{O}$$

Это нейтрально влияет на качество модели и скорость обучения, но увеличивает скорость вывода.

Спекулятивное декодирование

Трансформаторы используются в больших языковых моделях для генерации авторегрессионных последовательностей: генерации потока текста по одному токену за раз. Однако в большинстве случаев декодирование языковых моделей ограничено памятью, а это означает, что у нас есть свободная вычислительная мощность. Спекулятивное декодирование использует эту свободную вычислительную мощность, параллельно вычисляя несколько токенов. Подобно спекулятивному выполнению в процессорах, будущие токены вычисляются одновременно, предполагая значение предыдущих токенов, а затем отбрасываются, если оказывается, что предположение было неверным.

В частности, рассмотрим модель преобразователя, такую ​​​​как GPT-3, с размером контекстного окна 512. Чтобы сгенерировать все контекстное окно авторегрессионно с жадным декодированием, его необходимо запустить 512 раз, каждый раз генерируя токен. $x_{1},x_{2},...,x_{512}$. Однако, если бы у нас было какое-то обоснованное предположение о значениях этих токенов, мы могли бы проверить их все параллельно, за один прогон модели, проверив, что каждый $x_{t}$ действительно является токеном с наибольшей логарифмической вероятностью в $t$-ый вывод.

При спекулятивном декодировании меньшая модель или какая-либо другая простая эвристика используется для генерации нескольких спекулятивных токенов, которые впоследствии проверяются более крупной моделью. Например, предположим, что небольшая модель сгенерировала четыре спекулятивных токена: ${\tilde {x_{1}}},{\tilde {x_{2}}},{\tilde {x_{3}}},{\tilde {x_{4}}}$. Эти токены проходят через более крупную модель, и только ${\tilde {x_{1}}}$ и ${\tilde {x_{2}}}$ принимаются. Тот же запуск большой модели уже сгенерировал новый токен. $x_{3}$ заменить ${\tilde {x_{3}}}$, и ${\tilde {x_{4}}}$ полностью отбрасывается. Затем процесс повторяется (начиная с 4-го токена), пока не будут сгенерированы все токены.

Для нежадного декодирования применяются аналогичные идеи, за исключением того, что спекулятивные токены принимаются или отклоняются стохастически, таким образом, чтобы гарантировать, что окончательное распределение выходных данных будет таким же, как если бы спекулятивное декодирование не использовалось.

Субквадратичные преобразователи

Обучение архитектуры на основе трансформатора может быть дорогостоящим, особенно для длинных входных сигналов. Альтернативные архитектуры включают Reformer (который снижает вычислительную нагрузку от $O(N^{2})$ к $O(N\ln N)$), или такие модели, как ETC/BigBird (которые могут свести его к $O(N)$) где $N$ длина последовательности. Это делается с использованием локально-зависимого хеширования и обратимых слоев.

Обычным преобразователям требуется объем памяти, квадратичный по размеру контекстного окна. Трансформаторы без внимания свести это к линейной зависимости, сохранив при этом преимущества преобразователя, привязав ключ к значению.

Дальняя арена (2020) является стандартным эталоном для сравнения поведения архитектур трансформаторов при длинных входных сигналах.

Случайное внимание (2021) использует случайные функции Фурье :

$$\varphi (x)={\frac {1}{\sqrt {D}}}[\cos \langle w_{1},x\rangle ,\sin \langle w_{1},x\rangle ,\cdots \cos \langle w_{D},x\rangle ,\sin \langle w_{D},x\rangle ]^{T}$$

где $w_{1},...,w_{D}$ являются независимыми выборками из нормального распределения $N(0,\sigma ^{2}I)$. Такой выбор параметров удовлетворяет $\mathbb {E} [\langle \varphi (x),\varphi (y)\rangle ]=e^{\frac {\|x-y\|^{2}}{2\sigma ^{2}}}$, или

$$e^{\langle x,y\rangle /\sigma ^{2}}=\mathbb {E} [\langle e^{\|x\|^{2}/2\sigma ^{2}}\varphi (x),e^{\|y\|^{2}/2\sigma ^{2}}\varphi (y)\rangle ]\approx \langle e^{\|x\|^{2}/2\sigma ^{2}}\varphi (x),e^{\|y\|^{2}/2\sigma ^{2}}\varphi (y)\rangle$$

Следовательно, однонаправленное внимание с одним запросом можно записать как

$${\text{Attention}}(q,K,V)={\text{softmax}}\left({\frac {qK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\approx {\frac {\varphi (q)^{T}\sum _{i}e^{\|k_{i}\|^{2}/2\sigma ^{2}}\varphi (k_{i})v_{i}^{T}}{\varphi (q)^{T}\sum _{i}e^{\|k_{i}\|^{2}/2\sigma ^{2}}\varphi (k_{i})}}$$

где $\sigma =d_{K}^{1/4}$. Аналогично для множественных запросов и многонаправленного внимания.

Это приближение можно вычислить за линейное время, так как мы можем вычислить матрицу $\varphi (k_{i})v_{i}^{T}$ сначала, затем умножьте его на запрос. По сути, нам удалось получить более точную версию

$${\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\approx Q(K^{T}V/{\sqrt {d_{k}}})$$

Исполнитель (2022) использует то же случайное внимание к функциям, но $w_{1},...,w_{D}$ сначала независимо выбираются из нормального распределения $N(0,\sigma ^{2}I)$, затем они обрабатываются по Граму-Шмидту .

Мультимодальность

Трансформеры также можно использовать/адаптировать для модальностей (ввода или вывода), помимо текста, обычно путем поиска способа «токенизации» модальности.

Трансформаторы зрения адаптируйте преобразователь к компьютерному зрению, разбивая входные изображения на ряд фрагментов, превращая их в векторы и обрабатывая их как токены в стандартном преобразователе.

Конформер и позже Шепот следуйте той же схеме для распознавания речи , сначала превращая речевой сигнал в спектрограмму , которая затем обрабатывается как изображение, т.е. разбивается на серию патчей, превращается в векторы и обрабатывается как токены в стандартном преобразователе.

Воспринимающие , Эндрю Джегл и др. (2021) могут учиться на больших объемах разнородных данных.

Что касается изображений вывода , Пиблс и др. представили диффузионный преобразователь (DiT), который облегчает использование архитектуры преобразователя для создания изображений на основе диффузии . Кроме того, Google выпустила генератор изображений, ориентированный на трансформатор, под названием «Muse», основанный на технологии параллельного декодирования и генеративного преобразователя в масках. (Трансформеры играли менее центральную роль в предшествующих технологиях создания изображений. хотя и все равно значительный. )

См. также

• Perceiver - алгоритм машинного обучения для нетекстовых данных.
• BERT (языковая модель) – языковая модель, разработанная Google.
• GPT-3 — модель языка генерации текста 2020 года.
• GPT-4 – модель языка генерации текста 2023 г.
• ChatGPT — чат-бот и виртуальный помощник, разработанный OpenAI.
• У Дао - китайская мультимодальная программа искусственного интеллекта
• Трансформатор зрения — алгоритм машинного обучения для обработки изображений
• BLOOM (языковая модель) – многоязычная языковая модель открытого доступа.

Дальнейшее чтение

• Александр Раш, Трансформатор с аннотациями. Архивировано 22 сентября 2021 г. в Wayback Machine , Гарвардская группа НЛП, 3 апреля 2018 г.
• Фуонг, Мэри; Хаттер, Маркус (2022). «Формальные алгоритмы трансформаторов». arXiv : 2207.09238 [ cs.LG ].
• Феррандо, Хавьер; Сарти, Габриэле; Бисацца, Арианна; Коста-Хусса, Марта Р. (1 мая 2024 г.). «Букварь по внутренней работе языковых моделей на основе преобразователей». arXiv : 2405.00208 [ cs.CL ].
• Хуберт Рамзауэр и др. (2020), «Hopfield Networks — это все, что вам нужно». Архивировано 18 сентября 2021 г. в Wayback Machine , препринт представлен для ICLR 2021. arXiv : 2008.02217 ; авторов. см. также блог Архивировано 18 сентября 2021 г. на Wayback Machine.

– Обсуждение эффекта слоя преобразователя как эквивалента обновления Хопфилда, приближающего входные данные к одной из фиксированных точек (представимых шаблонов) непрерывной сети Хопфилда.