Нейронный машинный перевод

Нейронный машинный перевод ( NMT ) — это подход к машинному переводу , который использует искусственную нейронную сеть для прогнозирования вероятности последовательности слов, обычно моделируя целые предложения в единой интегрированной модели.

Сегодня это доминирующий подход и могут создавать переводы, которые могут конкурировать с человеческими переводами при переводе между языками с высокими ресурсами в определенных условиях. Однако проблемы все еще остаются, особенно с языками, по которым доступны менее качественные данные. и со сдвигом предметной области между данными, на которых обучалась система, и текстами, которые она должна переводить. Системы NMT также имеют тенденцию производить довольно буквальный перевод.

Обзор

В задании на перевод предложение $\mathbf {x} =x_{1,I}$ (состоящий из $I$ жетоны $x_{i}$) на исходном языке необходимо перевести в предложение $\mathbf {y} =x_{1,J}$ (состоящий из $J$ жетоны $x_{j}$) на целевом языке. Исходные и целевые токены (которые в простом случае используются друг для друга для векторов конкретной игры), поэтому их можно обрабатывать математически.

Модели NMT присваивают вероятность $P(y|x)$к потенциальным переводам y, а затем искать в подмножестве потенциальных переводов тот, который имеет наибольшую вероятность. Большинство моделей NMT являются авторегрессионными : они моделируют вероятность каждого целевого токена как функцию исходного предложения и ранее предсказанных целевых токенов. Тогда вероятность всего перевода является произведением вероятностей отдельных предсказанных токенов:

$$P(y|x)=\prod _{j=1}^{J}P(y_{j}|y_{1,i-1},\mathbf {x} )$$

Модели NMT различаются тем, как именно они моделируют эту функцию. $P$, но большинство из них используют некоторые варианты архитектуры кодера-декодера : Сначала они используют сеть кодировщиков для обработки $\mathbf {x}$и закодировать его в векторное или матричное представление исходного предложения. Затем они используют сеть декодера, которая обычно производит одно целевое слово за раз, принимая во внимание исходное представление и ранее созданные токены. Как только декодер выдает специальный токен конца предложения , процесс декодирования завершается. Поскольку декодер во время работы обращается к своим предыдущим выводам, такой способ декодирования называется авторегрессионным .

История

Ранние

В 1987 году Роберт Б. Аллен продемонстрировал использование нейронных сетей прямого распространения для перевода автоматически сгенерированных английских предложений с ограниченным словарным запасом в 31 слово на испанский. В этом эксперименте размер входного и выходного слоев сети был выбран достаточно большим для самых длинных предложений на исходном и целевом языках соответственно, поскольку в сети не было какого-либо механизма для кодирования последовательностей произвольной длины в фиксированную длину. -размерное представление. В своем резюме Аллен также уже намекнул на возможность использования автоассоциативных моделей: одной для кодирования источника, а другой — для декодирования цели.

Лонни Крисман опирался на работу Аллена в 1991 году, обучая отдельные сети рекурсивной автоассоциативной памяти (RAAM) (разработанные Джорданом Б. Поллаком). ) для исходного и целевого языка. Каждая из сетей RAAM обучена кодировать предложение произвольной длины в скрытое представление фиксированного размера и снова декодировать исходное предложение из этого представления. Кроме того, обе сети обучены делиться своим скрытым представлением; таким образом, исходный кодер может создать представление, которое может декодировать целевой декодер. Форкада и Сэко упростили эту процедуру в 1997 году, чтобы напрямую обучать исходный кодировщик и целевой декодер в том, что они назвали рекурсивной гетероассоциативной памятью .

Также в 1997 году Кастаньо и Касакуберта использовали рекуррентную нейронную сеть Элмана в другой задаче машинного перевода с очень ограниченным словарным запасом и сложностью.

Несмотря на то, что эти ранние подходы уже были похожи на современный NMT, вычислительных ресурсов того времени было недостаточно для обработки наборов данных, достаточно больших для вычислительной сложности задачи машинного перевода реальных текстов. другие методы, такие как статистический машинный перевод Вместо этого в 1990-х и 2000-х годах стали использоваться .

Гибридные подходы

В то время, когда статистический машинный перевод был распространен, в некоторых работах использовались нейронные методы для замены различных частей статистического машинного перевода, при этом для их связи все еще использовался лог-линейный подход. Например, в различных работах совместно с другими исследователями Хольгер Швенк заменил привычную n-граммную модель языка на нейронную. и оцененные вероятности перевода фраз с использованием сети прямой связи.

NMT

CNN и RNN

В 2013 и 2014 годах в области сквозного нейронного машинного перевода произошел прорыв благодаря компании Kalchbrenner & Blunsom, использовавшей сверточную нейронную сеть (CNN) для кодирования источника. и Чо и др. и Суцкевер и др. вместо этого используя рекуррентную нейронную сеть (RNN). Все трое использовали RNN, обусловленную фиксированной кодировкой источника, в качестве декодера для выполнения перевода. Однако эти модели плохо работали с длинными предложениями. Эта проблема была решена, когда Богданау и др. обратили внимание на их архитектуру кодера-декодера: на каждом этапе декодирования состояние декодера используется для расчета представления источника, которое фокусируется на различных частях источника и использует это представление при вычислении вероятностей для следующего токена. На основе этих архитектур на основе RNN Baidu запустила «первую крупномасштабную систему NMT». в 2015 году, а затем Google в 2016 году. С этого года нейронные модели также стали преобладающим выбором на основной конференции по машинному переводу «Семинар по статистическому машинному переводу».

Геринг и др. объединили кодер CNN с механизмом внимания в 2017 году, который обрабатывал дальние зависимости в источнике лучше, чем предыдущие подходы, а также увеличивал скорость трансляции, поскольку кодер CNN можно распараллеливать, тогда как кодер RNN должен кодировать один токен за раз из-за его рецидивирующий характер. В том же году «Microsoft Translator» выпустила онлайн-нейронный машинный перевод (NMT) на базе искусственного интеллекта. DeepL Translator , который в то время был основан на кодере CNN , также был выпущен в том же году и был оценен несколькими новостными агентствами как превосходящий своих конкурентов. Также было замечено, что OpenAI GPT -3 , выпущенный в 2020 году, может функционировать как система нейронного машинного перевода. Можно заметить, что некоторые другие системы машинного перевода, такие как переводчик Microsoft и SYSTRAN, также интегрировали нейронные сети в свои операции.

Трансформатор

Другая сетевая архитектура, поддающаяся распараллеливанию, — это преобразователь , предложенный Васвани и др. также в 2017 году. Как и предыдущие модели, преобразователь по-прежнему использует механизм внимания для взвешивания выходного сигнала кодера на этапах декодирования. Однако сами сети кодера и декодера преобразователя также основаны на внимании, а не на повторении или свертке: каждый уровень взвешивает и преобразует выходные данные предыдущего уровня в процессе, называемом самообслуживанием . Поскольку в механизме внимания нет никакого понятия о порядке токенов, но порядок слов в предложении явно важен, встраивания токенов комбинируются с явным кодированием их положения в предложении . Поскольку и кодер, и декодер преобразователя не содержат повторяющихся элементов, их можно распараллелить во время обучения. Однако декодер исходного преобразователя по-прежнему является авторегрессионным, а это означает, что декодирование по-прежнему необходимо выполнять по одному токену во время вывода.

Модель трансформатора быстро стала доминирующим выбором для систем машинного перевода. и по-прежнему оставалась наиболее часто используемой архитектурой на семинаре по статистическому машинному переводу в 2022 и 2023 годах.

Обычно веса моделей NMT инициализируются случайным образом, а затем изучаются путем обучения на параллельных наборах данных. Однако, поскольку использование больших языковых моделей (LLM), таких как BERT, предварительно обученных на больших объемах одноязычных данных, в качестве отправной точки для изучения других задач, оказалось очень успешным в более широком НЛП , эта парадигма также становится все более распространенной в НМТ. Это особенно полезно для языков с низким уровнем ресурсов, где не существуют большие параллельные наборы данных. Примером этого является модель mBART, которая сначала обучает один преобразователь на многоязычном наборе данных восстанавливать замаскированные токены в предложениях, а затем настраивает полученный автокодировщик на задачу перевода.

Генеративные LLM

Вместо точной настройки предварительно обученной языковой модели для задачи перевода можно также напрямую предложить достаточно большим генеративным моделям перевести предложение на желаемый язык. Этот подход был впервые всесторонне протестирован и оценен для GPT 3.5 в 2023 году Hendy et al. Они обнаружили, что «системы GPT могут производить очень плавные и конкурентоспособные результаты перевода даже при нулевых условиях, особенно для переводов на языки с высокими ресурсами». WMT23 оценил тот же подход (но с использованием GPT-4 ) и обнаружил, что он находится на одном уровне с современным уровнем техники при переводе на английский, но не совсем при переводе на языки с более низкими ресурсами. Это вполне правдоподобно, учитывая, что модели GPT обучаются в основном на английском тексте.

машинным

NMT преодолел несколько проблем, которые присутствовали в статистическом машинном переводе (SMT):

• Полная уверенность NMT в непрерывном представлении токенов позволила преодолеть проблемы разреженности, вызванные редкими словами или фразами. Модели смогли более эффективно обобщать.
• Ограниченная длина n-грамм, используемая в моделях языка n-грамм SMT, привела к потере контекста. Системы NMT преодолевают эту проблему, поскольку не имеют жесткого ограничения после фиксированного количества токенов и уделяют внимание выбору токенов, на которых следует сосредоточиться при создании следующего токена.
• Сквозное обучение одной модели улучшило производительность перевода, а также упростило весь процесс.
• Огромные n-граммовые модели (до 7 грамм), используемые в SMT, требовали больших объемов памяти, тогда как NMT требует меньше.

Процедура обучения

Перекрестная

Модели NMT обычно обучаются, чтобы максимизировать вероятность наблюдения обучающих данных. Т.е. для набора данных $T$ исходные предложения $X=\mathbf {x} ^{(1)},...,\mathbf {x} ^{(T)}$ и соответствующие целевые предложения $Y=\mathbf {y} ^{(1)},...,\mathbf {y} ^{(T)}$, цель – найти параметры модели $\theta ^{*}$ которые максимизируют сумму вероятности каждого целевого предложения в обучающих данных с учетом соответствующего исходного предложения:

$$\theta ^{*}={\underset {\theta }{\operatorname {arg\,max} }}\sum _{i}^{T}P_{\theta }(\mathbf {y} ^{(i)}|\mathbf {x} ^{(i)})$$

Расширение до уровня токена дает:

$$\theta ^{*}={\underset {\theta }{\operatorname {arg\,max} }}\sum _{i}^{T}\prod _{j=1}^{J^{(i)}}P(y_{j}^{(i)}|y_{1,j-1}^{(i)},\mathbf {x} ^{(i)})$$

Поскольку нас интересует только максимум, мы можем вместо этого искать максимум логарифма (что имеет то преимущество, что позволяет избежать опустошения чисел с плавающей запятой , которое может произойти с произведением низких вероятностей).

$$\theta ^{*}={\underset {\theta }{\operatorname {arg\,max} }}\sum _{i}^{T}\log \prod _{j=1}^{J^{(i)}}P(y_{j}^{(i)}|y_{1,j-1}^{(i)},\mathbf {x} ^{(i)})$$

Использование того факта, что логарифм произведения представляет собой сумму логарифмов факторов, и изменение знака дает классическую кросс-энтропийную потерю :

$$\theta ^{*}={\underset {\theta }{\operatorname {arg\,min} }}-\sum _{i}^{T}\log \sum _{j=1}^{J^{(i)}}P(y_{j}^{(i)}|y_{1,j-1}^{(i)},\mathbf {x} ^{(i)})$$

На практике эта минимизация выполняется итеративно на небольших подмножествах (мини-пакетах) обучающего набора с использованием стохастического градиентного спуска .

Учитель заставляет

Основная статья: Принуждение учителя

Во время вывода авторегрессивные декодеры используют токен, сгенерированный на предыдущем шаге, в качестве входного токена. Однако словарь целевых токенов обычно очень велик. Таким образом, в начале этапа обучения необученные модели почти всегда выбирают неправильный токен; и последующие шаги тогда должны будут работать с неправильными входными токенами, что значительно замедлит обучение. Вместо этого на этапе обучения используется принуждение учителя : модель («ученик» в метафоре принуждения учителя) всегда получает предыдущие жетоны базовой истины в качестве входных данных для следующего токена, независимо от того, что было предсказано на предыдущем шаге.

Перевод, выполненный LLM по быстрому инжинирингу

Как указано в разделе истории выше, вместо использования системы NMT, обученной на параллельном тексте, можно также предложить генеративному LLM перевести текст. Эти модели отличаются от системы NMT кодер-декодер по ряду причин:

• Генеративные языковые модели не обучаются решению задач перевода, не говоря уже о параллельном наборе данных. Вместо этого их обучают задачам языкового моделирования, например, предсказанию следующего слова в последовательности, взятой из большого набора текстовых данных. Этот набор данных может содержать документы на многих языках, но на практике в нем преобладает текст на английском языке. После предварительной подготовки они настраиваются на выполнение другой задачи , обычно следуя инструкциям.
• Поскольку они не обучены переводу, они также не имеют архитектуры кодировщика-декодера. Вместо этого они просто состоят из декодера трансформатора.
• Чтобы быть конкурентоспособными в области машинного перевода, LLM должны быть намного крупнее других систем NMT. Например, GPT-3 имеет 175 миллиардов параметров, в то время как mBART имеет 680 миллионов а у оригинального трансформера «всего» 213 миллионов. Это означает, что их обучение и использование требуют больших вычислительных затрат.

Генеративный LLM можно запустить с нуля, просто попросив его перевести текст на другой язык, не приводя никаких дополнительных примеров в подсказке. Или можно включить в подсказку один или несколько примеров перевода, прежде чем просить перевести рассматриваемый текст. Тогда это называется однократным или малократным обучением соответственно. Например, Hendy et al. использовали следующие подсказки. (2023) для нулевого и однократного перевода:

### Переведите это предложение с [исходный язык] на [целевой язык], Источник:
 [исходное предложение]
 ### Цель:
 

Переведите это на 1. [целевой язык]:
 [источник кадра 1]
 1. [отсылка к кадру 1]
 Переведите это на 1. [целевой язык]:
 [вход]
 1. 

Литература

• Коэн, Филипп (2020). Нейронный машинный перевод. Издательство Кембриджского университета.
• Штальберг, Феликс (2020). Нейронный машинный перевод: обзор и обзор.

См. также

• Внимание (машинное обучение)
• Трансформатор (модель машинного обучения)
• Seq2seq