Автоэнкодер

Не путать с Autocoder или Autocode .

Автоэнкодер используемый — это тип искусственной нейронной сети, для обучения эффективному кодированию немаркированных данных ( обучение без учителя ). Автоэнкодер изучает две функции: функцию кодирования, которая преобразует входные данные, и функцию декодирования, которая воссоздает входные данные из закодированного представления. Автоэнкодер изучает эффективное представление (кодирование) набора данных, обычно для уменьшения размерности .

Существуют варианты, целью которых является заставить изученные представления приобрести полезные свойства. Примерами являются регуляризованные автоэнкодеры ( Sparse , Denoising и Contractive ), которые эффективны при изучении представлений для последующих классификации . задач и вариационные автоэнкодеры с приложениями в качестве генеративных моделей . Автоэнкодеры применяются для решения многих задач, включая распознавание лиц , обнаружение особенностей, обнаружение аномалий и понимание смысла слов. Автоэнкодеры также являются генеративными моделями, которые могут случайным образом генерировать новые данные, аналогичные входным данным (обучающие данные).

Математические принципы

Определение

Автоэнкодер определяется следующими компонентами:

Два множества: пространство декодированных сообщений ${\mathcal {X}}$; пространство закодированных сообщений ${\mathcal {Z}}$. Почти всегда оба ${\mathcal {X}}$ и ${\mathcal {Z}}$ являются евклидовыми пространствами, т.е. ${\mathcal {X}}=\mathbb {R} ^{m},{\mathcal {Z}}=\mathbb {R} ^{n}$ для некоторых $m,n$.

Два параметризованных семейства функций: семейство энкодеров $E_{\phi }:{\mathcal {X}}\rightarrow {\mathcal {Z}}$, параметризованный $\phi$; семейство декодеров $D_{\theta }:{\mathcal {Z}}\rightarrow {\mathcal {X}}$, параметризованный $\theta$.

Для любого $x\in {\mathcal {X}}$, мы обычно пишем $z=E_{\phi }(x)$и называть его кодом, скрытой переменной , скрытым представлением, скрытым вектором и т. д. И наоборот, для любого $z\in {\mathcal {Z}}$, мы обычно пишем $x'=D_{\theta }(z)$и называть его (декодированным) сообщением.

Обычно и кодер, и декодер определяются как многослойные перцептроны . Например, однослойный кодер MLP. $E_{\phi }$ является:

$E_{\phi }(\mathbf {x} )=\sigma (Wx+b)$

где $\sigma$ — это поэлементная функция активации, такая как сигмовидная функция или выпрямленная линейная единица , $W$ представляет собой матрицу, называемую «весом», и $b$ представляет собой вектор, называемый «смещением».

Обучение автоэнкодеру

Автоэнкодер сам по себе представляет собой просто кортеж из двух функций. Чтобы судить о его качестве , нам нужна задача . Задача определяется эталонным распределением вероятностей. $\mu _{ref}$ над ${\mathcal {X}}$и функция «качество реконструкции» $d:{\mathcal {X}}\times {\mathcal {X}}\to [0,\infty ]$, такой, что $d(x,x')$ измеряет, насколько $x'$ отличается от $x$.

С их помощью мы можем определить функцию потерь для автоэнкодера как

$$L(\theta ,\phi ):=\mathbb {\mathbb {E} } _{x\sim \mu _{ref}}[d(x,D_{\theta }(E_{\phi }(x)))]$$

Оптимальный автоэнкодер для поставленной задачи $(\mu _{ref},d)$ тогда $\arg \min _{\theta ,\phi }L(\theta ,\phi )$. Поиск оптимального автоэнкодера может быть осуществлен любым методом математической оптимизации, но обычно методом градиентного спуска . Этот процесс поиска называется «обучением автокодировщика».

В большинстве ситуаций эталонное распределение — это просто эмпирическое распределение, заданное набором данных. $\{x_{1},...,x_{N}\}\subset {\mathcal {X}}$, так что

$$\mu _{ref}={\frac {1}{N}}\sum _{i=1}^{N}\delta _{x_{i}}$$

где $\delta _{x_{i}}$ — мера Дирака , функция качества — это просто потеря L2: $d(x,x')=\|x-x'\|_{2}^{2}$, и $\|\cdot \|_{2}$ является евклидовой нормой. Тогда проблема поиска оптимального автоэнкодера — это всего лишь оптимизация методом наименьших квадратов :

$$\min _{\theta ,\phi }L(\theta ,\phi ),{\text{where }}L(\theta ,\phi )={\frac {1}{N}}\sum _{i=1}^{N}\|x_{i}-D_{\theta }(E_{\phi }(x_{i}))\|_{2}^{2}$$

Интерпретация

Схема базового автоэнкодера

Автокодировщик состоит из двух основных частей: кодировщика, который отображает сообщение в код, и декодера, который восстанавливает сообщение из кода. Оптимальный автоэнкодер будет выполнять реконструкцию как можно более близкую к идеальной, причем «близко к идеальному» определяется функцией качества реконструкции. $d$.

Самый простой способ идеально выполнить задачу копирования — это дублировать сигнал. Чтобы подавить такое поведение, пространство кода ${\mathcal {Z}}$ обычно имеет меньше измерений, чем пространство сообщений ${\mathcal {X}}$.

Такой автоэнкодер называется undercomplete . Это можно интерпретировать как сжатие сообщения или уменьшение его размерности .

На пределе идеального неполного автокодировщика каждый возможный код $z$ в кодовом пространстве используется для кодирования сообщения $x$ это действительно появляется в раздаче $\mu _{ref}$, и декодер тоже идеален: $D_{\theta }(E_{\phi }(x))=x$. Этот идеальный автокодировщик затем можно использовать для генерации сообщений, неотличимых от реальных сообщений, путем подачи в его декодер произвольного кода. $z$ и получение $D_{\theta }(z)$, это сообщение, которое действительно появляется в рассылке $\mu _{ref}$.

Если пространство кода ${\mathcal {Z}}$ имеет размер больше ( overcomplete ) или равный пространству сообщений ${\mathcal {X}}$Если скрытым модулям предоставлена ​​достаточная емкость, автоэнкодер может изучить функцию идентификации и стать бесполезным. Тем не менее, экспериментальные результаты показали, что автокодировщики с переполным набором данных все равно могут обучиться полезным функциям .

В идеальном случае размерность кода и емкость модели могут быть установлены на основе сложности распределения моделируемых данных. Стандартный способ сделать это — внести изменения в базовый автокодировщик, подробно описанный ниже.

История

Автоэнкодер был впервые предложен как нелинейное обобщение анализа главных компонентов (PCA). Крамером Автоэнкодер также называют автоассоциатором. или сеть Diabolo. Первые его применения датируются началом 1990-х годов. Их наиболее традиционным применением было уменьшение размерности или обучение признакам , но эта концепция стала широко использоваться для изучения генеративных моделей данных. Некоторые из самых мощных ИИ 2010-х годов использовали автокодировщики, встроенные в глубокие нейронные сети.

Вариации

Регуляризованные автоэнкодеры

Существуют различные методы, позволяющие помешать автокодировщикам изучить функцию идентификации и улучшить их способность захватывать важную информацию и изучать более широкие представления.

Разреженный автоэнкодер (SAE)

Вдохновленные гипотезой разреженного кодирования в нейробиологии, разреженные автокодеры представляют собой варианты автокодировщиков, такие, что коды $E_{\phi }(x)$ поскольку сообщения имеют тенденцию быть разреженными кодами , то есть $E_{\phi }(x)$ в большинстве записей близок к нулю. Разреженные автокодировщики могут включать в себя больше (а не меньше) скрытых модулей, чем входных, но только небольшому количеству скрытых модулей разрешено быть активными одновременно. Поощрение разреженности повышает производительность задач классификации.

Простая схема однослойного разреженного автокодировщика. Скрытые узлы ярко-желтого цвета активированы, а светло-желтые неактивны. Активация зависит от ввода.

Есть два основных способа обеспечить разреженность. Один из способов — просто обнулить все активации скрытого кода, кроме самого высокого k. Это k-разреженный автоэнкодер .

K-разреженный автокодировщик вставляет следующую «k-разреженную функцию» в скрытый уровень стандартного автокодировщика:

$$f_{k}(x_{1},...,x_{n})=(x_{1}b_{1},...,x_{n}b_{n})$$

где $b_{i}=1$ если $|x_{i}|$ занимает место в топе k, и 0 в противном случае.

Обратное распространение ошибки через $f_{k}$ все просто: установите градиент на 0 для $b_{i}=0$ записи и сохраняйте градиент для $b_{i}=1$ записи. По сути, это обобщенная функция ReLU .

Другой способ — это упрощенная версия k-разреженного автокодировщика. Вместо принудительной разреженности мы добавляем потерю регуляризации разреженности , а затем оптимизируем для

$$\min _{\theta ,\phi }L(\theta ,\phi )+\lambda L_{sparsity}(\theta ,\phi )$$

где $\lambda >0$ измеряет степень разреженности, которую мы хотим обеспечить.

Пусть архитектура автоэнкодера имеет $K$ слои. Чтобы определить потерю регуляризации разреженности, нам нужна «желаемая» разреженность. ${\hat {\rho }}_{k}$ для каждого слоя вес $w_{k}$ насколько необходимо обеспечить каждую разреженность и функцию $s:[0,1]\times [0,1]\to [0,\infty ]$ чтобы измерить, насколько различаются две разреженности.

Для каждого входа $x$, пусть фактическая разреженность активации в каждом слое $k$ быть

$$\rho _{k}(x)={\frac {1}{n}}\sum _{i=1}^{n}a_{k,i}(x)$$

где $a_{k,i}(x)$ это активация в $i$ -й нейрон $k$ -й слой при вводе $x$.

Потеря разреженности при вводе $x$ за один слой $s({\hat {\rho }}_{k},\rho _{k}(x))$, а потери из-за регуляризации разреженности для всего автоэнкодера представляют собой ожидаемую взвешенную сумму потерь из-за разреженности:

$$L_{sparsity}(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X}}\left[\sum _{k\in 1:K}w_{k}s({\hat {\rho }}_{k},\rho _{k}(x))\right]$$

Обычно функция $s$ является либо расхождением Кульбака-Лейблера (KL) , как

$s(\rho ,{\hat {\rho }})=KL(\rho ||{\hat {\rho }})=\rho \log {\frac {\rho }{\hat {\rho }}}+(1-\rho )\log {\frac {1-\rho }{1-{\hat {\rho }}}}$

или потеря L1, как $s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|$, или потери L2, как $s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|^{2}$.

Альтернативно, потери из-за регуляризации разреженности могут быть определены без ссылки на какую-либо «желаемую разреженность», а просто обеспечить как можно большую разреженность. В этом случае можно определить потерю регуляризации разреженности как

$$L_{sparsity}(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X}}\left[\sum _{k\in 1:K}w_{k}\|h_{k}\|\right]$$

где $h_{k}$ вектор активации в $k$-й уровень автоэнкодера. Норма $\|\cdot \|$ обычно это норма L1 (дающая разреженный автокодировщик L1) или норма L2 (дающая разреженный автокодировщик L2).

Автоэнкодер шумоподавления (DAE)

Автоэнкодеры с шумоподавлением (DAE) пытаются добиться хорошего представления, изменяя критерий реконструкции .

DAE, первоначально называвшаяся «надежной автоассоциативной сетью», обучается путем намеренного искажения входных данных стандартного автокодировщика во время обучения. Шумовой процесс определяется распределением вероятностей $\mu _{T}$ над функциями $T:{\mathcal {X}}\to {\mathcal {X}}$. То есть функция $T$ принимает сообщение $x\in {\mathcal {X}}$и превращает его в шумную версию $T(x)$. Функция $T$ выбирается случайным образом, с распределением вероятностей $\mu _{T}$.

Дана задача $(\mu _{ref},d)$, проблема обучения ДАУ — это задача оптимизации:

$$\min _{\theta ,\phi }L(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X},T\sim \mu _{T}}[d(x,(D_{\theta }\circ E_{\phi }\circ T)(x))]$$

То есть оптимальная DAE должна брать любое зашумленное сообщение и пытаться восстановить исходное сообщение без шума, отсюда и название «шумоподавление» .

Обычно шумовой процесс $T$ применяется только во время обучения и тестирования, а не во время дальнейшего использования.

Использование DAE зависит от двух предположений:

• Существуют представления сообщений, которые относительно стабильны и устойчивы к типу шума, с которым мы, вероятно, столкнемся;
• Указанные представления фиксируют структуры входного распределения, которые полезны для наших целей.

Примеры шумовых процессов включают в себя:

• аддитивный изотропный гауссовский шум ,
• маскирующий шум (часть входных данных выбирается случайным образом и устанавливается на 0)
• шум типа «соль и перец» (часть входных данных выбирается случайным образом и случайным образом устанавливается на минимальное или максимальное значение).

Сжимающий автоэнкодер (CAE)

Сжимающий автоэнкодер добавляет потери сжимающей регуляризации к стандартным потерям автоэнкодера:

$$\min _{\theta ,\phi }L(\theta ,\phi )+\lambda L_{contractive}(\theta ,\phi )$$

где $\lambda >0$ измеряет степень сжатия, которую мы хотим обеспечить. Сами потери на сжимающую регуляризацию определяются как ожидаемая норма Фробениуса матрицы Якоби активаций кодера по отношению к входу:

$$L_{contractive}(\theta ,\phi )=\mathbb {E} _{x\sim \mu _{ref}}\|\nabla _{x}E_{\phi }(x)\|_{F}^{2}$$

Чтобы понять, что $L_{contractive}$ меры, обратите внимание на тот факт

$$\|E_{\phi }(x+\delta x)-E_{\phi }(x)\|_{2}\leq \|\nabla _{x}E_{\phi }(x)\|_{F}\|\delta x\|_{2}$$

для любого сообщения $x\in {\mathcal {X}}$и небольшое изменение $\delta x$ в этом. Таким образом, если $\|\nabla _{x}E_{\phi }(x)\|_{F}^{2}$ мал, это означает, что небольшая окрестность сообщения отображается в небольшую окрестность его кода. Это желательное свойство, поскольку оно означает, что небольшие изменения в сообщении приводят к небольшим, возможно, даже нулевым изменениям в его коде, например, два изображения могут выглядеть одинаково, даже если они не совсем одинаковы.

DAE можно понимать как бесконечно малый предел CAE: в пределе небольшого гауссовского входного шума DAE заставляют функцию реконструкции сопротивляться небольшим, но конечным входным возмущениям, в то время как CAE делают извлеченные признаки устойчивыми к бесконечно малым входным возмущениям.

Бетонный автоэнкодер

Конкретный автоэнкодер предназначен для дискретного выбора функций. Конкретный автокодировщик заставляет скрытое пространство состоять только из указанного пользователем количества функций. Конкретный автоэнкодер использует непрерывное расслабление категориального распределения , чтобы позволить градиентам проходить через слой выбора признаков, что позволяет использовать стандартное обратное распространение ошибки для изучения оптимального подмножества входных признаков, которые минимизируют потери при реконструкции.

Вариационный автоэнкодер (VAE)

Основная статья: Вариационный автоэнкодер

Вариационные автоэнкодеры (VAE) относятся к семействам вариационных байесовских методов . Несмотря на архитектурное сходство с базовыми автоэнкодерами, VAE представляют собой архитектуру с другими целями и совершенно другой математической формулировкой. Скрытое пространство в этом случае состоит из смеси распределений, а не фиксированного вектора.

Учитывая входной набор данных $x$ характеризуется неизвестной функцией вероятности $P(x)$ и многомерный вектор скрытого кодирования $z$, цель состоит в том, чтобы смоделировать данные как распределение $p_{\theta }(x)$, с $\theta$ определяется как набор сетевых параметров, так что $p_{\theta }(x)=\int _{z}p_{\theta }(x,z)dz$.

Преимущества глубины

Схематическая структура автоэнкодера с тремя полностью связанными скрытыми слоями. Код (z или h для ссылки в тексте) — это самый внутренний слой.

Автоэнкодеры часто обучаются с помощью одноуровневого кодера и одноуровневого декодера, но использование многоуровневых (глубоких) кодеров и декодеров дает много преимуществ.

• Глубина может экспоненциально снизить вычислительные затраты на представление некоторых функций.
• Глубина может экспоненциально уменьшить объем обучающих данных, необходимых для изучения некоторых функций.
• Экспериментально, глубокие автокодеры обеспечивают лучшее сжатие по сравнению с поверхностными или линейными автокодировщиками.

Обучение

Джеффри Хинтон разработал метод сети глубоких убеждений для обучения многоуровневых глубоких автокодировщиков. Его метод включает в себя обработку каждого соседнего набора из двух слоев как ограниченной машины Больцмана, так что предварительное обучение приближается к хорошему решению, а затем использование обратного распространения ошибки для точной настройки результатов.

Исследователи спорят о том, будет ли совместное обучение (т.е. обучение всей архитектуры вместе с единой глобальной целью реконструкции для оптимизации) лучше для глубоких автокодировщиков. Исследование 2015 года показало, что совместное обучение изучает лучшие модели данных, а также более репрезентативные функции для классификации по сравнению с послойным методом. Однако их эксперименты показали, что успех совместного обучения во многом зависит от принятых стратегий регуляризации.

Приложения

Двумя основными приложениями автоэнкодеров являются уменьшение размерности и поиск информации. но современные вариации были применены и для других задач.

Уменьшение размерности

График первых двух главных компонентов (слева) и двумерного скрытого слоя линейного автоэнкодера (справа), примененного к набору данных Fashion MNIST . Обе линейные модели учатся охватывать одно и то же подпространство. Проекция точек данных действительно идентична, за исключением вращения подпространства. В то время как PCA в общем случае выбирает конкретную ориентацию вплоть до отражений, функция стоимости простого автоэнкодера инвариантна к поворотам скрытого пространства.

Снижение размерности было одним из первых приложений глубокого обучения .

В исследовании Хинтона 2006 г. он предварительно обучил многоуровневый автокодировщик с помощью набора RBM , а затем использовал их веса для инициализации глубокого автокодировщика с постепенно меньшими скрытыми слоями, пока не достиг узкого места в 30 нейронов. Полученные 30 измерений кода дали меньшую ошибку реконструкции по сравнению с первыми 30 компонентами анализа главных компонентов (PCA) и получили представление, которое было качественно легче интерпретировать, четко разделяя кластеры данных.

Представление измерений может повысить производительность при выполнении таких задач, как классификация. Действительно, отличительной чертой уменьшения размерности является размещение семантически связанных примеров рядом друг с другом.

Анализ

Реконструкция изображений размером 28x28 пикселей с помощью автоэнкодера с размером кода два (скрытый слой из двух единиц) и реконструкция из первых двух основных компонентов PCA. Изображения взяты из набора данных Fashion MNIST .

Если используются линейные активации или только один скрытый слой сигмовидной формы, то оптимальное решение для автокодировщика тесно связано с анализом главных компонентов (PCA). Веса автоэнкодера с одним скрытым слоем размера $p$ (где $p$ меньше размера входных данных) охватывают то же векторное подпространство, что и первое $p$ главные компоненты, а выходные данные автоэнкодера представляют собой ортогональную проекцию на это подпространство. Веса автоэнкодера не равны основным компонентам и, как правило, не ортогональны, однако основные компоненты могут быть восстановлены из них с помощью разложения по сингулярным значениям .

Однако потенциал автоэнкодеров заключается в их нелинейности, что позволяет модели изучать более мощные обобщения по сравнению с PCA и реконструировать входные данные со значительно меньшими потерями информации.

и поисковая

Информационный поиск выигрывает, в частности, от уменьшения размерности , поскольку поиск может стать более эффективным в определенных типах низкоразмерных пространств. Автоэнкодеры действительно применялись для семантического хеширования, предложенного Салахутдиновым и Хинтоном в 2007 году. Обучив алгоритм созданию низкоразмерного двоичного кода, все записи базы данных можно будет хранить в хеш-таблице, сопоставляющей векторы двоичного кода с записями. Эта таблица затем будет поддерживать поиск информации, возвращая все записи с тем же двоичным кодом, что и запрос, или немного менее похожие записи, переворачивая некоторые биты из кодировки запроса.

Архитектура кодировщика-декодера, часто используемая в обработке естественного языка и нейронных сетях, может быть научно применена в области SEO (поисковая оптимизация) различными способами:

1. Обработка текста . Используя автокодировщик, можно сжать текст веб-страниц в более компактное векторное представление. Это может помочь сократить время загрузки страницы и улучшить ее индексацию поисковыми системами.
3. Шумоподавление : автоэнкодеры можно использовать для удаления шума из текстовых данных веб-страниц. Это может привести к лучшему пониманию контента поисковыми системами, тем самым повышая рейтинг на страницах результатов поисковых систем.
5. Генерация метатегов и фрагментов . Автоэнкодеры можно обучить автоматически генерировать метатеги, фрагменты и описания для веб-страниц, используя содержимое страницы. Это может оптимизировать представление в результатах поиска, увеличивая рейтинг кликов (CTR).
7. Кластеризация контента : с помощью автокодировщика веб-страницы со схожим содержанием могут быть автоматически сгруппированы вместе. Это может помочь логически организовать веб-сайт и улучшить навигацию, что потенциально положительно повлияет на пользовательский опыт и рейтинг в поисковых системах.
9. Генерация связанного контента : автокодировщик можно использовать для создания контента, связанного с тем, что уже присутствует на сайте. Это может повысить привлекательность веб-сайта для поисковых систем и предоставить пользователям дополнительную релевантную информацию.
11. Обнаружение ключевых слов . Автоэнкодеры можно обучить распознавать ключевые слова и важные понятия в содержании веб-страниц. Это может помочь оптимизировать использование ключевых слов для лучшей индексации.
13. Семантический поиск . Используя методы автокодирования, можно создавать модели семантического представления контента. Эти модели можно использовать для улучшения понимания поисковыми системами тем, затронутых на веб-страницах.

По сути, архитектура кодировщика-декодера или автокодировщики могут использоваться в SEO для оптимизации содержимого веб-страниц, улучшения их индексации и повышения их привлекательности как для поисковых систем, так и для пользователей.

Обнаружение аномалий

Еще одно применение автоэнкодеров — обнаружение аномалий . Научившись воспроизводить наиболее характерные особенности обучающих данных при некоторых ограничениях, описанных ранее, модель может научиться точно воспроизводить наиболее часто наблюдаемые характеристики. При столкновении с аномалиями модель должна ухудшать производительность реконструкции. В большинстве случаев для обучения автокодировщика используются только данные с обычными экземплярами; в других частота аномалий мала по сравнению с набором наблюдений, так что ее вклад в изученное представление можно игнорировать. После обучения автоэнкодер точно восстановит «нормальные» данные, но не сможет сделать это с незнакомыми аномальными данными. Ошибка реконструкции (ошибка между исходными данными и их низкоразмерной реконструкцией) используется в качестве показателя аномалии для обнаружения аномалий.

Однако недавняя литература показала, что некоторые модели автокодирования могут, как ни странно, очень хорошо реконструировать аномальные примеры и, следовательно, не способны надежно выполнять обнаружение аномалий.

Обработка изображений

Характеристики автоэнкодеров полезны при обработке изображений.

Одним из примеров является сжатие изображений с потерями , где автокодировщики превзошли другие подходы и оказались конкурентоспособными по сравнению с JPEG 2000 .

Еще одним полезным применением автоэнкодеров при предварительной обработке изображений является шумоподавление изображений .

Автокодировщики нашли применение в более требовательных контекстах, таких как медицинская визуализация , где они использовались для шумоподавления изображения. а также супер-разрешение . В диагностике с помощью изображений в экспериментах применялись автоэнкодеры для рака молочной железы. обнаружения и для моделирования связи между снижением когнитивных функций при болезни Альцгеймера и скрытыми особенностями автокодировщика, обученного с помощью МРТ .

Открытие лекарств

В 2019 году молекулы, созданные с помощью вариационных автоэнкодеров, были проверены экспериментально на мышах.

Прогноз популярности

Недавно многоуровневая структура автокодирования дала многообещающие результаты в прогнозировании популярности публикаций в социальных сетях. что полезно для стратегий онлайн-рекламы.

Машинный перевод

Автоэнкодеры были применены к машинному переводу , который обычно называют нейронным машинным переводом (NMT). В отличие от традиционных автоэнкодеров, выходные данные не соответствуют входным — они на другом языке. В NMT тексты рассматриваются как последовательности, подлежащие кодированию в процедуре обучения, в то время как на стороне декодера генерируются последовательности на целевом языке(ах). Автокодировщики, специфичные для языка дополнительные лингвистические функции, такие как функции разложения китайского языка. , включают в процедуру обучения Машинный перевод до сих пор редко выполняется с помощью автокодировщиков из-за наличия более эффективных сетей преобразователей .

См. также

• Обучение представлению
• Редкое изучение словаря
• Глубокое обучение