Синтез речи с глубоким обучением

Синтез речи с глубоким обучением — это применение моделей глубокого обучения для генерации естественно звучащей человеческой речи из письменного текста (преобразование текста в речь) или спектра (вокодер). Глубокие нейронные сети (DNN) обучаются с использованием большого количества записанной речи и, в случае системы преобразования текста в речь, связанных с ней меток и/или входного текста.

Формулировка

Учитывая входной текст или некоторую последовательность языковых единиц. $Y$, целевая речь $X$ может быть получено путем

$$X=\arg \max P(X|Y,\theta )$$

где $\theta$ является параметром модели.

Обычно входной текст сначала передается в генератор акустических характеристик, затем акустические характеристики передаются в нейронный вокодер. Для генератора акустических характеристик функция потерь обычно представляет собой потери L1 или L2. Эти функции потерь накладывают ограничение на то, что распределения выходных акустических характеристик должны быть гауссовскими или лапласовскими. На практике, поскольку полоса человеческого голоса находится в диапазоне примерно от 300 до 4000 Гц, функция потерь будет спроектирована таким образом, чтобы иметь больший штраф в этом диапазоне:

$$loss=\alpha {\text{loss}}_{\text{human}}+(1-\alpha ){\text{loss}}_{\text{other}}$$

где ${\text{loss}}_{\text{human}}$ это потеря человеческого голосового диапазона и $\alpha$является скаляром, обычно около 0,5. Акустический признак обычно представляет собой спектрограмму или спектрограмму в шкале Мела . Эти функции фиксируют частотно-временное соотношение речевого сигнала, и, таким образом, этого достаточно для генерации интеллектуальных выходных данных с этими акустическими характеристиками. Функция кепстра Mel-частоты, используемая в задаче распознавания речи , не подходит для синтеза речи, поскольку уменьшает слишком много информации.

История

Стек расширенных случайных сверточных слоев, используемых в WaveNet

В сентябре 2016 года компания DeepMind предложила WaveNet — глубокую генеративную модель необработанных звуковых сигналов, демонстрирующую, что модели, основанные на глубоком обучении, способны моделировать необработанные сигналы и генерировать речь на основе акустических функций, таких как спектрограммы или мел-спектрограммы . Хотя изначально считалось, что WaveNet требует больших вычислительных затрат и медленна для использования в потребительских продуктах, через год после его выпуска DeepMind представила модифицированную версию WaveNet, известную как «Parallel WaveNet», производственную модель, которая в 1000 раз быстрее оригинала.

В начале 2017 года Мила предложила char2wav — модель для создания необработанных сигналов сквозным методом. В том же году Google и Facebook предложили Tacotron и VoiceLoop соответственно генерировать акустические характеристики непосредственно из входного текста; несколько месяцев спустя Google предложила Tacotron2 , который объединил вокодер WaveNet с пересмотренной архитектурой Tacotron для выполнения сквозного синтеза речи. Tacotron2 может генерировать речь высокого качества, приближающуюся к человеческому голосу.

Полуконтролируемое обучение

В настоящее время самообучению уделяется большое внимание благодаря более эффективному использованию неразмеченных данных. Исследования показали, что с помощью самоконтролируемой потери потребность в парных данных снижается.

нулевым

Адаптация громкоговорителей с нулевым выстрелом является многообещающей, поскольку одна модель может генерировать речь с различными стилями и характеристиками громкоговорителей. В июне 2018 года Google предложил использовать предварительно обученные модели проверки говорящих в качестве кодировщиков говорящих для извлечения вложений говорящих. Кодеры динамиков затем становятся частью нейронных моделей преобразования текста в речь, чтобы они могли определять стиль и характеристики выходной речи. Эта процедура показала сообществу, что можно использовать только одну модель для создания речи с несколькими стилями.

Нейронный вокодер

Продолжительность: 6 секунд. 0:06

Пример синтеза речи с использованием нейронного вокодера HiFi-GAN

В синтезе речи на основе глубокого обучения нейронные вокодеры играют важную роль в генерации высококачественной речи на основе акустических характеристик. Модель WaveNet, предложенная в 2016 году, обеспечивает превосходные показатели качества речи. Wavenet факторизовал совместную вероятность формы сигнала $\mathbf {x} =\{x_{1},...,x_{T}\}$ как произведение условных вероятностей следующим образом

$p_{\theta }(\mathbf {x} )=\prod _{t=1}^{T}p(x_{t}|x_{1},...,x_{t-1})$

где $\theta$— параметр модели, включающий множество слоев расширенной свертки. Таким образом, каждый аудиосэмпл $x_{t}$обусловлен выборками на всех предыдущих временных шагах. Однако авторегрессионный характер WaveNet существенно замедляет процесс вывода. Чтобы решить эту проблему, Parallel WaveNet было предложено. Parallel WaveNet — это модель обратного авторегрессионного потока, которая обучается путем дистилляции знаний с помощью предварительно обученной модели WaveNet учителя. Поскольку такие модели на основе обратной авторегрессии на основе потока не являются авторегрессионными при выполнении вывода, скорость вывода выше, чем в режиме реального времени. Тем временем Nvidia предложила технологию WaveGlow на основе потока. модель, которая также может генерировать речь быстрее, чем в реальном времени. Однако, несмотря на высокую скорость вывода, параллельная WaveNet имеет ограничение, заключающееся в необходимости предварительно обученной модели WaveNet, поэтому WaveGlow требуется много недель для сходимости с ограниченными вычислительными устройствами. Эта проблема была решена с помощью Parallel WaveGAN, который учится воспроизводить речь посредством спектральных потерь с несколькими разрешениями и стратегий обучения GAN.