Генеративная модель на основе потоков

Генеративная модель на основе потока — это генеративная модель, используемая в машинном обучении , которая явно моделирует распределение вероятностей , используя нормализацию потока . Это статистический метод, использующий закон вероятностей изменения переменных для преобразования простого распределения в сложное.

Прямое моделирование вероятности дает много преимуществ. Например, отрицательное логарифмическое правдоподобие можно напрямую вычислить и минимизировать как функцию потерь . Кроме того, новые выборки могут быть созданы путем отбора проб из исходного распределения и применения преобразования потока.

Напротив, многие альтернативные методы генеративного моделирования, такие как вариационный автокодировщик (VAE) и генеративно-состязательная сеть, не представляют явно функцию правдоподобия.

Метод

Схема нормализации потоков

Позволять $z_{0}$ быть (возможно, многомерной) случайной величиной с распределением $p_{0}(z_{0})$.

Для $i=1,...,K$, позволять $z_{i}=f_{i}(z_{i-1})$ — последовательность случайных величин, преобразованная из $z_{0}$. Функции $f_{1},...,f_{K}$ должна быть обратимой, т.е. обратной функцией $f_{i}^{-1}$ существует. Окончательный результат $z_{K}$ моделирует целевое распределение.

Лог вероятность $z_{K}$ есть (см. вывод ):

$\log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|$

Чтобы эффективно вычислить логарифмическую вероятность, функции $f_{1},...,f_{K}$ должно быть 1. легко инвертироваться и 2. легко вычисляться определитель его якобиана. На практике функции $f_{1},...,f_{K}$ моделируются с использованием глубоких нейронных сетей и обучены минимизировать отрицательную логарифмическую вероятность выборок данных из целевого распределения. Эти архитектуры обычно проектируются таким образом, что для обратных вычислений и вычислений определителя Якоби требуется только прямой проход нейронной сети. Примеры таких архитектур включают NICE, РеалНВП, и Сияние.

Вывод логарифмической вероятности

Учитывать $z_{1}$ и $z_{0}$. Обратите внимание, что $z_{0}=f_{1}^{-1}(z_{1})$.

По формуле замены переменной распределение $z_{1}$ является:

$p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}\right|$

Где $\det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}$ является определителем матрицы Якобиана ​ $f_{1}^{-1}$.

По теореме об обратной функции :

$p_{1}(z_{1})=p_{0}(z_{0})\left|\det \left({\frac {df_{1}(z_{0})}{dz_{0}}}\right)^{-1}\right|$

По идентичности $\det(A^{-1})=\det(A)^{-1}$ (где $A$ обратимая матрица ), имеем:

$p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|^{-1}$

Вероятность журнала таким образом:

$\log p_{1}(z_{1})=\log p_{0}(z_{0})-\log \left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|$

В общем, сказанное выше применимо к любому $z_{i}$ и $z_{i-1}$. С $\log p_{i}(z_{i})$ равно $\log p_{i-1}(z_{i-1})$ вычитая нерекурсивный член, мы можем по индукции заключить , что:

$\log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|$

Метод обучения

Как обычно это делается при обучении модели глубокого обучения, цель нормализации потоков состоит в том, чтобы минимизировать расхождение Кульбака-Лейблера между вероятностью модели и целевым распределением, которое необходимо оценить. Обозначая $p_{\theta }$ вероятность модели и $p^{*}$ целевое распределение, которое нужно изучить, (прямое) KL-дивергенция:

$D_{KL}[p^{*}(x)||p_{\theta }(x)]=-\mathbb {E} _{p^{*}(x)}[\log(p_{\theta }(x))]+\mathbb {E} _{p^{*}(x)}[\log(p^{*}(x))]$

Второе слагаемое в правой части уравнения соответствует энтропии целевого распределения и не зависит от параметра $\theta$ мы хотим, чтобы модель обучалась, что оставляет только ожидание минимизации отрицательной логарифмической вероятности при целевом распределении. Этот трудноразрешимый термин можно аппроксимировать методом Монте-Карло путем выборки по значимости . Действительно, если у нас есть набор данных $\{x_{i}\}_{i=1:N}$ выборок, каждая из которых независимо взята из целевого распределения $p^{*}(x)$, то этот член можно оценить как:

$-{\hat {\mathbb {E} }}_{p^{*}(x)}[\log(p_{\theta }(x))]=-{\frac {1}{N}}\sum _{i=0}^{N}\log(p_{\theta }(x_{i}))$

Таким образом, цель обучения

${\underset {\theta }{\operatorname {arg\,min} }}\ D_{KL}[p^{*}(x)||p_{\theta }(x)]$

заменяется на

${\underset {\theta }{\operatorname {arg\,max} }}\ \sum _{i=0}^{N}\log(p_{\theta }(x_{i}))$

Другими словами, минимизация расхождения Кульбака-Лейблера между правдоподобием модели и целевым распределением эквивалентна максимизации правдоподобия модели при наблюдаемых выборках целевого распределения.

Псевдокод для обучения нормализации потоков выглядит следующим образом:

• ВХОД. набор данных $x_{1:n}$, нормирующая модель потока $f_{\theta }(\cdot ),p_{0}$.
• РЕШАТЬ. $\max _{\theta }\sum _{j}\ln p_{\theta }(x_{j})$ по градиентному спуску
• ВОЗВРАЩАТЬСЯ. ${\hat {\theta }}$

Варианты

Плоский поток

Самый ранний пример. Исправлена ​​некоторая функция активации $h$, и пусть $\theta =(u,w,b)$ соответствующих размеров, то $$x=f_{\theta }(z)=z+uh(\langle w,z\rangle +b)$$Обратное $f_{\theta }^{-1}$ вообще не имеет решения в замкнутой форме.

Якобиан - это $|\det(I+h'(\langle w,z\rangle +b)uw^{T})|=|1+h'(\langle w,z\rangle +b)\langle u,w\rangle |$.

Чтобы оно было обратимым везде, оно должно быть везде ненулевым. Например, $h=\tanh$ и $\langle u,w\rangle >-1$ удовлетворяет требованию.

Нелинейная оценка независимых компонентов (NICE)

Позволять $x,z\in \mathbb {R} ^{2n}$ быть четными и разделить их посередине. Тогда нормирующие функции потока будут $$x={\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}=f_{\theta }(z)={\begin{bmatrix}z_{1}\\z_{2}\end{bmatrix}}+{\begin{bmatrix}0\\m_{\theta }(z_{1})\end{bmatrix}}$$где $m_{\theta }$ это любая нейронная сеть с весами $\theta$.

$f_{\theta }^{-1}$ это просто $z_{1}=x_{1},z_{2}=x_{2}-m_{\theta }(x_{1})$, а якобиан равен всего 1, то есть поток сохраняет объем.

Когда $n=1$, это выглядит как изогнутый сдвиг вдоль $x_{2}$ направление.

Реальное сохранение объема (реальный NVP)

Модель реального несохранения объема обобщает модель NICE следующим образом: $$x={\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}=f_{\theta }(z)={\begin{bmatrix}z_{1}\\e^{s_{\theta }(z_{1})}\odot z_{2}\end{bmatrix}}+{\begin{bmatrix}0\\m_{\theta }(z_{1})\end{bmatrix}}$$

Его обратная сторона $z_{1}=x_{1},z_{2}=e^{-s_{\theta }(x_{1})}\odot (x_{2}-m_{\theta }(x_{1}))$, а его якобиан $\prod _{i=1}^{n}e^{s_{\theta }(z_{1,})}$. Модель NICE восстанавливается путем установки $s_{\theta }=0$.Поскольку карта Real NVP сохраняет первую и вторую половины вектора $x$ отдельно, обычно требуется добавить перестановку $(x_{1},x_{2})\mapsto (x_{2},x_{1})$ после каждого слоя Real NVP.

Генеративный поток (Свечение)

В модели генеративного потока каждый слой состоит из 3 частей:

• аффинное преобразование по каналам $$y_{cij}=s_{c}(x_{cij}+b_{c})$$с якобианом $\prod _{c}s_{c}^{HW}$.
• обратимая свертка 1x1 $$z_{cij}=\sum _{c'}K_{cc'}y_{cij}$$с якобианом $\det(K)^{HW}$. Здесь $K$ — любая обратимая матрица.
• Реальный NVP с якобианом, описанным в Real NVP.

Идея использования обратимой свертки 1x1 состоит в том, чтобы переставлять все слои в целом, а не просто переставлять местами первую и вторую половины, как в Real NVP.

Маскированный авторегрессионный поток (MAF)

Авторегрессионная модель распределения по $\mathbb {R} ^{n}$ определяется как следующий случайный процесс:

$${\begin{aligned}x_{1}\sim &N(\mu _{1},\sigma _{1}^{2})\\x_{2}\sim &N(\mu _{2}(x_{1}),\sigma _{2}(x_{1})^{2})\\&\cdots \\x_{n}\sim &N(\mu _{n}(x_{1:n-1}),\sigma _{n}(x_{1:n-1})^{2})\\\end{aligned}}$$где $\mu _{i}:\mathbb {R} ^{i-1}\to \mathbb {R}$ и $\sigma _{i}:\mathbb {R} ^{i-1}\to (0,\infty )$ — фиксированные функции, определяющие авторегрессионную модель.

С помощью трюка с репараметризацией авторегрессионная модель обобщается до нормализующего потока: $${\begin{aligned}x_{1}=&\mu _{1}+\sigma _{1}z_{1}\\x_{2}=&\mu _{2}(x_{1})+\sigma _{2}(x_{1})z_{2}\\&\cdots \\x_{n}=&\mu _{n}(x_{1:n-1})+\sigma _{n}(x_{1:n-1})z_{n}\\\end{aligned}}$$Авторегрессионную модель восстанавливают, установив $z\sim N(0,I_{n})$.

Прямое отображение медленное (поскольку оно последовательное), но обратное отображение быстрое (поскольку оно параллельное).

Матрица Якобиана является нижнедиагональной, поэтому якобиан равен $\sigma _{1}\sigma _{2}(x_{1})\cdots \sigma _{n}(x_{1:n-1})$.

Переворачивание двух карт $f_{\theta }$ и $f_{\theta }^{-1}$ Результатом MAF является обратный авторегрессионный поток (IAF), который имеет быстрое прямое отображение и медленное обратное отображение.

Непрерывный нормализующий поток (CNF)

Вместо построения потока посредством композиции функций другой подход состоит в том, чтобы сформулировать поток как динамику, действующую в непрерывном времени. Позволять $z_{0}$ быть скрытой переменной с распределением $p(z_{0})$. Сопоставьте эту скрытую переменную с пространством данных с помощью следующей функции потока:

$x=F(z_{0})=z_{T}=z_{0}+\int _{0}^{T}f(z_{t},t)dt$

где $f$ является произвольной функцией и может быть смоделирован, например, с помощью нейронных сетей.

Тогда обратная функция, естественно:

$z_{0}=F^{-1}(x)=z_{T}+\int _{T}^{0}f(z_{t},t)dt=z_{T}-\int _{0}^{T}f(z_{t},t)dt$

И логарифмическая вероятность $x$ можно найти как:

$\log(p(x))=\log(p(z_{0}))-\int _{0}^{T}{\text{Tr}}\left[{\frac {\partial f}{\partial z_{t}}}\right]dt$

Поскольку след зависит только от диагонали якобиана $\partial _{z_{t}}f$, это позволяет якобиану «свободной формы». Здесь «свободная форма» означает отсутствие ограничений на форму якобиана. Это контрастирует с предыдущими дискретными моделями нормализующего потока, в которых якобиан тщательно разрабатывается так, чтобы быть только верхней или нижней диагональю, чтобы якобиан можно было эффективно оценить.

След можно оценить с помощью «приема Хатчинсона»:

Учитывая любую матрицу $W\in \mathbb {R} ^{n\times n}$и любое случайное $u\in \mathbb {R} ^{n}$ с $E[uu^{T}]=I$, у нас есть $E[u^{T}Wu]=tr(W)$. (Доказательство: непосредственно расширить ожидание.)

Обычно случайный вектор выбирается из $N(0,I)$ (нормальное распределение) или $\{\pm n^{-1/2}\}^{n}$ ( распределение Радамахера ).

Когда $f$ реализован как нейронная сеть, нейронного ОДУ методы понадобится. Действительно, CNF был впервые предложен в той же статье, в которой предлагалось нейронное ОДУ.

Есть два основных недостатка КНФ: один из них заключается в том, что непрерывный поток должен быть гомеоморфизмом , таким образом, сохраняя ориентацию и объемлющую изотопию (например, невозможно перевернуть левую руку в правую путем непрерывной деформации пространства, и это невозможно вывернуть сферу наизнанку или развязать узел), а во-вторых, выученный поток $f$ может вести себя плохо из-за вырождения (то есть существует бесконечное число возможных вариантов). $f$ все это решает одну и ту же проблему).

Добавляя дополнительные измерения, CNF получает достаточную свободу, чтобы изменить ориентацию и выйти за рамки внешней изотопии (точно так же, как можно взять многоугольник со стола и перевернуть его в трехмерном пространстве или развязать узел в четырехмерном пространстве). что дает «расширенную нейронную ОДУ».

Любой гомеоморфизм $\mathbb {R} ^{n}$ может быть аппроксимировано нейронным ОДУ, работающим на $\mathbb {R} ^{2n+1}$, доказанное путем объединения теоремы вложения Уитни для многообразий и универсальной теоремы аппроксимации для нейронных сетей.

Чтобы упорядочить поток $f$, можно наложить потери на регуляризацию. Бумага предложил следующие потери при регуляризации, основанные на теории оптимального транспорта : $$\lambda _{K}\int _{0}^{T}\left\|f(z_{t},t)\right\|^{2}dt+\lambda _{J}\int _{0}^{T}\left\|\nabla _{z}f(z_{t},t)\right\|_{F}^{2}dt$$где $\lambda _{K},\lambda _{J}>0$ являются гиперпараметрами. Первый член наказывает модель за колебания поля потока во времени, а второй член наказывает ее за колебания поля потока в пространстве. Оба термина вместе направляют модель в плавный (не «ухабистый») поток в пространстве и времени.

Недостатки

Несмотря на успех нормализации потоков в оценке многомерных плотностей, в их конструкциях все еще существуют некоторые недостатки. Прежде всего, их скрытое пространство, на которое проецируются входные данные, не является пространством меньшей размерности, и поэтому модели, основанные на потоках, по умолчанию не допускают сжатия данных и требуют большого количества вычислений. Однако с их помощью по-прежнему можно выполнять сжатие изображений.

Модели, основанные на потоках, также известны своей неспособностью оценить вероятность появления выборок, выходящих за пределы распределения (т. е. выборок, которые были взяты из того же распределения, что и обучающий набор). Для объяснения этого явления был сформулирован ряд гипотез, среди которых гипотеза типичного множества , проблемы оценки при обучении моделей, или фундаментальные проблемы, связанные с энтропией распределения данных.

Одним из наиболее интересных свойств нормализующих потоков является обратимость их изученного биективного отображения. Это свойство обеспечивается ограничениями при разработке моделей (см.: RealNVP, Glow), которые гарантируют теоретическую обратимость. Целостность обратного процесса важна для обеспечения применимости теоремы о замене переменной , вычисления якобиана карты , а также выборки с помощью модели. Однако на практике эта обратимость нарушается, и обратное отображение взрывается из-за числовой неточности.

Приложения

Генеративные модели на основе потоков применялись для решения различных задач моделирования, в том числе:

• Генерация звука
• Генерация изображений
• Генерация молекулярных графов
• Моделирование облаков точек
• Генерация видео
• Сжатие изображений с потерями
• Обнаружение аномалий

Внешние ссылки

• Глубокие генеративные модели на основе потоков
• Нормализация моделей потока