Вассерштейн ГАН

Генеративно-состязательная сеть Вассерштейна (WGAN) — это вариант генеративно-состязательной сети (GAN), предложенный в 2017 году, целью которого является «повышение стабильности обучения, избавление от таких проблем, как коллапс режима, и предоставление значимых кривых обучения, полезных для отладки и поиска гиперпараметров». ".

По сравнению с исходным дискриминатором GAN, дискриминатор GAN Вассерштейна обеспечивает лучший обучающий сигнал для генератора. Это позволяет обучению быть более стабильным, когда генератор изучает распределения в пространствах очень большой размерности.

Мотивация

Игра ГАН

Оригинальный метод GAN основан на игре GAN, игре с нулевой суммой, в которой участвуют два игрока: генератор и дискриминатор. Игра определена в вероятностном пространстве $(\Omega ,{\mathcal {B}},\mu _{ref})$ генератора , Набор стратегий представляет собой набор всех вероятностных мер $\mu _{G}$ на $(\Omega ,{\mathcal {B}})$, а набор стратегий дискриминатора — это набор измеримых функций $D:\Omega \to [0,1]$.

Цель игры: $$L(\mu _{G},D):=\mathbb {E} _{x\sim \mu _{ref}}[\ln D(x)]+\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))].$$Генератор стремится минимизировать его, а дискриминатор — максимизировать.

Основная теорема игры GAN гласит, что

Теорема   (оптимальный дискриминатор вычисляет расхождение Дженсена – Шеннона) — Для любой стратегии фиксированного генератора $\mu _{G}$, пусть оптимальным ответом будет $D^{*}=\arg \max _{D}L(\mu _{G},D)$, затем

$${\begin{aligned}D^{*}(x)&={\frac {d\mu _{ref}}{d(\mu _{ref}+\mu _{G})}}\\L(\mu _{G},D^{*})&=2D_{JS}(\mu _{ref};\mu _{G})-2\ln 2,\end{aligned}}$$

где производная – производная Радона–Никодима , а $D_{JS}$ – расхождение Дженсена–Шеннона .

Повторите игру GAN много раз, каждый раз сначала двигаясь генератор, а потом дискриминатор. Каждый раз генератор $\mu _{G}$ изменения, дискриминатор должен адаптироваться, приближаясь к идеальному $$D^{*}(x)={\frac {d\mu _{ref}}{d(\mu _{ref}+\mu _{G})}}.$$Поскольку мы действительно заинтересованы в $\mu _{ref}$, функция дискриминатора $D$ само по себе довольно неинтересно. Он просто отслеживает отношение правдоподобия между распределением генератора и эталонным распределением. В состоянии равновесия дискриминатор просто выводит ${\frac {1}{2}}$ постоянно, отказавшись от попыток воспринять какую-либо разницу.

Конкретно в игре GAN починим генератор $\mu _{G}$и улучшайте дискриминатор шаг за шагом, используя $\mu _{D,t}$ быть дискриминатором на шаге $t$. Тогда мы (в идеале) имеем $$L(\mu _{G},\mu _{D,1})\leq L(\mu _{G},\mu _{D,2})\leq \cdots \leq \max _{\mu _{D}}L(\mu _{G},\mu _{D})=2D_{JS}(\mu _{ref}\|\mu _{G})-2\ln 2,$$Итак, мы видим, что дискриминатор на самом деле ограничивает нижнюю границу $D_{JS}(\mu _{ref}\|\mu _{G})$.

Расстояние Вассерштейна

Таким образом, мы видим, что задача дискриминатора состоит в основном в том, чтобы обеспечивать генератору обратную связь о том, «насколько он далек от совершенства», где «далеко» определяется как расхождение Дженсена-Шеннона.

Естественно, это дает возможность использовать другие критерии дальности. Существует множество возможных расхождений на выбор, например семейство f-дивергенций , которое дает f-GAN.

GAN Вассерштейна получается с использованием метрики Вассерштейна , которая удовлетворяет «теореме двойного представления», что делает его очень эффективным для вычислений:

Теорема   (двойственность Канторовича-Рубинштейна) — Когда вероятностное пространство $\Omega$ является метрическим пространством, то для любого фиксированного $K>0$, $$W_{1}(\mu ,\nu )={\frac {1}{K}}\sup _{\|f\|_{L}\leq K}\mathbb {E} _{x\sim \mu }[f(x)]-\mathbb {E} _{y\sim \nu }[f(y)]$$где $\|\cdot \|_{L}$ является нормой Липшица .

Доказательство можно найти на главной странице метрики Вассерштейна .

Определение

Согласно двойственности Канторовича-Рубинштейна, определение GAN Вассерштейна ясно:

Игра Вассерштейна GAN определяется вероятностным пространством. $(\Omega ,{\mathcal {B}},\mu _{ref})$, где $\Omega$ является метрическим пространством и константой $K>0$.

Есть 2 игрока: генератор и дискриминатор (также называемый «критик»).

генератора Набор стратегий представляет собой набор всех вероятностных мер. $\mu _{G}$ на $(\Omega ,{\mathcal {B}})$.

Множество стратегий дискриминатора представляет собой множество измеримых функций типа $D:\Omega \to \mathbb {R}$ с ограниченной липшицевой нормой: $\|D\|_{L}\leq K$.

Игра Вассерштейна GAN — это игра с нулевой суммой и целевой функцией. $$L_{WGAN}(\mu _{G},D):=\mathbb {E} _{x\sim \mu _{G}}[D(x)]-\mathbb {E} _{x\sim \mu _{ref}}[D(x)].$$

Генератор идет первым, а дискриминатор — вторым. Генератор стремится минимизировать цель, а дискриминатор стремится максимизировать цель: $$\min _{\mu _{G}}\max _{D}L_{WGAN}(\mu _{G},D).$$

По двойственности Канторовича-Рубинштейна для любой порождающей стратегии $\mu _{G}$, оптимальный ответ дискриминатора $D^{*}$, такой, что $$L_{WGAN}(\mu _{G},D^{*})=K\cdot W_{1}(\mu _{G},\mu _{ref}).$$Следовательно, если дискриминатор хороший, генератор будет постоянно стремиться минимизировать $W_{1}(\mu _{G},\mu _{ref})$, и оптимальная стратегия для генератора — это просто $\mu _{G}=\mu _{ref}$, как и должно быть.

Сравнение с ГАН

В игре Вассерштейна GAN дискриминатор обеспечивает лучший градиент, чем в игре GAN.

Рассмотрим, например, игру на реальной линии, в которой оба $\mu _{G}$ и $\mu _{ref}$ являются гауссовскими. Тогда оптимальный критик Вассерштейна $D_{WGAN}$ и оптимальный дискриминатор GAN $D$ построены, как показано ниже:

Оптимальный критик Вассерштейна $D_{WGAN}$ и оптимальный дискриминатор GAN $D$ для фиксированного эталонного распределения $\mu _{ref}$ и распределение генераторов $\mu _{G}$. И критик Вассерштейна $D_{WGAN}$ и дискриминатор GAN $D$ уменьшены в соответствии с сюжетом.

Для фиксированного дискриминатора генератор должен минимизировать следующие цели:

• Для ГАН, $\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))]$.
• Для Вассерштейна ГАН, $\mathbb {E} _{x\sim \mu _{G}}[D_{WGAN}(x)]$.

Позволять $\mu _{G}$ параметризоваться $\theta$, то мы можем выполнить стохастический градиентный спуск , используя две несмещенные оценки градиента: $$\nabla _{\theta }\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))]=\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))\cdot \nabla _{\theta }\ln \rho _{\mu _{G}}(x)]$$$$\nabla _{\theta }\mathbb {E} _{x\sim \mu _{G}}[D_{WGAN}(x)]=\mathbb {E} _{x\sim \mu _{G}}[D_{WGAN}(x)\cdot \nabla _{\theta }\ln \rho _{\mu _{G}}(x)]$$где мы использовали трюк с репараметризацией .

Тот же сюжет, но с дискриминатором GAN $D$ заменен на $\ln(1-D)$ (и уменьшено в соответствии с сюжетом)

Как показано, генератор в GAN мотивирован позволить своему $\mu _{G}$ «скатиться с вершины» $\ln(1-D(x))$. Аналогично и для генератора Вассерштейна GAN.

Для Вассерштейна ГАН, $D_{WGAN}$ почти везде имеет градиент 1, а для GAN $\ln(1-D)$ имеет пологий уклон посередине и крутой уклон в других местах. В результате дисперсия оценки в GAN обычно намного больше, чем в GAN Вассерштейна. См. также рисунок 3.

Проблема с $D_{JS}$ гораздо более серьезен в реальных ситуациях машинного обучения. Рассмотрите возможность обучения GAN для создания ImageNet — коллекции фотографий размером 256 на 256 пикселей. Пространство всех таких фотографий $\mathbb {R} ^{256^{2}}$и распространение изображений ImageNet, $\mu _{ref}$, концентрируется на многообразии гораздо меньшей размерности в нем. Следовательно, любая генераторная стратегия $\mu _{G}$ почти наверняка будет полностью непересекающимся с $\mu _{ref}$, изготовление $D_{JS}(\mu _{G}\|\mu _{ref})=+\infty$. Таким образом, хороший дискриминатор может почти идеально различать $\mu _{ref}$ от $\mu _{G}$, а также любой $\mu _{G}'$ близко к $\mu _{G}$. Таким образом, градиент $\nabla _{\mu _{G}}L(\mu _{G},D)\approx 0$, не создавая обучающего сигнала для генератора.

Подробные теоремы можно найти в .

Обучение GAN Вассерштейна

Обучение генератора в GAN Вассерштейна — это просто градиентный спуск , такой же, как в GAN (или большинстве методов глубокого обучения), но обучение дискриминатора отличается, поскольку теперь дискриминатор ограничен ограниченной липшицевой нормой. Для этого существует несколько методов.

Верхняя граница нормы Липшица

Пусть функция дискриминатора $D$ будет реализован многослойным перцептроном : $$D=D_{n}\circ D_{n-1}\circ \cdots \circ D_{1}$$где $D_{i}(x)=h(W_{i}x)$, и $h:\mathbb {R} \to \mathbb {R}$ фиксированная функция активации с $\sup _{x}|h'(x)|\leq 1$. Например, функция гиперболического тангенса $h=\tanh$ удовлетворяет требованию.

Тогда для любого $x$, позволять $x_{i}=(D_{i}\circ D_{i-1}\circ \cdots \circ D_{1})(x)$, мы имеем по правилу цепочки : $$dD(x)=diag(h'(W_{n}x_{n-1}))\cdot W_{n}\cdot diag(h'(W_{n-1}x_{n-2}))\cdot W_{n-1}\cdots diag(h'(W_{1}x))\cdot W_{1}\cdot dx$$Таким образом, липшицева норма $D$ ограничен сверху $$\|D\|_{L}\leq \sup _{x}\|diag(h'(W_{n}x_{n-1}))\cdot W_{n}\cdot diag(h'(W_{n-1}x_{n-2}))\cdot W_{n-1}\cdots diag(h'(W_{1}x))\cdot W_{1}\|_{F}$$где $\|\cdot \|_{s}$ — операторная норма матрицы, т. е. наибольшее сингулярное значение матрицы, т. е. спектральный радиус матрицы (эти понятия одинаковы для матриц, но различны для общих линейных операторов ).

С $\sup _{x}|h'(x)|\leq 1$, у нас есть $\|diag(h'(W_{i}x_{i-1}))\|_{s}=\max _{j}|h'(W_{i}x_{i-1,j})|\leq 1$, и, следовательно, верхняя граница: $$\|D\|_{L}\leq \prod _{i=1}^{n}\|W_{i}\|_{s}$$Таким образом, если мы сможем оценить операторные нормы сверху $\|W_{i}\|_{s}$ каждой матрицы мы можем оценить сверху липшицеву норму $D$.

Отсечение веса

Поскольку для любого $m\times l$ матрица $W$, позволять $c=\max _{i,j}|W_{i,j}|$, у нас есть $$\|W\|_{s}^{2}=\sup _{\|x\|_{2}=1}\|Wx\|_{2}^{2}=\sup _{\|x\|_{2}=1}\sum _{i}\left(\sum _{j}W_{i,j}x_{j}\right)^{2}=\sup _{\|x\|_{2}=1}\sum _{i,j,k}W_{ij}W_{ik}x_{j}x_{k}\leq c^{2}ml^{2}$$путем обрезки всех записей $W$ с точностью до некоторого интервала $[-c,c]$, у нас есть банка, связанная $\|W\|_{s}$.

Это метод ограничения веса, предложенный в оригинальной статье.

Спектральная нормализация

Спектральный радиус можно эффективно вычислить по следующему алгоритму:

ВХОДНАЯ матрица $W$ и первоначальное предположение $x$

Итерировать $x\mapsto {\frac {1}{\|Wx\|_{2}}}Wx$ к сближению $x^{*}$. Это собственный вектор $W$ с собственным значением $\|W\|_{s}$.

ВОЗВРАЩАТЬСЯ $x^{*},\|Wx^{*}\|_{2}$

Путем переназначения $W_{i}\leftarrow {\frac {W_{i}}{\|W_{i}\|_{s}}}$ после каждого обновления дискриминатора мы можем оценить верхнюю границу $\|W_{i}\|_{s}\leq 1$, и, таким образом, верхняя граница $\|D\|_{L}$.

Алгоритм можно дополнительно ускорить за счет запоминания : На шаге $t$, магазин $x_{i}^{*}(t)$. Затем на шаге $t+1$, использовать $x_{i}^{*}(t)$ как начальное предположение для алгоритма. С $W_{i}(t+1)$ очень близко к $W_{i}(t)$, так и есть $x_{i}^{*}(t)$ близко к $x_{i}^{*}(t+1)$, так что это обеспечивает быструю сходимость.

Это метод спектральной нормализации.

Градиентный штраф

Вместо строгого ограничения $\|D\|_{L}$, мы можем просто добавить к дискриминатору термин «штраф за градиент» вида $$\mathbb {E} _{x\sim {\hat {\mu }}}[(\|\nabla D(x)\|_{2}-a)^{2}]$$где ${\hat {\mu }}$ — это фиксированное распределение, используемое для оценки того, насколько дискриминатор нарушил требование нормы Липшица.Дискриминатор, пытаясь минимизировать новую функцию потерь, естественно, принесет $\nabla D(x)$ близко к $a$ повсюду, тем самым создавая $\|D\|_{L}\approx a$.

Это метод градиентного штрафа.

Дальнейшее чтение

• От GAN к WGAN
• Вассерштейн ГАН и двойственность Канторовича-Рубинштейна
• Обучение в глубину: Вассерштейн ГАН

См. также

• Генеративно-состязательная сеть
• Метрика Вассерштейна
• Расстояние землеройной машины
• Теория транспорта