Генеративно-состязательная сеть

Не путать с состязательным машинным обучением .

Иллюстрация того, как работает GAN.

Генеративно -состязательная сеть ( GAN ) — это класс фреймворков машинного обучения и ведущая основа для подхода к генеративному ИИ . Первоначально концепция была разработана Яном Гудфеллоу и его коллегами в июне 2014 года. В GAN две нейронные сети соревнуются друг с другом в форме игры с нулевой суммой , где выигрыш одного агента является проигрышем другого агента.

Учитывая обучающий набор, этот метод учится генерировать новые данные с той же статистикой, что и обучающий набор. Например, GAN, обученный на фотографиях, может создавать новые фотографии, которые выглядят, по крайней мере, на первый взгляд, аутентичными для людей-наблюдателей и имеют множество реалистичных характеристик. Хотя изначально GAN были предложены как форма генеративной модели для обучения без учителя , они также оказались полезными для обучения с полуконтролем . полным обучение под контролем , и обучение с подкреплением .

Основная идея GAN основана на «косвенном» обучении через дискриминатор, еще одну нейронную сеть, которая может определить, насколько «реалистичным» кажется входной сигнал, который сам по себе также динамически обновляется. Это означает, что генератор не обучен минимизировать расстояние до конкретного изображения, а скорее обманывает дискриминатор. Это позволяет модели обучаться без присмотра.

GAN похожи на мимикрию в эволюционной биологии с эволюционной гонкой вооружений между обеими сетями.

Определение

Математический

Оригинальный GAN определяется как следующая игра :

Каждое вероятностное пространство $(\Omega ,\mu _{\text{ref}})$ определяет игру GAN.

Есть 2 игрока: генератор и дискриминатор.

генератора стратегий Набор ${\mathcal {P}}(\Omega )$, множество всех вероятностных мер $\mu _{G}$ на $\Omega$.

Набор стратегий дискриминатора представляет собой набор марковских ядер. $\mu _{D}:\Omega \to {\mathcal {P}}[0,1]$, где ${\mathcal {P}}[0,1]$ представляет собой набор вероятностных мер на $[0,1]$.

Игра GAN — это игра с нулевой суммой и целевой функцией.

$$L(\mu _{G},\mu _{D}):=\mathbb {E} _{x\sim \mu _{\text{ref}},y\sim \mu _{D}(x)}[\ln y]+\mathbb {E} _{x\sim \mu _{G},y\sim \mu _{D}(x)}[\ln(1-y)].$$

Генератор стремится минимизировать цель, а дискриминатор стремится максимизировать цель.

Задача генератора – приблизиться $\mu _{G}\approx \mu _{\text{ref}}$, то есть максимально точно согласовать собственное выходное распределение с эталонным распределением. Задача дискриминатора состоит в том, чтобы вывести значение, близкое к 1, когда входные данные кажутся полученными из эталонного распределения, и вывести значение, близкое к 0, когда входные данные выглядят так, как будто они получены из генераторного распределения.

На практике

Генеративная дискриминативная сеть генерирует кандидатов, а сеть их оценивает. Конкурс работает с точки зрения распределения данных. Обычно генеративная сеть учится отображать скрытое пространство на интересующее распределение данных, в то время как дискриминативная сеть отличает кандидатов, созданных генератором, от истинного распределения данных. Целью обучения генеративной сети является увеличение частоты ошибок дискриминационной сети (т. е. «обманывать» дискриминационную сеть, создавая новых кандидатов, которые, по мнению дискриминатора, не синтезируются (являются частью истинного распределения данных)).

Известный набор данных служит исходными данными для обучения дискриминатора. Обучение предполагает предоставление ему выборок из набора обучающих данных до тех пор, пока он не достигнет приемлемой точности. Генератор обучается на основе того, удалось ли ему обмануть дискриминатор. Обычно генератор заполняется рандомизированными входными данными, которые выбираются из заранее определенного скрытого пространства (например, многомерного нормального распределения ). После этого кандидаты, синтезированные генератором, оцениваются дискриминатором. К обеим сетям применяются независимые процедуры обратного распространения ошибки , так что генератор производит более качественные выборки, а дискриминатор становится более опытным в маркировке синтетических выборок. При использовании для генерации изображений генератор обычно представляет собой деконволюционную нейронную сеть , а дискриминатор — сверточную нейронную сеть .

статистическими методами машинного

GAN — это неявные генеративные модели , это означает, что они не моделируют явно функцию правдоподобия и не предоставляют средств для поиска скрытой переменной, соответствующей данной выборке, в отличие от таких альтернатив, как генеративная модель на основе потоков .

Основные типы глубоких генеративных моделей, выполняющих оценку максимального правдоподобия

По сравнению с полностью видимыми сетями убеждений, такими как WaveNet и PixelRNN, и авторегрессионными моделями в целом, GAN могут генерировать одну полную выборку за один проход, а не за несколько проходов через сеть.

По сравнению с машинами Больцмана и линейным ICA здесь нет ограничений на тип функций, используемых сетью.

Поскольку нейронные сети являются универсальными аппроксиматорами , GAN асимптотически непротиворечивы . Вариационные автоэнкодеры могут быть универсальными аппроксиматорами, но по состоянию на 2017 год это не доказано.

Математические свойства

Теоретико

В этом разделе представлены некоторые математические теории, лежащие в основе этих методов.

В современной теории вероятностей, основанной на теории меры , вероятностное пространство также должно быть оснащено σ-алгеброй . В результате более строгое определение игры GAN внесло бы следующие изменения:

Каждое вероятностное пространство $(\Omega ,{\mathcal {B}},\mu _{\text{ref}})$ определяет игру GAN.

Набор стратегий генератора ${\mathcal {P}}(\Omega ,{\mathcal {B}})$, множество всех вероятностных мер $\mu _{G}$ на пространстве меры $(\Omega ,{\mathcal {B}})$.

Набор стратегий дискриминатора представляет собой набор марковских ядер. $\mu _{D}:(\Omega ,{\mathcal {B}})\to {\mathcal {P}}([0,1],{\mathcal {B}}([0,1]))$, где ${\mathcal {B}}([0,1])$ является борелевской σ-алгеброй на $[0,1]$.

Поскольку вопросы измеримости на практике никогда не возникают, они нас больше не будут касаться.

Выбор набора стратегий

В наиболее общей версии игры GAN, описанной выше, набор стратегий для дискриминатора содержит все марковские ядра. $\mu _{D}:\Omega \to {\mathcal {P}}[0,1]$, а набор стратегий генератора содержит произвольные распределения вероятностей $\mu _{G}$ на $\Omega$.

Однако, как показано ниже, оптимальная стратегия дискриминатора против любого $\mu _{G}$ является детерминированным, поэтому нет потери общности при ограничении стратегий дискриминатора детерминированными функциями. $D:\Omega \to [0,1]$. В большинстве приложений $D$ — это функция глубокой нейронной сети .

Что касается генератора, то $\mu _{G}$ теоретически это может быть любое вычислимое распределение вероятностей, на практике оно обычно реализуется как упреждающее : $\mu _{G}=\mu _{Z}\circ G^{-1}$. То есть начнем со случайной величины $z\sim \mu _{Z}$, где $\mu _{Z}$ — это распределение вероятностей, которое легко вычислить (например, равномерное распределение или распределение Гаусса ), а затем определить функцию $G:\Omega _{Z}\to \Omega$. Тогда распределение $\mu _{G}$ это распределение $G(z)$.

Следовательно, стратегия генератора обычно определяется как просто $G$, уход $z\sim \mu _{Z}$скрытый. В этом формализме цель игры GAN такова:

$$L(G,D):=\mathbb {E} _{x\sim \mu _{\text{ref}}}[\ln D(x)]+\mathbb {E} _{z\sim \mu _{Z}}[\ln(1-D(G(z)))].$$

Генеративная репараметризация

Архитектура GAN состоит из двух основных компонентов. Один из них — это внедрение оптимизации в игру в форме $\min _{G}\max _{D}L(G,D)$, отличающийся от обычного вида оптимизации, вида $\min _{\theta }L(\theta )$. Другое дело – разложение $\mu _{G}$ в $\mu _{Z}\circ G^{-1}$, что можно понимать как трюк с перепараметризацией.

Чтобы понять его значение, необходимо сравнить GAN с предыдущими методами обучения генеративных моделей, которые страдали от «неразрешимых вероятностных вычислений, возникающих при оценке максимального правдоподобия и связанных с ними стратегиях».

В то же время Кингма и Веллинг и Резенде и др. разработал ту же идею репараметризации в общий стохастический метод обратного распространения ошибки. Среди первых его применений был вариационный автоэнкодер .

перемещения и

В исходной статье, как и в большинстве последующих статей, обычно предполагается, что генератор движется первым , а дискриминатор движется вторым , что дает следующую минимаксную игру:

$$\min _{\mu _{G}}\max _{\mu _{D}}L(\mu _{G},\mu _{D}):=\mathbb {E} _{x\sim \mu _{\text{ref}},y\sim \mu _{D}(x)}[\ln y]+\mathbb {E} _{x\sim \mu _{G},y\sim \mu _{D}(x)}[\ln(1-y)].$$

Если множества стратегий генератора и дискриминатора охватываются конечным числом стратегий, то по теореме о минимаксе

$$\min _{\mu _{G}}\max _{\mu _{D}}L(\mu _{G},\mu _{D})=\max _{\mu _{D}}\min _{\mu _{G}}L(\mu _{G},\mu _{D})$$

то есть порядок хода не имеет значения.

Однако, поскольку оба множества стратегий не являются конечно ограниченными, теорема о минимаксе неприменима, и идея «равновесия» становится деликатной. А именно, существуют следующие различные концепции равновесия:

• Равновесие, когда генератор движется первым, а дискриминатор движется вторым:
  $${\hat {\mu }}_{G}\in \arg \min _{\mu _{G}}\max _{\mu _{D}}L(\mu _{G},\mu _{D}),\quad {\hat {\mu }}_{D}\in \arg \max _{\mu _{D}}L({\hat {\mu }}_{G},\mu _{D}),\quad$$
• Равновесие, когда дискриминатор движется первым, а генератор движется вторым:
  $${\hat {\mu }}_{D}\in \arg \max _{\mu _{D}}\min _{\mu _{G}}L(\mu _{G},\mu _{D}),\quad {\hat {\mu }}_{G}\in \arg \min _{\mu _{G}}L(\mu _{G},{\hat {\mu }}_{D}),$$
• равновесие по Нэшу $({\hat {\mu }}_{D},{\hat {\mu }}_{G})$, который стабилен при одновременном порядке перемещения:
  $${\hat {\mu }}_{D}\in \arg \max _{\mu _{D}}L({\hat {\mu }}_{G},\mu _{D}),\quad {\hat {\mu }}_{G}\in \arg \min _{\mu _{G}}L(\mu _{G},{\hat {\mu }}_{D})$$

Для общих игр эти равновесия не обязательно должны совпадать или даже существовать. В оригинальной игре GAN все эти равновесия существуют и все равны. Однако для более общих игр GAN они не обязательно существуют или согласуются друг с другом.

игры

В оригинальной статье GAN были доказаны следующие две теоремы:

Теорема   (оптимальный дискриминатор вычисляет расхождение Дженсена – Шеннона) — Для любой стратегии фиксированного генератора $\mu _{G}$, пусть оптимальным ответом будет $D^{*}=\arg \max _{D}L(\mu _{G},D)$, затем

$${\begin{aligned}D^{*}(x)&={\frac {d\mu _{\text{ref}}}{d(\mu _{\text{ref}}+\mu _{G})}}\\L(\mu _{G},D^{*})&=2D_{JS}(\mu _{\text{ref}};\mu _{G})-2\ln 2\end{aligned}}$$

где производная – производная Радона–Никодима , а $D_{JS}$ – расхождение Дженсена–Шеннона .

Доказательство

По неравенству Йенсена

$$\mathbb {E} _{x\sim \mu _{\text{ref}},y\sim \mu _{D}(x)}[\ln y]\leq \mathbb {E} _{x\sim \mu _{\text{ref}}}[\ln \mathbb {E} _{y\sim \mu _{D}(x)}[y]]$$

и аналогично для другого термина. Следовательно, оптимальный ответ может быть детерминированным, т.е. $\mu _{D}(x)=\delta _{D(x)}$ для какой-то функции $D:\Omega \to [0,1]$, в таком случае

$$L(\mu _{G},\mu _{D}):=\mathbb {E} _{x\sim \mu _{\text{ref}}}[\ln D(x)]+\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))].$$

Чтобы определить подходящие функции плотности, мы определяем базовую меру $\mu :=\mu _{\text{ref}}+\mu _{G}$, что позволяет взять производные Радона–Никодима

$$\rho _{\text{ref}}={\frac {d\mu _{\text{ref}}}{d\mu }}\quad \rho _{G}={\frac {d\mu _{G}}{d\mu }}$$

с $\rho _{\text{ref}}+\rho _{G}=1$.

Тогда у нас есть

$$L(\mu _{G},\mu _{D}):=\int \mu (dx)\left[\rho _{\text{ref}}(x)\ln(D(x))+\rho _{G}(x)\ln(1-D(x))\right].$$

Подынтегральная функция — это просто отрицательная перекрестная энтропия между двумя случайными величинами Бернулли с параметрами $\rho _{\text{ref}}(x)$ и $D(x)$. Мы можем написать это как $-H(\rho _{\text{ref}}(x))-D_{KL}(\rho _{\text{ref}}(x)\|D(x))$, где $H$ — это двоичная функция энтропии , поэтому

$$L(\mu _{G},\mu _{D})=-\int \mu (dx)(H(\rho _{\text{ref}}(x))+D_{KL}(\rho _{\text{ref}}(x)\|D(x))).$$

Это означает, что оптимальная стратегия дискриминатора равна $D(x)=\rho _{\text{ref}}(x)$, с

$$L(\mu _{G},\mu _{D}^{*})=-\int \mu (dx)H(\rho _{\text{ref}}(x))=D_{JS}(\mu _{\text{ref}}\|\mu _{G})-2\ln 2$$

после рутинного расчета.

Интерпретация : Для любой стратегии фиксированного генератора. $\mu _{G}$, оптимальный дискриминатор отслеживает отношение правдоподобия между эталонным распределением и распределением генератора:

$${\frac {D(x)}{1-D(x)}}={\frac {d\mu _{\text{ref}}}{d\mu _{G}}}(x)={\frac {\mu _{\text{ref}}(dx)}{\mu _{G}(dx)}};\quad D(x)=\sigma (\ln \mu _{\text{ref}}(dx)-\ln \mu _{G}(dx))$$

где $\sigma$логистическая функция . В частности, если априорная вероятность изображения $x$ исходить из эталонного распределения, равно ${\frac {1}{2}}$, затем $D(x)$ это просто апостериорная вероятность того, что $x$ пришло из эталонного дистрибутива:

$$D(x)=Pr(x{\text{ came from reference distribution}}|x).$$

Теорема   (единственная точка равновесия) . Для любой игры GAN существует пара $({\hat {\mu }}_{D},{\hat {\mu }}_{G})$ это одновременно и последовательное равновесие, и равновесие Нэша:

${\begin{aligned}L({\hat {\mu }}_{G},{\hat {\mu }}_{D})=\min _{\mu _{G}}\max _{\mu _{D}}L(\mu _{G},\mu _{D})=&\max _{\mu _{D}}\min _{\mu _{G}}L(\mu _{G},\mu _{D})=-2\ln 2\\{\hat {\mu }}_{D}\in \arg \max _{\mu _{D}}\min _{\mu _{G}}L(\mu _{G},\mu _{D}),&\quad {\hat {\mu }}_{G}\in \arg \min _{\mu _{G}}\max _{\mu _{D}}L(\mu _{G},\mu _{D})\\{\hat {\mu }}_{D}\in \arg \max _{\mu _{D}}L({\hat {\mu }}_{G},\mu _{D}),&\quad {\hat {\mu }}_{G}\in \arg \min _{\mu _{G}}L(\mu _{G},{\hat {\mu }}_{D})\\\forall x\in \Omega ,{\hat {\mu }}_{D}(x)=\delta _{\frac {1}{2}},&\quad {\hat {\mu }}_{G}=\mu _{\text{ref}}\end{aligned}}$

То есть генератор идеально имитирует эталон, а дискриминатор выдает ${\frac {1}{2}}$ детерминированно на всех входах.

Доказательство

Из предыдущего предложения,

$$\arg \min _{\mu _{G}}\max _{\mu _{D}}L(\mu _{G},\mu _{D})=\mu _{\text{ref}};\quad \min _{\mu _{G}}\max _{\mu _{D}}L(\mu _{G},\mu _{D})=-2\ln 2.$$

Для любой стратегии фиксированного дискриминатора $\mu _{D}$, любой $\mu _{G}$ сосредоточился на съемочной площадке

$$\{x|\mathbb {E} _{y\sim \mu _{D}(x)}[\ln(1-y)]=\inf _{x}\mathbb {E} _{y\sim \mu _{D}(x)}[\ln(1-y)]\}$$

— оптимальная стратегия для генератора. Таким образом,

$$\arg \max _{\mu _{D}}\min _{\mu _{G}}L(\mu _{G},\mu _{D})=\arg \max _{\mu _{D}}\mathbb {E} _{x\sim \mu _{\text{ref}},y\sim \mu _{D}(x)}[\ln y]+\inf _{x}\mathbb {E} _{y\sim \mu _{D}(x)}[\ln(1-y)].$$

Согласно неравенству Йенсена, дискриминатор может улучшиться, только приняв детерминированную стратегию постоянной игры. $D(x)=\mathbb {E} _{y\sim \mu _{D}(x)}[y]$. Поэтому,

$$\arg \max _{\mu _{D}}\min _{\mu _{G}}L(\mu _{G},\mu _{D})=\arg \max _{D}\mathbb {E} _{x\sim \mu _{\text{ref}}}[\ln D(x)]+\inf _{x}\ln(1-D(x))$$

По неравенству Йенсена

$$\ln \mathbb {E} _{x\sim \mu _{\text{ref}}}[D(x)]+\inf _{x}\ln(1-D(x))=\ln \mathbb {E} _{x\sim \mu _{\text{ref}}}[D(x)]+\ln(1-\sup _{x}D(x))=\ln[\mathbb {E} _{x\sim \mu _{\text{ref}}}[D(x)](1-\sup _{x}D(x))]\leq \ln[\sup _{x}D(x))(1-\sup _{x}D(x))]\leq \ln {\frac {1}{4}},$$

с равенством, если $D(x)={\frac {1}{2}}$, так

$$\forall x\in \Omega ,{\hat {\mu }}_{D}(x)=\delta _{\frac {1}{2}};\quad \max _{\mu _{D}}\min _{\mu _{G}}L(\mu _{G},\mu _{D})=-2\ln 2.$$

Наконец, чтобы проверить, что это равновесие по Нэшу, заметим, что когда $\mu _{G}=\mu _{\text{ref}}$, у нас есть

$$L(\mu _{G},\mu _{D}):=\mathbb {E} _{x\sim \mu _{\text{ref}},y\sim \mu _{D}(x)}[\ln(y(1-y))]$$

который всегда максимизируется $y={\frac {1}{2}}$.

Когда $\forall x\in \Omega ,\mu _{D}(x)=\delta _{\frac {1}{2}}$, любая стратегия оптимальна для генератора.

Обучение

Обучение

конвергенция

Хотя игра GAN имеет уникальную глобальную точку равновесия, когда и генератор, и дискриминатор имеют доступ ко всем своим наборам стратегий, равновесие больше не гарантируется, когда у них есть ограниченный набор стратегий.

На практике генератор имеет доступ только к мерам формы $\mu _{Z}\circ G_{\theta }^{-1}$, где $G_{\theta }$ это функция, вычисляемая нейронной сетью с параметрами $\theta$, и $\mu _{Z}$представляет собой легко выбираемое распределение, такое как равномерное или нормальное распределение. Аналогично, дискриминатор имеет доступ только к функциям вида $D_{\zeta }$, функция, вычисляемая нейронной сетью с параметрами $\zeta$. Эти ограниченные наборы стратегий занимают исчезающе малую долю от общего набора стратегий.

Более того, даже если равновесие все еще существует, его можно найти только путем поиска в многомерном пространстве всех возможных функций нейронной сети. Стандартная стратегия использования градиентного спуска для поиска равновесия часто не работает для GAN, и зачастую игра «схлопывается» в один из нескольких режимов сбоя. Чтобы улучшить стабильность сходимости, некоторые стратегии обучения начинаются с более простой задачи, например создания изображений с низким разрешением. или простые изображения (один объект с однородным фоном), и постепенно увеличивайте сложность задания в ходе тренировки. По сути, это означает применение схемы обучения по учебной программе.

Свернуть режим

GAN часто страдают от коллапса режимов , когда они не могут должным образом обобщить, пропуская целые режимы из входных данных. Например, GAN, обученный на наборе данных MNIST , содержащем множество образцов каждой цифры, может генерировать только изображения цифры 0. Это было названо «сценарием Helvetica».

Одна из причин, по которой это может произойти, — если генератор учится слишком быстро по сравнению с дискриминатором. Если дискриминатор $D$ остается постоянным, то оптимальный генератор будет выводить только элементы $\arg \max _{x}D(x)$. Так, например, если во время обучения GAN для генерации набора данных MNIST в течение нескольких эпох дискриминатор почему-то предпочитает цифру 0 немного больше, чем другие цифры, генератор может воспользоваться возможностью сгенерировать только цифру 0, а затем не сможет избежать локального минимум после улучшения дискриминатора.

Некоторые исследователи считают, что корень проблемы заключается в слабой дискриминационной сети, которая не замечает закономерностей упущений, в то время как другие возлагают вину на неправильный выбор целевой функции . Было предложено множество решений, но это все еще открытая проблема.

Даже самая современная архитектура BigGAN (2019) не смогла избежать коллапса режимов. Авторы прибегли к «допущению коллапса на более поздних этапах обучения, когда модель уже достаточно обучена для достижения хороших результатов».

Правило обновления двух временных рамок

Правило обновления двух временных масштабов (TTUR) предлагается для того, чтобы сделать сходимость GAN более стабильной, делая скорость обучения генератора ниже, чем скорость обучения дискриминатора. Авторы утверждали, что генератор должен двигаться медленнее, чем дискриминатор, чтобы он «не постоянно направлял дискриминатор в новые области, не захватывая собранную им информацию».

Они доказали, что общий класс игр, включающий игру GAN, при обучении под TTUR «сходится при мягких предположениях к стационарному локальному равновесию Нэша».

Они также предложили использовать стохастическую оптимизацию Адама. во избежание коллапса режима, а также начальное расстояние Фреше для оценки характеристик GAN.

Исчезающий градиент

И наоборот, если дискриминатор обучается слишком быстро по сравнению с генератором, то дискриминатор может почти идеально различать $\mu _{G_{\theta }},\mu _{\text{ref}}$. В таком случае генератор $G_{\theta }$ может понести очень большие потери независимо от того, в каком направлении он меняет свое направление. $\theta$, что означает, что градиент $\nabla _{\theta }L(G_{\theta },D_{\zeta })$было бы близко к нулю. В таком случае генератор не может обучаться, что является случаем исчезающего градиента проблемы .

Интуитивно говоря, дискриминатор слишком хорош, и поскольку генератор не может сделать ни одного маленького шага (при градиентном спуске учитываются только маленькие шаги) для улучшения своего выигрыша, он даже не пытается.

Одним из важных методов решения этой проблемы является GAN Вассерштейна .

Оценка

GAN обычно оцениваются по начальному показателю (IS), который измеряет, насколько различаются выходные данные генератора (по классификации классификатора изображений, обычно Inception-v3 ), или по начальному расстоянию Фреше (FID), которое измеряет, насколько выходные данные генератора похожи на эталонный набор (классифицированный специалистом по изучению изображений, например Inception-v3, без его последнего слоя). Многие статьи, предлагающие новые архитектуры GAN для генерации изображений, сообщают, как их архитектуры ломают современное состояние FID или IS.

Другой метод оценки - это подобие изученных перцептивных изображений (LPIPS), который начинается с средства определения характеристик изученных изображений. $f_{\theta }:{\text{Image}}\to \mathbb {R} ^{n}$и настраивает его путем контролируемого обучения на наборе $(x,x',{\text{PerceptualDifference}}(x,x'))$, где $x$ это изображение, $x'$ это его искаженная версия, и ${\text{PerceptualDifference}}(x,x')$насколько они различаются, по сообщениям людей. Модель настроена таким образом, что она может приближаться к $\|f_{\theta }(x)-f_{\theta }(x')\|\approx {\text{PerceptualDifference}}(x,x')$. Эта точно настроенная модель затем используется для определения ${\text{LPIPS}}(x,x'):=\|f_{\theta }(x)-f_{\theta }(x')\|$.

Другие методы оценки рассматриваются в .

Варианты

Существует настоящий зоопарк вариантов GAN. Некоторые из наиболее известных из них следующие:

Условный GAN

Условные GAN аналогичны стандартным GAN, за исключением того, что они позволяют модели условно генерировать выборки на основе дополнительной информации. Например, если мы хотим сгенерировать морду кошки по изображению собаки, мы можем использовать условный GAN.

Генератор в игре GAN генерирует $\mu _{G}$, распределение вероятностей в вероятностном пространстве $\Omega$. Это приводит к идее условной GAN, в которой вместо генерации одного распределения вероятностей на $\Omega$, генератор генерирует другое распределение вероятностей $\mu _{G}(c)$ на $\Omega$, для каждой метки класса $c$.

Например, для создания изображений, которые выглядят как ImageNet , генератор должен иметь возможность генерировать изображение кошки, если ему присвоена метка класса «cat».

В оригинальной статье авторы отметили, что GAN можно тривиально расширить до условного GAN, предоставив метки как генератору, так и дискриминатору.

Конкретно, условная игра GAN — это просто игра GAN с предоставленными метками классов:

$$L(\mu _{G},D):=\mathbb {E} _{c\sim \mu _{C},x\sim \mu _{\text{ref}}(c)}[\ln D(x,c)]+\mathbb {E} _{c\sim \mu _{C},x\sim \mu _{G}(c)}[\ln(1-D(x,c))]$$

где $\mu _{C}$ это распределение вероятностей по классам, $\mu _{\text{ref}}(c)$ — распределение вероятностей реальных изображений класса $c$, и $\mu _{G}(c)$ распределение вероятностей изображений, сгенерированных генератором при задании метки класса $c$.

В 2017 году условная GAN научилась генерировать 1000 классов изображений ImageNet .

с

Игра GAN представляет собой общую структуру и может запускаться с любой разумной параметризацией генератора. $G$ и дискриминатор $D$. В оригинальной статье авторы продемонстрировали это с помощью многослойных перцептронных сетей и сверточных нейронных сетей . Было опробовано множество альтернативных архитектур.

Глубокий сверточный GAN (DCGAN): И для генератора, и для дискриминатора используются только глубокие сети, полностью состоящие из слоев свертки-деконволюции, то есть полностью сверточные сети.

Самовнимание ГАН (САГАН): Начинается с DCGAN, затем добавляются стандартные модули самообслуживания к генератору и дискриминатору с остаточным соединением.

Вариационный автоэнкодер GAN (VAEGAN): используется вариационный автоэнкодер Для генератора (VAE).

Трансформатор ГАН (ТрансГАН): Использует чистую архитектуру трансформатора как для генератора, так и для дискриминатора, полностью лишенную слоев свертки-деконволюции.

Поток-ГАН: Использует генеративную модель на основе потока для генератора, что позволяет эффективно вычислять функцию правдоподобия.

альтернативными

Многие варианты GAN получаются просто путем изменения функций потерь для генератора и дискриминатора.

Оригинальный ГАН:

Переделаем исходную цель GAN в более удобную для сравнения форму:

$${\begin{cases}\min _{D}L_{D}(D,\mu _{G})=-\mathbb {E} _{x\sim \mu _{G}}[\ln D(x)]-\mathbb {E} _{x\sim \mu _{\text{ref}}}[\ln(1-D(x))]\\\min _{G}L_{G}(D,\mu _{G})=-\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))]\end{cases}}$$

Исходный GAN, ненасыщающие потери:

Эта цель для генератора была рекомендована в исходной статье для более быстрой сходимости.

$$L_{G}=\mathbb {E} _{x\sim \mu _{G}}[\ln D(x)]$$

Эффект от использования этой цели анализируется в разделе 2.2.2 Арджовски и др.

Исходный ГАН, максимальная вероятность:

$$L_{G}=\mathbb {E} _{x\sim \mu _{G}}[(\exp \circ \sigma ^{-1}\circ D)(x)]$$

где $\sigma$логистическая функция. Когда дискриминатор оптимален, градиент генератора такой же, как и при оценке максимального правдоподобия , хотя GAN не может выполнить оценку максимального правдоподобия самостоятельно .

Потеря шарнира GAN :

$$L_{D}=-\mathbb {E} _{x\sim {p}_{\text{ref}}}\left[\min \left(0,-1+D\left(x\right)\right)\right]-\mathbb {E} _{x\sim \mu _{G}}\left[\min \left(0,-1-D\left(x\right)\right)\right]$$

$$L_{G}=-\mathbb {E} _{x\sim \mu _{G}}[D\left(x\right)]$$

ГАН наименьших квадратов:

$$L_{D}=\mathbb {E} _{x\sim \mu _{\text{ref}}}[(D(x)-b)^{2}]+\mathbb {E} _{x\sim \mu _{G}}[(D(x)-a)^{2}]$$

$$L_{G}=\mathbb {E} _{x\sim \mu _{G}}[(D(x)-c)^{2}]$$

где $a,b,c$параметры, которые необходимо выбрать. Авторы рекомендовали $a=-1,b=1,c=0$.

Вассерштейн BY (WGAN)

Основная статья: Вассерштейн ГАН

GAN Вассерштейна модифицирует игру GAN в двух моментах:

• Множество стратегий дискриминатора представляет собой множество измеримых функций типа $D:\Omega \to \mathbb {R}$ с ограниченной липшицевой нормой : $\|D\|_{L}\leq K$, где $K$ — фиксированная положительная константа.
• Целью является
  $$L_{WGAN}(\mu _{G},D):=\mathbb {E} _{x\sim \mu _{G}}[D(x)]-\mathbb {E} _{x\sim \mu _{\text{ref}}}[D(x)]$$

Одна из его целей — решить проблему коллапса мод (см. выше). Авторы заявляют: «Ни в одном эксперименте мы не увидели свидетельств коллапса режима алгоритма WGAN».

GAN с более чем двумя игроками

Состязательный автоэнкодер

Состязательный автокодировщик (AAE) является более автоэнкодером, чем GAN. Идея состоит в том, чтобы начать с простого автоэнкодера , но обучить дискриминатор отличать скрытые векторы от эталонного распределения (часто нормального распределения).

ИнфоГАН

В условном GAN генератор получает как вектор шума, так и вектор шума. $z$ и этикетка $c$и создает изображение $G(z,c)$. Дискриминатор получает пары изображение-метка. $(x,c)$и вычисляет $D(x,c)$.

Когда набор обучающих данных не помечен, условный GAN не работает напрямую.

Идея InfoGAN состоит в том, чтобы объявить, что каждый скрытый вектор в скрытом пространстве можно разложить на $(z,c)$: несжимаемая шумовая часть $z$и информативная часть этикетки $c$, и призвать производителя соблюдать постановление, поощряя его максимизировать $I(c,G(z,c))$, взаимная информация между $c$ и $G(z,c)$, не предъявляя при этом требований к взаимной информации $z$ между $G(z,c)$.

К сожалению, $I(c,G(z,c))$ в целом трудноразрешима. Ключевая идея InfoGAN — это вариационная взаимная максимизация информации: косвенно максимизировать его, максимизируя нижнюю границу

$${\hat {I}}(G,Q)=\mathbb {E} _{z\sim \mu _{Z},c\sim \mu _{C}}[\ln Q(c|G(z,c))];\quad I(c,G(z,c))\geq \sup _{Q}{\hat {I}}(G,Q)$$

где $Q$ распространяется по всем марковским ядрам типа $Q:\Omega _{Y}\to {\mathcal {P}}(\Omega _{C})$.

Игра InfoGAN определяется следующим образом:

Три вероятностных пространства определяют игру InfoGAN:

• $(\Omega _{X},\mu _{\text{ref}})$, пространство эталонных изображений.
• $(\Omega _{Z},\mu _{Z})$, фиксированный генератор случайного шума.
• $(\Omega _{C},\mu _{C})$, фиксированный генератор случайной информации.

В двух командах участвуют 3 игрока: генератор, Q и дискриминатор. Генератор и Q находятся в одной команде, а дискриминатор — в другой.

Целевая функция

$$L(G,Q,D)=L_{GAN}(G,D)-\lambda {\hat {I}}(G,Q)$$

где $L_{GAN}(G,D)=\mathbb {E} _{x\sim \mu _{\text{ref}},}[\ln D(x)]+\mathbb {E} _{z\sim \mu _{Z}}[\ln(1-D(G(z,c)))]$ это исходная цель игры GAN, и ${\hat {I}}(G,Q)=\mathbb {E} _{z\sim \mu _{Z},c\sim \mu _{C}}[\ln Q(c|G(z,c))]$

Команда Generator-Q стремится минимизировать цель, а дискриминатор — максимизировать ее:

$$\min _{G,Q}\max _{D}L(G,Q,D)$$

Двунаправленная ГАН (BiGAN)

Стандартный генератор GAN представляет собой функцию типа $G:\Omega _{Z}\to \Omega _{X}$, то есть это отображение из скрытого пространства $\Omega _{Z}$ в пространство изображения $\Omega _{X}$. Это можно понимать как процесс «декодирования», при котором каждый скрытый вектор $z\in \Omega _{Z}$ это код изображения $x\in \Omega _{X}$, и генератор выполняет декодирование. Это естественным образом приводит к идее обучения другой сети, выполняющей «кодирование», создания автоэнкодера из пары кодер-генератор.

Уже в оригинальной статье авторы отметили, что «обученный приблизительный вывод может быть выполнен путем обучения вспомогательной сети для прогнозирования $z$ данный $x$«. Двунаправленная архитектура GAN выполняет именно это.

BiGAN определяется следующим образом:

Два вероятностных пространства определяют игру BiGAN:

• $(\Omega _{X},\mu _{X})$, пространство эталонных изображений.
• $(\Omega _{Z},\mu _{Z})$, скрытое пространство.

В двух командах участвуют 3 игрока: генератор, кодировщик и дискриминатор. Генератор и кодер находятся в одной команде, а дискриминатор — в другой.

Стратегии генератора — это функции $G:\Omega _{Z}\to \Omega _{X}$, а стратегии кодировщика — это функции $E:\Omega _{X}\to \Omega _{Z}$. Стратегии дискриминатора — это функции $D:\Omega _{X}\to [0,1]$.

Целевая функция

$$L(G,E,D)=\mathbb {E} _{x\sim \mu _{X}}[\ln D(x,E(x))]+\mathbb {E} _{z\sim \mu _{Z}}[\ln(1-D(G(z),z))]$$

Команда генератор-кодировщик стремится минимизировать цель, а дискриминатор — максимизировать ее:

$$\min _{G,E}\max _{D}L(G,E,D)$$

В статье они дали более абстрактное определение цели:

$$L(G,E,D)=\mathbb {E} _{(x,z)\sim \mu _{E,X}}[\ln D(x,z)]+\mathbb {E} _{(x,z)\sim \mu _{G,Z}}[\ln(1-D(x,z))]$$

где $\mu _{E,X}(dx,dz)=\mu _{X}(dx)\cdot \delta _{E(x)}(dz)$ распределение вероятностей на $\Omega _{X}\times \Omega _{Z}$ полученный нажатием $\mu _{X}$ вперед через $x\mapsto (x,E(x))$, и $\mu _{G,Z}(dx,dz)=\delta _{G(z)}(dx)\cdot \mu _{Z}(dz)$ распределение вероятностей на $\Omega _{X}\times \Omega _{Z}$ полученный нажатием $\mu _{Z}$ вперед через $z\mapsto (G(x),z)$.

Приложения двунаправленных моделей включают полуконтролируемое обучение , интерпретируемое машинное обучение , и нейронный машинный перевод .

ЦиклГАН

CycleGAN — это архитектура для выполнения преобразований между двумя доменами, например, между фотографиями лошадей и фотографиями зебр или фотографиями ночных городов и фотографиями дневных городов.

Игра CycleGAN определяется следующим образом:

Есть два вероятностных пространства $(\Omega _{X},\mu _{X}),(\Omega _{Y},\mu _{Y})$, соответствующий двум доменам, необходимым для прямого и обратного перевода.

В 2 командах по 4 игрока: генераторы. $G_{X}:\Omega _{X}\to \Omega _{Y},G_{Y}:\Omega _{Y}\to \Omega _{X}$и дискриминаторы $D_{X}:\Omega _{X}\to [0,1],D_{Y}:\Omega _{Y}\to [0,1]$.

Целевая функция

$$L(G_{X},G_{Y},D_{X},D_{Y})=L_{GAN}(G_{X},D_{X})+L_{GAN}(G_{Y},D_{Y})+\lambda L_{cycle}(G_{X},G_{Y})$$

где $\lambda$ – положительный регулируемый параметр, $L_{GAN}$ цель игры GAN, и $L_{cycle}$ потеря согласованности цикла :

$$L_{cycle}(G_{X},G_{Y})=E_{x\sim \mu _{X}}\|G_{X}(G_{Y}(x))-x\|+E_{y\sim \mu _{Y}}\|G_{Y}(G_{X}(y))-y\|$$

Генераторы стремятся минимизировать цель, а дискриминаторы — максимизировать ее:

$$\min _{G_{X},G_{Y}}\max _{D_{X},D_{Y}}L(G_{X},G_{Y},D_{X},D_{Y})$$

В отличие от предыдущих работ, таких как pix2pix, для которого требуются парные данные обучения, для CycleGAN парные данные не требуются. Например, чтобы обучить модель pix2pix превращать фотографию летнего пейзажа в фотографию зимнего пейзажа и обратно, набор данных должен содержать пары одних и тех же мест летом и зимой, снятых под одним и тем же углом; CycleGAN понадобится только набор фотографий летних пейзажей и несвязанный набор фотографий зимних пейзажей.

особенно больших или

БигГАН

BigGAN, по сути, представляет собой GAN с самообслуживанием, обученную в большом масштабе (до 80 миллионов параметров) для создания больших изображений ImageNet (разрешение до 512 x 512) с многочисленными инженерными уловками для их сходимости.

данных

Когда данных для обучения недостаточно, эталонное распределение $\mu _{\text{ref}}$не может быть хорошо аппроксимирован эмпирическим распределением, заданным набором обучающих данных. В таких случаях увеличение данных можно применить , чтобы обеспечить обучение GAN на меньших наборах данных. Однако наивное увеличение данных приносит свои проблемы.

Рассмотрим оригинальную игру GAN, слегка переформулированную следующим образом:

$${\begin{cases}\min _{D}L_{D}(D,\mu _{G})=-\mathbb {E} _{x\sim \mu _{\text{ref}}}[\ln D(x)]-\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))]\\\min _{G}L_{G}(D,\mu _{G})=-\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))]\end{cases}}$$

Теперь мы используем увеличение данных путем случайной выборки преобразований, сохраняющих семантику. $T:\Omega \to \Omega$ и применив их к набору данных, чтобы получить переформулированную игру GAN:

$${\begin{cases}\min _{D}L_{D}(D,\mu _{G})=-\mathbb {E} _{x\sim \mu _{\text{ref}},T\sim \mu _{trans}}[\ln D(T(x))]-\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))]\\\min _{G}L_{G}(D,\mu _{G})=-\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))]\end{cases}}$$

Это эквивалент игры GAN с другим дистрибутивом. $\mu _{\text{ref}}'$, выбрано $T(x)$, с $x\sim \mu _{\text{ref}},T\sim \mu _{trans}$. Например, если $\mu _{\text{ref}}$ это распространение изображений в ImageNet, и $\mu _{trans}$ выборки тождественного преобразования с вероятностью 0,5 и горизонтального отражения с вероятностью 0,5, затем $\mu _{\text{ref}}'$ это распределение изображений в ImageNet и в ImageNet с горизонтальным отражением, вместе взятых.

Результатом такого обучения будет генератор, имитирующий $\mu _{\text{ref}}'$. Например, он будет генерировать изображения, которые выглядят так, как будто они случайно обрезаны, если при дополнении данных используется случайное кадрирование.

Решение состоит в том, чтобы применить увеличение данных как к сгенерированным, так и к реальным изображениям:

$${\begin{cases}\min _{D}L_{D}(D,\mu _{G})=-\mathbb {E} _{x\sim \mu _{\text{ref}},T\sim \mu _{trans}}[\ln D(T(x))]-\mathbb {E} _{x\sim \mu _{G},T\sim \mu _{trans}}[\ln(1-D(T(x)))]\\\min _{G}L_{G}(D,\mu _{G})=-\mathbb {E} _{x\sim \mu _{G},T\sim \mu _{trans}}[\ln(1-D(T(x)))]\end{cases}}$$

Авторы продемонстрировали высококачественную генерацию, используя всего лишь наборы данных размером в 100 изображений.

В документе StyleGAN-2-ADA указывается еще на один момент увеличения данных: оно должно быть обратимым . Продолжим пример создания изображений ImageNet. Если увеличение данных заключается в «произвольном повороте изображения на 0, 90, 180, 270 градусов с равной вероятностью», то генератор не сможет узнать, какая ориентация является истинной: рассмотрим два генератора. $G,G'$, такой, что для любого скрытого $z$, сгенерированное изображение $G(z)$ представляет собой поворот на 90 градусов $G'(z)$. У них будут совершенно одинаковые ожидаемые потери, и поэтому ни один из них не является предпочтительным перед другим.

Решение состоит в том, чтобы использовать только обратимое увеличение данных: вместо «произвольно повернуть изображение на 0, 90, 180, 270 градусов с равной вероятностью» использовать «случайно повернуть изображение на 90, 180, 270 градусов с вероятностью 0,1 и оставить картина такая, какая она есть с вероятностью 0,7". Таким образом, генератор по-прежнему получает вознаграждение за то, что изображения ориентированы так же, как и нерасширенные изображения ImageNet.

Абстрактно, эффект преобразований случайной выборки $T:\Omega \to \Omega$ из распределения $\mu _{trans}$ заключается в определении ядра Маркова $K_{trans}:\Omega \to {\mathcal {P}}(\Omega )$. Затем игра GAN, дополненная данными, заставляет генератор найти некоторые ${\hat {\mu }}_{G}\in {\mathcal {P}}(\Omega )$, такой, что

$$K_{trans}*\mu _{\text{ref}}=K_{trans}*{\hat {\mu }}_{G}$$

где $*$— свертка ядра Маркова . Метод увеличения данных считается обратимым, если его марковское ядро $K_{trans}$ удовлетворяет

$$K_{trans}*\mu =K_{trans}*\mu '\implies \mu =\mu '\quad \forall \mu ,\mu '\in {\mathcal {P}}(\Omega )$$

Сразу по определению мы видим, что объединение нескольких обратимых методов увеличения данных приводит к еще одному обратимому методу. Также по определению, если метод увеличения данных обратим, то его использование в игре GAN не меняет оптимальную стратегию. ${\hat {\mu }}_{G}$ для генератора, который до сих пор $\mu _{\text{ref}}$.

Есть два прототипных примера обратимых ядер Маркова:

Дискретный случай : Обратимые стохастические матрицы , когда $\Omega$ конечно.

Например, если $\Omega =\{\uparrow ,\downarrow ,\leftarrow ,\rightarrow \}$ представляет собой набор из четырех изображений стрелки, указывающей в 4 направлениях, а увеличение данных происходит «случайным поворотом изображения на 90, 180, 270 градусов с вероятностью $p$, и оставьте картинку такой, какая она есть с вероятностью $(1-3p)$", то марковское ядро $K_{trans}$ можно представить в виде стохастической матрицы:

$$[K_{trans}]={\begin{bmatrix}(1-3p)&p&p&p\\p&(1-3p)&p&p\\p&p&(1-3p)&p\\p&p&p&(1-3p)\end{bmatrix}}$$

и $K_{trans}$ является обратимым ядром тогда и только тогда, когда $[K_{trans}]$ является обратимой матрицей, то есть $p\neq 1/4$.

Непрерывный случай : ядро ​​Гаусса, когда $\Omega =\mathbb {R} ^{n}$ для некоторых $n\geq 1$.

Например, если $\Omega =\mathbb {R} ^{256^{2}}$ — это пространство изображений размером 256x256, а метод увеличения данных — «генерировать гауссов шум $z\sim {\mathcal {N}}(0,I_{256^{2}})$, затем добавьте $\epsilon z$ к изображению", затем $K_{trans}$ это просто свертка с помощью функции плотности ${\mathcal {N}}(0,\epsilon ^{2}I_{256^{2}})$. Это обратимо, поскольку свертка по гауссу — это просто свертка по тепловому ядру , поэтому при любом $\mu \in {\mathcal {P}}(\mathbb {R} ^{n})$свернутое распределение $K_{trans}*\mu$ можно получить путем нагревания $\mathbb {R} ^{n}$ точно согласно $\mu$, тогда подожди время $\epsilon ^{2}/4$. Благодаря этому мы можем восстановить $\mu$ прогоняя уравнение теплопроводности назад во времени для $\epsilon ^{2}/4$.

Дополнительные примеры обратимого увеличения данных можно найти в статье.

сломанный

SinGAN доводит увеличение данных до предела, используя только одно изображение в качестве обучающих данных и выполняя на нем увеличение данных. Архитектура GAN адаптирована к этому методу обучения с помощью многомасштабного конвейера.

Генератор $G$ раскладывается на пирамиду образующих $G=G_{1}\circ G_{2}\circ \cdots \circ G_{N}$, причем самый низкий генерирует изображение $G_{N}(z_{N})$ с наименьшим разрешением, затем сгенерированное изображение масштабируется до $r(G_{N}(z_{N}))$и передается на следующий уровень для создания изображения $G_{N-1}(z_{N-1}+r(G_{N}(z_{N})))$в более высоком разрешении и так далее. Дискриминатор также разбивается на пирамиду.

Серия StyleGAN

Основная статья: StyleGAN

Семейство StyleGAN — это серия архитектур, опубликованная . исследовательским подразделением Nvidia

Прогрессивный ГАН

Прогрессивный ГАН - это метод обучения GAN для стабильной генерации крупномасштабных изображений путем увеличения размера генератора GAN от малого до большого размера по пирамидальной схеме. Как и SinGAN, он разлагает генератор на $G=G_{1}\circ G_{2}\circ \cdots \circ G_{N}$, а дискриминатор как $D=D_{1}\circ D_{2}\circ \cdots \circ D_{N}$.

Во время обучения сначала только $G_{N},D_{N}$используются в игре GAN для создания изображений 4х4. Затем $G_{N-1},D_{N-1}$ добавляются для достижения второго этапа игры GAN, для генерации изображений 8x8 и так далее, пока мы не достигнем игры GAN для генерации изображений 1024x1024.

Чтобы избежать шока между этапами игры GAN, каждый новый слой «смешивается» (рис. 2 статьи). ). Например, вот как начинается игра GAN второго этапа:

• Непосредственно перед этим игра GAN состоит из пары $G_{N},D_{N}$ создание и распознавание изображений 4х4.
• Сразу после этого игра GAN состоит из пары $((1-\alpha )+\alpha \cdot G_{N-1})\circ u\circ G_{N},D_{N}\circ d\circ ((1-\alpha )+\alpha \cdot D_{N-1})$создание и распознавание изображений размером 8х8. Здесь функции $u,d$ — это функции повышения и понижения дискретизации изображения, и $\alpha$ — это коэффициент смешивания (во многом похожий на альфу при составлении изображений), который плавно меняется от 0 до 1.

StyleGAN-1

Основная архитектура StyleGAN-1 и StyleGAN-2

StyleGAN-1 спроектирован как комбинация Progressive GAN с нейронной передачей стилей .

Ключевым архитектурным выбором StyleGAN-1 является механизм прогрессивного роста, аналогичный Progressive GAN. Каждое сгенерированное изображение начинается как константа $4\times 4\times 512$массив и неоднократно проходил через блоки стилей. Каждый блок стиля применяет «скрытый вектор стиля» посредством аффинного преобразования («адаптивная нормализация экземпляра»), аналогично тому, как нейронная передача стиля использует матрицу Грамиана . Затем он добавляет шум и нормализует (вычитает среднее значение, затем делит на дисперсию).

Во время обучения обычно для каждого сгенерированного изображения используется только один скрытый вектор стиля, но иногда и два («регуляризация смешивания»), чтобы стимулировать каждый блок стиля независимо выполнять свою стилизацию, не ожидая помощи от других блоков стиля (поскольку они могут получить скрытый вектор совершенно другого стиля).

После обучения в каждый блок стиля можно ввести несколько скрытых векторов стиля. Те, которые подаются на нижние уровни, управляют крупномасштабными стилями, а те, которые подаются на более высокие уровни, управляют стилями с мелкими деталями.

Смешение стилей между двумя изображениями $x,x'$также можно выполнить. Сначала запустите градиентный спуск, чтобы найти $z,z'$ такой, что $G(z)\approx x,G(z')\approx x'$. Это называется «проецированием изображения обратно в скрытое пространство стиля». Затем, $z$ может быть передан в блоки нижнего стиля, и $z'$ к блокам более высокого стиля, чтобы создать составное изображение, имеющее крупномасштабный стиль $x$и стиль, детализированный $x'$. Таким же образом можно составить несколько изображений.

СтильГАН-2

StyleGAN-2 является усовершенствованием StyleGAN-1, используя вместо этого скрытый вектор стиля для преобразования весов слоя свертки, тем самым решая проблему «капли».

Он был обновлен StyleGAN-2-ADA («ADA» означает «адаптивный»), который использует обратимое увеличение данных, как описано выше. Он также настраивает объем применяемого увеличения данных, начиная с нуля и постепенно увеличивая его до тех пор, пока «эвристика переобучения» не достигнет целевого уровня, отсюда и название «адаптивный».

СтильГАН-3

СтильГАН-3 Улучшение StyleGAN-2 за счет решения проблемы «прилипания текстур», которую можно увидеть в официальных видеороликах. Они проанализировали проблему с помощью теоремы выборки Найквиста-Шеннона и заявили, что слои генератора научились использовать высокочастотный сигнал в пикселях, с которыми они работают.

Чтобы решить эту проблему, они предложили установить строгие фильтры нижних частот между слоями каждого генератора, чтобы генератор был вынужден работать с пикселями точно так же, как непрерывные сигналы, которые они представляют, а не работать с ними как с просто дискретными сигналами. Они дополнительно обеспечили вращательную и трансляционную инвариантность, используя больше фильтров сигналов . Получившийся StyleGAN-3 способен решить проблему прилипания текстур, а также генерировать изображения, которые плавно вращаются и перемещаются.

Приложения

Приложения GAN быстро развиваются.

Мода, искусство и реклама

GAN можно использовать для создания произведений искусства; В марте 2019 года издание The Verge написало: «Изображения, созданные с помощью GAN, стали определяющим обликом современного искусства искусственного интеллекта». GAN также можно использовать для раскрашивания фотографий. или создавайте фотографии воображаемых манекенщиц, без необходимости нанимать модель, фотографа или визажиста или платить за студию и транспорт. GAN также использовались для генерации виртуальных теней.

Интерактивные медиа

В 2020 году Artbreeder использовался для создания главного антагониста в продолжении психологического веб-хоррора «Бен утонул» . Позже автор хвалил приложения GAN за их способность создавать ресурсы для независимых артистов, испытывающих недостаток бюджета и рабочей силы.

Наука

GAN могут улучшить астрономические изображения и моделировать гравитационное линзирование для исследования темной материи. Они использовались в 2019 году для успешного моделирования распределения темной материи в определенном направлении в космосе и для предсказания гравитационного линзирования, которое произойдет.

GAN были предложены как быстрый и точный способ моделирования формирования струи высокой энергии. и моделирование ливней с помощью калориметров экспериментов по физике высоких энергий . GAN также обучены точно аппроксимировать узкие места в дорогостоящем с точки зрения вычислений моделировании экспериментов по физике элементарных частиц. Применение в контексте нынешних и предлагаемых экспериментов ЦЕРН продемонстрировало потенциал этих методов для ускорения моделирования и/или повышения точности моделирования.

Видеоигры

В 2018 году GAN достигли сообщества моддеров видеоигр как метод масштабирования 2D-текстур низкого разрешения в старых видеоиграх путем воссоздания их в разрешении 4K или выше посредством обучения изображений, а затем понижения их дискретизации, чтобы они соответствовали исходному коду игры. разрешение (с результатами, напоминающими ) метод сглаживания суперсэмплинга . При правильном обучении GAN обеспечивают более четкое и резкое изображение 2D-текстуры, качество которого выше, чем у оригинала, при этом полностью сохраняя исходный уровень детализации, цветов и т. д. Известные примеры широкого использования GAN включают Final Fantasy VIII , Final Fantasy IX , Resident. Evil REmake HD Remaster и Max Payne .

Синтез звука

Этот раздел представляет собой отрывок из книги «Генеративное аудио» . [ редактировать ]

Генеративное аудио относится к созданию аудиофайлов из баз данных аудиоклипов . Эта технология отличается от синтезированных голосов, таких как Siri от Amazon от Apple или Alexa , которые используют набор фрагментов, которые сшиваются вместе по требованию.

Аудио кривые

Генеративное аудио работает с использованием нейронных сетей для изучения статистических свойств источника звука, а затем воспроизводит эти свойства.

Опасения по поводу вредоносных приложений

Основная статья: Дипфейк

Изображение, созданное StyleGAN , которое обманчиво похоже на фотографию реального человека. Это изображение было создано StyleGAN на основе анализа портретов.

Еще один пример портрета, созданного GAN.

Высказывались опасения по поводу потенциального использования синтеза изображений человека на основе GAN в зловещих целях, например, для создания поддельных, возможно, компрометирующих фотографий и видео. GAN можно использовать для создания уникальных, реалистичных фотографий профилей несуществующих людей, чтобы автоматизировать создание фейковых профилей в социальных сетях.

В 2019 году штат Калифорния считал и принятый 3 октября 2019 года законопроект AB-602 , который запрещает использование технологий синтеза изображений человека для изготовления фейковой порнографии без согласия изображенных людей, и законопроект AB-730 , который запрещает распространение манипулируемых видеороликов политического характера. кандидата в течение 60 дней после выборов. Оба законопроекта были написаны членом Ассамблеи Марком Берманом и подписаны губернатором Гэвином Ньюсомом . Законы вступили в силу в 2020 году.

Программа DARPA Media Forensics изучает способы противодействия фейковым СМИ, в том числе фейковым СМИ, созданным с использованием GAN.

Трансферное обучение

Современные исследования в области трансферного обучения используют GAN для обеспечения выравнивания пространства скрытых функций, например, при глубоком обучении с подкреплением. Это работает путем передачи вложений исходной и целевой задачи дискриминатору, который пытается угадать контекст. Результирующие потери затем (обратно) распространяются через кодер.

Разные приложения

GAN можно использовать для обнаружения изображений глаукомы, что помогает в ранней диагностике, что важно для предотвращения частичной или полной потери изображения. видения.

GAN, создающие фотореалистичные изображения, можно использовать для визуализации дизайна интерьера , промышленного дизайна , обуви, сумки и предметы одежды или предметы для компьютерных игр . сцен Сообщается, что такие сети используются Facebook .

GAN использовались для создания судебно-медицинских реконструкций лиц умерших исторических деятелей.

GAN могут реконструировать 3D-модели объектов по изображениям . генерировать новые объекты в виде 3D-облаков точек, и моделировать модели движения в видео.

GAN можно использовать для определения возраста фотографий лица, чтобы показать, как внешний вид человека может измениться с возрастом.

GAN также можно использовать для добавления недостающих объектов на карты, переноса стилей карт в картографию. или дополните изображения просмотра улиц.

Соответствующая обратная связь по GAN может использоваться для создания изображений и замены систем поиска изображений.

Разновидность GAN используется при обучении сети для генерации оптимальных управляющих входных данных для нелинейных динамических систем . Дискриминационная сеть известна как критик, проверяющий оптимальность решения, а генеративная сеть известна как адаптивная сеть, которая генерирует оптимальное управление. Критик и адаптивная сеть обучают друг друга аппроксимации нелинейного оптимального управления.

GAN использовались для визуализации влияния изменения климата на конкретные дома.

Модель GAN под названием Speech2Face может реконструировать изображение лица человека после прослушивания его голоса.

В 2016 году GAN были использованы для создания новых молекул для различных белков-мишеней, участвующих в развитии рака, воспаления и фиброза. В 2019 году молекулы, созданные с помощью GAN, были экспериментально проверены на мышах.

Хотя большинство приложений GAN предназначены для обработки изображений, работа также ведется с данными временных рядов. Например, повторяющиеся GAN (R-GAN) использовались для генерации данных об энергии для машинного обучения.

История

В 1991 году Юрген Шмидхубер опубликовал генеративные и состязательные нейронные сети , которые соревнуются друг с другом в форме игры с нулевой суммой , где выигрыш одной сети является проигрышем другой сети. Первая сеть представляет собой генеративную модель со стохастичностью , которая моделирует распределение вероятностей по шаблонам выходных данных. Вторая сеть учится с помощью градиентного спуска предсказывать реакцию окружающей среды на эти закономерности. Это называлось «искусственным любопытством». Для современных ГАН (2014 г.) реакция окружающей среды равна 1 или 0 в зависимости от того, входит ли выход первой сети в данный набор.

У других людей были схожие идеи, но они не развивались аналогичным образом. Идея использования состязательных сетей была опубликована в блоге Олли Ниемитало в 2010 году. Эта идея так и не была реализована, не включала стохастичность в генераторе и, следовательно, не была генеративной моделью. Теперь он известен как условный GAN или cGAN. Идея, похожая на GAN, была использована для моделирования поведения животных Ли, Гаучи и Гроссом в 2013 году.

Еще одним источником вдохновения для GAN стала оценка контрастности шума. который использует ту же функцию потерь, что и GAN, и который Гудфеллоу изучал во время своей докторской диссертации в 2010–2014 годах.

Состязательное машинное обучение имеет и другие применения, помимо генеративного моделирования, и может применяться к моделям, отличным от нейронных сетей. В теории управления состязательное обучение на основе нейронных сетей использовалось в 2006 году для обучения надежных контроллеров в теоретико-игровом смысле путем чередования итераций между политикой минимизации (контроллер) и политикой максимизации (возмущение).

В 2017 году GAN использовался для улучшения изображения с упором на реалистичные текстуры, а не на точность пикселей, обеспечивая более высокое качество изображения при большом увеличении. В 2017 году появились первые лица. Они были выставлены в феврале 2018 года в Гран-Пале. Лица, созданные StyleGAN в 2019 году провели сравнения с Deepfakes .

Начиная с 2017 года технология GAN начала завоевывать свое присутствие на арене изобразительного искусства с появлением недавно разработанной реализации, которая, как утверждается, преодолела порог возможности создавать уникальные и привлекательные абстрактные картины и, таким образом, получила название «CAN». «, для «творческой состязательной сети». Система GAN использовалась для создания картины «Эдмон де Белами» 2018 года , которая была продана за 432 500 долларов США. В статье, опубликованной в начале 2019 года членами первоначальной команды CAN, обсуждался дальнейший прогресс в этой системе, а также рассматривались общие перспективы искусства с поддержкой ИИ.

В мае 2019 года исследователи из Samsung продемонстрировали систему на основе GAN, которая создает видео говорящего человека, имея только одну фотографию этого человека.

В августе 2019 года был создан большой набор данных, состоящий из 12 197 MIDI-песен, каждая из которых имеет парные тексты и выравнивание мелодий, для нейронной генерации мелодий из текстов с использованием условного GAN-LSTM (см. источники на GitHub AI Melody Generation from Lyrics ).

В мае 2020 года исследователи Nvidia научили систему искусственного интеллекта (названную «GameGAN») воссоздавать игру Pac-Man , просто наблюдая за ее игрой.

Внешние ссылки

• Найт, Уилл. «5 больших прогнозов для искусственного интеллекта в 2017 году» . Обзор технологий Массачусетского технологического института . Проверено 5 января 2017 г.
• Каррас, Теро; Лайне, Самули; Айла, Тимо (2018). «Архитектура генератора на основе стилей для генеративно-состязательных сетей». arXiv : 1812.04948 [ cs.NE ].
• Этот человек не существует — фотореалистичные изображения несуществующих людей, созданные StyleGAN.
• Этого кота не существует. Архивировано 5 марта 2019 года в Wayback Machine — фотореалистичные изображения несуществующих кошек, созданные StyleGAN.
• Ван, Чжэнвэй; Она, Ци; Уорд, Томас Э. (2019). «Генеративно-состязательные сети в компьютерном зрении: обзор и таксономия». arXiv : 1906.01529 [ cs.LG ].