Начальный счет

Начальная оценка (IS) — это алгоритм, используемый для оценки качества изображений, созданных с помощью генеративной модели изображения, такой как генеративно-состязательная сеть (GAN). Оценка рассчитывается на основе выходных данных отдельной предварительно обученной модели классификации изображений Inceptionv3, примененной к выборке (обычно около 30 000) изображений, созданных генеративной моделью. Начальный балл максимизируется при выполнении следующих условий:

1. Энтропия . распределения меток, предсказанная моделью Inceptionv3 для сгенерированных изображений, сведена к минимуму Другими словами, модель классификации уверенно прогнозирует одну метку для каждого изображения. Интуитивно это соответствует желанию, чтобы генерируемые изображения были «четкими» или «отчетливыми».
2. Предсказания модели классификации равномерно распределены по всем возможным меткам. Это соответствует желанию, чтобы выходные данные генеративной модели были «разнообразными».

Оно было несколько заменено соответствующим начальным расстоянием Фреше . В то время как начальная оценка оценивает только распределение сгенерированных изображений, FID сравнивает распределение сгенерированных изображений с распределением набора реальных изображений («основная истина»).

Определение

Пусть будет два пространства, пространство образов $\Omega _{X}$ и пространство меток $\Omega _{Y}$. Пространство меток конечно.

Позволять $p_{gen}$ быть распределением вероятностей по $\Omega _{X}$ что мы хотим судить.

Пусть дискриминатор — функция типа $$p_{dis}:\Omega _{X}\to M(\Omega _{Y})$$где $M(\Omega _{Y})$ представляет собой набор всех распределений вероятностей на $\Omega _{Y}$. Для любого изображения $x$и любая метка $y$, позволять $p_{dis}(y|x)$ быть вероятностью того, что изображение $x$ есть этикетка $y$, согласно дискриминатору. Обычно она реализуется как сеть Inception-v3, обученная на ImageNet.

Начальная оценка ​ $p_{gen}$ относительно $p_{dis}$ является $$IS(p_{gen},p_{dis}):=\exp \left(\mathbb {E} _{x\sim p_{gen}}\left[D_{KL}\left(p_{dis}(\cdot |x)\|\int p_{dis}(\cdot |x)p_{gen}(x)dx\right)\right]\right)$$Эквивалентные перезаписи включают в себя $$\ln IS(p_{gen},p_{dis}):=\mathbb {E} _{x\sim p_{gen}}\left[D_{KL}\left(p_{dis}(\cdot |x)\|\mathbb {E} _{x\sim p_{gen}}[p_{dis}(\cdot |x)]\right)\right]$$$$\ln IS(p_{gen},p_{dis}):=H[\mathbb {E} _{x\sim p_{gen}}[p_{dis}(\cdot |x)]]-\mathbb {E} _{x\sim p_{gen}}[H[p_{dis}(\cdot |x)]]$$$\ln IS$ неотрицательна по неравенству Йенсена .

Псевдокод:

ВХОДНОЙ дискриминатор $p_{dis}$.

ВХОДНОЙ генератор $g$.

Примеры изображений $x_{i}$ от генератора.

Вычислить $p_{dis}(\cdot |x_{i})$, распределение вероятностей по меткам, зависящим от изображения $x_{i}$.

Подведите итоги, чтобы получить ${\hat {p}}$, эмпирическая оценка $\int p_{dis}(\cdot |x)p_{gen}(x)dx$.

Примеры дополнительных изображений $x_{i}$ из генератора и для каждого вычислите $D_{KL}\left(p_{dis}(\cdot |x_{i})\|{\hat {p}}\right)$.

Усредните результаты и возьмите их экспоненту.

ВЕРНУТЬ результат.

Интерпретация

Более высокий начальный балл интерпретируется как «лучший», поскольку это означает, что $p_{gen}$ представляет собой «четкую и отчетливую» коллекцию изображений.

$\ln IS(p_{gen},p_{dis})\in [0,\ln N]$, где $N$ общее количество возможных меток.

$\ln IS(p_{gen},p_{dis})=0$ если почти для всех $x\sim p_{gen}$$$p_{dis}(\cdot |x)=\int p_{dis}(\cdot |x)p_{gen}(x)dx$$Это означает $p_{gen}$ совершенно «неразборчиво». То есть для любого изображения $x$ взято из $p_{gen}$, дискриминатор возвращает точно такие же предсказания меток $p_{dis}(\cdot |x)$.

Самый высокий стартовый балл $N$ достигается тогда и только тогда, когда оба условия истинны:

• Почти для всех $x\sim p_{gen}$, распределение $p_{dis}(y|x)$ сосредоточено на одной этикетке. То есть, $H_{y}[p_{dis}(y|x)]=0$. То есть каждое изображение, выбранное из $p_{gen}$ точно классифицируется дискриминатором.
• Для каждой этикетки $y$, доля сгенерированных изображений, помеченных как $y$ это точно $\mathbb {E} _{x\sim p_{gen}}[p_{dis}(y|x)]={\frac {1}{N}}$. То есть сгенерированные изображения равномерно распределяются по всем меткам.