Начальное расстояние Фреше

Начальное расстояние Фреше (FID) — это показатель, используемый для оценки качества изображений, созданных с помощью генеративной модели , такой как генеративно-состязательная сеть (GAN). В отличие от более раннего начального показателя (IS), который оценивает только распределение сгенерированных изображений, FID сравнивает распределение сгенерированных изображений с распределением набора реальных изображений («основная истина»). Метрика FID не полностью заменяет метрику IS. Классификаторы, которые достигают наилучшего (самого низкого) показателя FID, как правило, имеют большее разнообразие выборок, в то время как классификаторы, достигающие лучшего (самого высокого) показателя IS, как правило, имеют лучшее качество отдельных изображений.

Метрика FID была введена в 2017 году. и является текущим стандартным показателем для оценки качества моделей, генерирующих синтетические изображения, по состоянию на 2024 год. Он использовался для измерения качества многих последних моделей, включая StyleGAN1 с высоким разрешением. и СтильГАН2 без классификаторов сети и модель диффузии .

Определение

Для любых двух распределений вероятностей $\mu ,\nu$ над $\mathbb {R} ^{n}$ имея конечное среднее значение и дисперсию, их расстояние Фреше равно $$d_{F}(\mu ,\nu ):=\left(\inf _{\gamma \in \Gamma (\mu ,\nu )}\int _{\mathbb {R} ^{n}\times \mathbb {R} ^{n}}\|x-y\|^{2}\,\mathrm {d} \gamma (x,y)\right)^{1/2},$$где $\Gamma (\mu ,\nu )$ представляет собой совокупность всех мер по $\mathbb {R} ^{n}\times \mathbb {R} ^{n}$ с маргиналами $\mu$ и $\nu$ по первому и второму фактору соответственно. (Набор $\Gamma (\mu ,\nu )$ также называется множеством связей всех $\mu$ и $\nu$.). Другими словами, это 2-расстояние Вассерштейна на $\mathbb {R} ^{n}$.

Для двух многомерных гауссовских распределений ${\mathcal {N}}(\mu ,\Sigma )$ и ${\mathcal {N}}(\mu ',\Sigma ')$, оно явно разрешимо как $$d_{F}({\mathcal {N}}(\mu ,\Sigma ),{\mathcal {N}}(\mu ',\Sigma '))^{2}=\lVert \mu -\mu '\rVert _{2}^{2}+\operatorname {tr} \left(\Sigma +\Sigma '-2\left(\Sigma \Sigma '\right)^{\frac {1}{2}}\right)$$Это позволяет нам определить FID в форме псевдокода :

ВВЕДИТЕ функцию $f:\Omega _{X}\to \mathbb {R} ^{n}$.

ВВЕДИТЕ два набора данных $S,S'\subset \Omega _{X}$.

Вычислить $f(S),f(S')\subset \mathbb {R} ^{n}$.

Подогнать два гауссовых распределения ${\mathcal {N}}(\mu ,\Sigma ),{\mathcal {N}}(\mu ',\Sigma ')$соответственно для $f(S),f(S')$.

ВОЗВРАЩАТЬСЯ $d_{F}({\mathcal {N}}(\mu ,\Sigma ),{\mathcal {N}}(\mu ',\Sigma '))^{2}$.

В большинстве практических применений FID $\Omega _{X}$ пространство образов, а $f$ — это модель Inception v3 , обученная на ImageNet , но без финального уровня классификации. Технически это 2048-мерный вектор активации последнего объединяющего слоя. Из двух наборов данных $S,S'$один из них представляет собой эталонный набор данных, которым может быть сама ImageNet, а другой — набор изображений, сгенерированных генеративной моделью , такой как GAN , или диффузионной моделью .

Интерпретация

Вместо того, чтобы напрямую сравнивать изображения попиксельно (например, как это делается с помощью нормы L2 ), FID сравнивает среднее и стандартное отклонение самого глубокого слоя в Inception v3. Эти слои находятся ближе к выходным узлам, которые соответствуют объектам реального мира, таким как конкретная порода собак или самолет, и дальше от неглубоких слоев рядом с входным изображением.

Варианты

Специализированные варианты FID были предложены в качестве показателя оценки для алгоритмов улучшения музыки, такие как Fréchet Audio Distance (FAD) , для генеративных моделей видео, таких как Fréchet Video Distance (FVD) , а для молекул, созданных искусственным интеллектом, как расстояние Fréchet ChemNet (FCD) .

Ограничения

Чонг и Форсайт показали, что FID статистически предвзяты в том смысле, что их ожидаемое значение для конечных данных не является их истинным значением. Кроме того, поскольку FID измерял расстояние Вассерштейна по отношению к основному истинному распределению, оно недостаточно для оценки качества генераторов в установках адаптации предметной области или при генерации с нулевым выстрелом. Наконец, хотя FID больше соответствует человеческому суждению, чем использовавшаяся ранее начальная оценка, бывают случаи, когда FID не соответствует суждениям человека (например, рис. 3,5 в Liu et al.).

См. также

• Расстояние Фреше