Интегральная метрика вероятности

В теории вероятностей интегральные метрики вероятности — это типы функций расстояния между распределениями вероятностей , определяемые тем, насколько хорошо класс функций может различать два распределения. Многие важные статистические расстояния являются интегральными показателями вероятности, включая расстояние Вассерштейна-1 и общее вариационное расстояние . Помимо теоретического значения, интегральные вероятностные метрики широко используются в областях статистики и машинного обучения .

Название «метрика интегральной вероятности» дал немецкий статистик Альфред Мюллер; расстояния также ранее назывались «метриками с ζ -структурой».

Определение

Интегральные вероятностные метрики (IPM) — это расстояния в пространстве распределений по множеству. ${\mathcal {X}}$, определенный классом ${\mathcal {F}}$ действительных функций на ${\mathcal {X}}$ как $$D_{\mathcal {F}}(P,Q)=\sup _{f\in {\mathcal {F}}}{\big |}\mathbb {E} _{X\sim P}f(X)-\mathbb {E} _{Y\sim Q}f(Y){\big |}=\sup _{f\in {\mathcal {F}}}{\big |}Pf-Qf{\big |};$$здесь обозначение P f относится к ожиданию f при распределении P . Абсолютное значение в определении не является необходимым и часто опускается в обычном случае, когда для каждого $f\in {\mathcal {F}}$ его отрицание $-f$ также находится в ${\mathcal {F}}$.

Функции f, по которым оптимизируются, иногда называют «критическими» функциями; если конкретный $f^{*}\in {\mathcal {F}}$ достигает супремума, ее часто называют «функцией свидетеля». (оно «свидетельствует» о разнице в распределениях). Эти функции пытаются получить большие значения для выборок из P и маленькие (вероятно, отрицательные) значения для выборок из Q ; это можно рассматривать как более слабую версию классификаторов , и действительно, IPM можно интерпретировать как оптимальный риск конкретного классификатора.

Выбор ${\mathcal {F}}$ определяет конкретное расстояние; более одного ${\mathcal {F}}$ может генерировать такое же расстояние.

На любой выбор ${\mathcal {F}}$, $D_{\mathcal {F}}$ удовлетворяет всем определениям метрики, за исключением того, что мы можем иметь $D_{\mathcal {F}}(P,Q)=0$ для некоторого P ≠ Q ; это по-разному называют « псевдометрическим в зависимости от сообщества » или «полуметрическим». Например, используя класс ${\mathcal {F}}=\{x\mapsto 0\}$ который содержит только нулевую функцию, $D_{\mathcal {F}}(P,Q)$ тождественно равен нулю. $D_{\mathcal {F}}$ является метрикой тогда и только тогда, когда ${\mathcal {F}}$ разделяет точки в пространстве вероятностных распределений, т.е. для любого P ≠ Q существует некоторая $f\in {\mathcal {F}}$ такой, что $Pf\neq Qf$; большинство, но не все, общих частных случаев удовлетворяют этому свойству.

Примеры

Все эти примеры являются метриками, если не указано иное.

• Расстояние Вассерштейна -1 (также называемое расстоянием землекопа ) посредством своего двойного представления имеет ${\mathcal {F}}$ множество 1- липшицевых функций.
• Соответствующая метрика Дадли порождается множеством ограниченных 1-липшицевых функций.
• Общее расстояние вариации можно определить по формуле ${\mathcal {F}}=\{f:{\mathcal {X}}\to \{0,1\}\}$, так что ${\mathcal {F}}$ представляет собой набор индикаторных функций для любого события или более крупного класса ${\mathcal {F}}=\{f:{\mathcal {X}}\to [0,1]\}$.
• Тесно связанная метрика Радона порождается непрерывными функциями, ограниченными в [-1, 1] .
• Метрика Колмогорова, используемая в тесте Колмогорова-Смирнова, имеет функциональный класс индикаторных функций: ${\mathcal {F}}=\{1_{(-\infty ,t]}:t\in \mathbb {R} \}$.
• Максимальное среднее несоответствие ядра (MMD) имеет ${\mathcal {F}}$ единичный шар в воспроизводящем ядерном гильбертовом пространстве . Это расстояние особенно легко оценить по выборкам, не требуя оптимизации; это правильная метрика именно тогда, когда основное ядро ​​является характеристическим.
• Энергетическое расстояние , как частный случай максимального среднего расхождения, порождается единичным шаром в определенном воспроизводящем ядерном гильбертовом пространстве.
• Определение ${\mathcal {F}}$ с помощью функций с ограниченной нормой Соболева дает полезное расстояние для генеративного моделирования , среди других приложений.
• Функции с ограниченной нормой Бесова обобщают многие другие формы ИПМ и поддаются теоретическому анализу.
• Множество вариантов генеративно-состязательных сетей и классификаторов. на основе двухвыборочных тестов используйте «расстояние нейронной сети» где ${\mathcal {F}}$ — класс нейронных сетей ; это не показатели для типичных сетей фиксированного размера, но они могут быть показателями для других классификаторов. для GAN Вассерштейна анализ с точки зрения этого расстояния, а не аппроксимируемого ими Вассерштейна, очень важен для поведения этих моделей. В частности, утверждалось, что

Связь с f -расхождениями

, F -дивергенции вероятно, являются самым известным способом измерения несходства распределений вероятностей. Было показано что единственные функции, которые являются одновременно IPM и f -дивергенциями, имеют вид $c\,\operatorname {TV} (P,Q)$, где $c\in [0,\infty ]$ и $\operatorname {TV}$ — общее расстояние вариации между распределениями.

Одно из основных различий между f -дивергенциями и большинством IPM состоит в том, что когда P и Q имеют непересекающуюся поддержку, все f -дивергенции принимают постоянное значение; напротив, IPM, функционирующие в ${\mathcal {F}}$ «гладкие» могут дать «частичную оценку». Например, рассмотрим последовательность $\delta _{1/n}$ при мер Дирака 1 / n ; эта последовательность сходится по распределению к $\delta _{0}$, и многие IPM удовлетворяют $D_{\mathcal {F}}(\delta _{1/n},\delta _{0})\to 0$, но никакая ненулевая f -дивергенция не может этому удовлетворить. То есть многие ИПМ непрерывны в более слабых топологиях, чем f -дивергенции. Это свойство иногда имеет существенное значение, хотя существуют и другие варианты, такие как рассмотрение f -расхождений между распределениями, свернутыми с непрерывным шумом.

Оценка по образцам

Поскольку значения IPM между дискретными распределениями часто разумны, часто разумно оценить $D_{\mathcal {F}}(P,Q)$ используя простой «плагин» оценщика: $D_{\mathcal {F}}({\hat {P}},{\hat {Q}})$ где ${\hat {P}}$ и ${\hat {Q}}$ являются эмпирическими мерами наборов выборок. Эти эмпирические расстояния можно точно вычислить для некоторых классов. ${\mathcal {F}}$; Качество оценки варьируется в зависимости от расстояния, но может быть минимаксно-оптимальным . при определенных настройках

Когда точная максимизация недоступна или слишком дорога, другая часто используемая схема — разделить выборки на «обучающие» наборы (с эмпирическими измерениями). ${\hat {P}}_{\mathit {train}}$ и ${\hat {Q}}_{\mathit {train}}$) и «тестовые» наборы ( ${\hat {P}}_{\mathit {test}}$ и ${\hat {Q}}_{\mathit {test}}$), находить ${\hat {f}}$ приблизительно максимизируя ${\big |}{\hat {P}}_{\mathit {train}}f-{\hat {Q}}_{\mathit {train}}f{\big |}$, затем используйте ${\big |}{\hat {P}}_{\mathit {test}}{\hat {f}}-{\hat {Q}}_{\mathit {test}}{\hat {f}}{\big |}$ в качестве оценки. Эта оценка, возможно, может быть состоятельной , но имеет отрицательное смещение. . Фактически, несмещенная оценка . для любого IPM не может существовать , хотя существует, например, несмещенная оценка квадрата максимального среднего отклонения.