Общее расстояние вариации вероятностных мер

В теории вероятностей общее расстояние вариации является мерой расстояния для распределений вероятностей. Это пример метрики статистического расстояния , которую иногда называют статистическим расстоянием , статистической разницей или вариационным расстоянием .

Определение

Рассмотрим измеримое пространство $(\Omega ,{\mathcal {F}})$ и вероятностные меры $P$ и $Q$ определено на $(\Omega ,{\mathcal {F}})$ .Общее расстояние изменения между $P$ и $Q$ определяется как ^[1]

\delta (P,Q)=\sup _{A\in {\mathcal {F}}}\left|P(A)-Q(A)\right|.

Это наибольшая абсолютная разница между вероятностями, которые два распределения вероятностей приписывают одному и тому же событию.

Характеристики

Полное расстояние вариации представляет собой f -дивергенцию и интегральную метрику вероятности .

Отношение к другим расстояниям

Общее расстояние вариации связано с расхождением Кульбака – Лейблера неравенством Пинскера :

\delta (P,Q)\leq {\sqrt {{\frac {1}{2}}D_{\mathrm {KL} }(P\parallel Q)}}.

Также имеет место следующее неравенство Бретаньоля и Хубера ^[2] (см. также ^[3]), что имеет то преимущество, что обеспечивает непустую границу, даже если $\textstyle D_{\mathrm {KL} }(P\parallel Q)>2\colon$

\delta (P,Q)\leq {\sqrt {1-e^{-D_{\mathrm {KL} }(P\parallel Q)}}}.

Общее расстояние изменения составляет половину L ¹ расстояние между функциями вероятности:на дискретных областях это расстояние между функциями массы вероятности ^[4]

\delta (P,Q)={\frac {1}{2}}\sum _{x}|P(x)-Q(x)|,

и когда распределения имеют стандартные функции плотности вероятности $p$ и $q$ , ^[5]

\delta (P,Q)={\frac {1}{2}}\int |p(x)-q(x)|\,\mathrm {d} x

(или аналогичное расстояние между производными Радона-Никодима с любой общей доминирующей мерой ). Этот результат можно показать, заметив, что верхняя граница в определении достигается именно в том множестве, где одно распределение доминирует над другим. ^[6]

Общее вариационное расстояние связано с расстоянием Хеллингера. $H(P,Q)$ следующее: ^[7]

H^{2}(P,Q)\leq \delta (P,Q)\leq {\sqrt {2}}H(P,Q).

Эти неравенства непосредственно следуют из неравенств между 1-нормой и 2-нормой .

Связь с теорией транспорта

Общее расстояние вариации (или половина нормы) возникает как оптимальная стоимость перевозки, когда функция стоимости равна $c(x,y)={\mathbf {1} }_{x\neq y}$ , то есть,

{\frac {1}{2}}\|P-Q\|_{1}=\delta (P,Q)=\inf {\big \{}\mathbb {P} (X\neq Y):{\text{Law}}(X)=P,{\text{Law}}(Y)=Q{\big \}}=\inf _{\pi }\operatorname {E} _{\pi }[{\mathbf {1} }_{x\neq y}],

где математическое ожидание берется относительно вероятностной меры $\pi$ на пространстве, где $(x,y)$ живет, и нижняя грань берет верх над всеми такими $\pi$ с маргиналами $P$ и $Q$ , соответственно. ^[8]

См. также

Ссылки

^ Чаттерджи, Сурав. «Расстояния между вероятностными мерами» (PDF) . Калифорнийский университет в Беркли. Архивировано из оригинала (PDF) 8 июля 2008 г. Проверено 21 июня 2013 г.
^ Бретаньолле, Дж.; Хубер, К., Оценка плотностей: минимаксный риск , Семинар по вероятностям, XII (Страсбургский университет, Страсбург, 1976/1977), стр. 342–363, Конспект лекций по математике, 649, Springer, Берлин, 1978, Лемма 2.1 (на французском языке).
^ Цыбаков, Александр Б., Введение в непараметрическую оценку , переработанное и расширенное из французского оригинала 2004 года. Перевод Владимира Зайца. Серия Спрингера по статистике. Спрингер, Нью-Йорк, 2009. xii+214 стр. ISBN 978-0-387-79051-0 , уравнение 2.25.
^ Дэвид А. Левин, Юваль Перес, Элизабет Л. Уилмер, Марковские цепи и время смешивания , 2-е. обр. ред. (АМС, 2017), Предложение 4.2, с. 48.
^ Цыбаков, Александр Б. (2009). Введение в непараметрическую оценку (пересмотренная и расширенная версия французской книги под ред.). Нью-Йорк, штат Нью-Йорк: Спрингер. Лемма 2.1. ISBN 978-0-387-79051-0 .
^ Деврой, Люк; Дьёрфи, Ласло; Лугоши, Габор (4 апреля 1996 г.). Вероятностная теория распознавания образов (Исправленная ред.). Нью-Йорк: Спрингер. ISBN 978-0-387-94618-4 .
^ Харша, Прахлад (23 сентября 2011 г.). «Конспекты лекций по сложности коммуникации» (PDF) .
^ Виллани, Седрик (2009). Оптимальный транспорт, старый и новый . Основные принципы математических наук. Том 338. Springer-Verlag Берлин Гейдельберг. п. 10. дои : 10.1007/978-3-540-71050-9 . ISBN 978-3-540-71049-3 .

Эта вероятности статья о незавершена . Вы можете помочь Википедии, расширив ее .

[Chatterjee2007-1] Чаттерджи, Сурав. «Расстояния между вероятностными мерами» (PDF) . Калифорнийский университет в Беркли. Архивировано из оригинала (PDF) 8 июля 2008 г. Проверено 21 июня 2013 г.

[2] Бретаньолле, Дж.; Хубер, К., Оценка плотностей: минимаксный риск , Семинар по вероятностям, XII (Страсбургский университет, Страсбург, 1976/1977), стр. 342–363, Конспект лекций по математике, 649, Springer, Берлин, 1978, Лемма 2.1 (на французском языке).

[3] Цыбаков, Александр Б., Введение в непараметрическую оценку , переработанное и расширенное из французского оригинала 2004 года. Перевод Владимира Зайца. Серия Спрингера по статистике. Спрингер, Нью-Йорк, 2009. xii+214 стр. ISBN 978-0-387-79051-0 , уравнение 2.25.

[4] Дэвид А. Левин, Юваль Перес, Элизабет Л. Уилмер, Марковские цепи и время смешивания , 2-е. обр. ред. (АМС, 2017), Предложение 4.2, с. 48.

[5] Цыбаков, Александр Б. (2009). Введение в непараметрическую оценку (пересмотренная и расширенная версия французской книги под ред.). Нью-Йорк, штат Нью-Йорк: Спрингер. Лемма 2.1. ISBN 978-0-387-79051-0 .

[6] Деврой, Люк; Дьёрфи, Ласло; Лугоши, Габор (4 апреля 1996 г.). Вероятностная теория распознавания образов (Исправленная ред.). Нью-Йорк: Спрингер. ISBN 978-0-387-94618-4 .

[7] Харша, Прахлад (23 сентября 2011 г.). «Конспекты лекций по сложности коммуникации» (PDF) .

[8] Виллани, Седрик (2009). Оптимальный транспорт, старый и новый . Основные принципы математических наук. Том 338. Springer-Verlag Берлин Гейдельберг. п. 10. дои : 10.1007/978-3-540-71050-9 . ISBN 978-3-540-71049-3 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]