Расстояние Хеллингера

В теории вероятности и статистике ( расстояние Хеллингера тесно связанное с расстоянием Бхаттачарьи , хотя и отличающееся от него ) используется для количественной оценки сходства между двумя распределениями вероятностей . Это разновидность f -дивергенции . Расстояние Хеллингера определяется с помощью интеграла Хеллингера , который был введен Эрнстом Хеллингером в 1909 году. ^[1]^[2]

Иногда его называют расстоянием Джеффриса. ^[3]^[4]

Определение

Теория меры

Чтобы определить расстояние Хеллингера с точки зрения теории меры , пусть $P$ и $Q$ обозначают две вероятностные меры в пространстве меры ${\mathcal {X}}$ относительно абсолютно непрерывные вспомогательной меры $\lambda$ . Такая мера всегда существует, например $\lambda =(P+Q)$ . Квадрат расстояния Хеллингера между $P$ и $Q$ определяется как количество

H^{2}(P,Q)={\frac {1}{2}}\displaystyle \int _{\mathcal {X}}\left({\sqrt {p(x)}}-{\sqrt {q(x)}}\right)^{2}\lambda (dx).

Здесь, $P(dx)=p(x)\lambda (dx)$ и $Q(dx)=q(x)\lambda (dx)$ , то есть $p$ и $q$ являются производными Радона–Никодима P и Q соответственно по $\lambda$ . Это определение не зависит от $\lambda$ , т.е. расстояние Хеллингера между P и Q не изменится, если $\lambda$ заменяется другой вероятностной мерой, относительно которой и P , и Q абсолютно непрерывны. Для компактности приведенную выше формулу часто записывают как

H^{2}(P,Q)={\frac {1}{2}}\int _{\mathcal {X}}\left({\sqrt {P(dx)}}-{\sqrt {Q(dx)}}\right)^{2}.

Теория вероятностей с использованием меры Лебега

Чтобы определить расстояние Хеллингера с точки зрения элементарной теории вероятностей, мы возьмем λ в качестве меры Лебега , так что dP / dλ и dQ / d λ являются просто функциями плотности вероятности . Если мы обозначим плотности как f и g соответственно, квадрат расстояния Хеллингера можно выразить как стандартный интеграл исчисления.

H^{2}(f,g)={\frac {1}{2}}\int \left({\sqrt {f(x)}}-{\sqrt {g(x)}}\right)^{2}\,dx=1-\int {\sqrt {f(x)g(x)}}\,dx,

где вторую форму можно получить, разложив квадрат и воспользовавшись тем фактом, что интеграл от плотности вероятности по его области определения равен 1.

Расстояние Хеллингера H ( P , Q ) удовлетворяет свойству (выводимому из неравенства Коши – Шварца )

0\leq H(P,Q)\leq 1.

Дискретные распределения

Для двух дискретных распределений вероятностей $P=(p_{1},\ldots ,p_{k})$ и $Q=(q_{1},\ldots ,q_{k})$ ,их расстояние Хеллингера определяется как

H(P,Q)={\frac {1}{\sqrt {2}}}\;{\sqrt {\sum _{i=1}^{k}({\sqrt {p_{i}}}-{\sqrt {q_{i}}})^{2}}},

что напрямую связано с евклидовой нормой разности векторов квадратных корней, т.е.

H(P,Q)={\frac {1}{\sqrt {2}}}\;{\bigl \|}{\sqrt {P}}-{\sqrt {Q}}{\bigr \|}_{2}.

Также, $1-H^{2}(P,Q)=\sum _{i=1}^{k}{\sqrt {p_{i}q_{i}}}.$

Характеристики

Расстояние Хеллингера образует ограниченную метрику в пространстве вероятностных распределений в данном вероятностном пространстве .

Максимальное расстояние 1 достигается, когда P присваивает нулевую вероятность каждому множеству, которому Q присваивает положительную вероятность, и наоборот.

Иногда фактор $1/2$ перед интегралом опускается, и в этом случае расстояние Хеллингера изменяется от нуля до квадратного корня из двух.

Расстояние Хеллингера связано с коэффициентом Бхаттачарьи. $BC(P,Q)$ как это можно определить как

H(P,Q)={\sqrt {1-BC(P,Q)}}.

Расстояния Хеллингера используются в теории последовательной и асимптотической статистики . ^[5]^[6]

Квадрат расстояния Хеллингера между двумя нормальными распределениями $P\sim {\mathcal {N}}(\mu _{1},\sigma _{1}^{2})$ и $Q\sim {\mathcal {N}}(\mu _{2},\sigma _{2}^{2})$ является:

H^{2}(P,Q)=1-{\sqrt {\frac {2\sigma _{1}\sigma _{2}}{\sigma _{1}^{2}+\sigma _{2}^{2}}}}\,e^{-{\frac {1}{4}}{\frac {(\mu _{1}-\mu _{2})^{2}}{\sigma _{1}^{2}+\sigma _{2}^{2}}}}.

Квадрат расстояния Хеллингера между двумя многомерными нормальными распределениями $P\sim {\mathcal {N}}(\mu _{1},\Sigma _{1})$ и $Q\sim {\mathcal {N}}(\mu _{2},\Sigma _{2})$ является ^[7]

H^{2}(P,Q)=1-{\frac {\det(\Sigma _{1})^{1/4}\det(\Sigma _{2})^{1/4}}{\det \left({\frac {\Sigma _{1}+\Sigma _{2}}{2}}\right)^{1/2}}}\exp \left\{-{\frac {1}{8}}(\mu _{1}-\mu _{2})^{T}\left({\frac {\Sigma _{1}+\Sigma _{2}}{2}}\right)^{-1}(\mu _{1}-\mu _{2})\right\}

Квадрат расстояния Хеллингера между двумя экспоненциальными распределениями $P\sim \mathrm {Exp} (\alpha )$ и $Q\sim \mathrm {Exp} (\beta )$ является:

H^{2}(P,Q)=1-{\frac {2{\sqrt {\alpha \beta }}}{\alpha +\beta }}.

Квадрат расстояния Хеллингера между двумя распределениями Вейбулла $P\sim \mathrm {W} (k,\alpha )$ и $Q\sim \mathrm {W} (k,\beta )$ (где $k$ является общим параметром формы и $\alpha \,,\beta$ — параметры масштаба соответственно):

H^{2}(P,Q)=1-{\frac {2(\alpha \beta )^{k/2}}{\alpha ^{k}+\beta ^{k}}}.

Квадрат расстояния Хеллингера между двумя распределениями Пуассона с параметрами скорости $\alpha$ и $\beta$ , так что $P\sim \mathrm {Poisson} (\alpha )$ и $Q\sim \mathrm {Poisson} (\beta )$ , является:

H^{2}(P,Q)=1-e^{-{\frac {1}{2}}({\sqrt {\alpha }}-{\sqrt {\beta }})^{2}}.

Квадрат расстояния Хеллингера между двумя бета-распределениями $P\sim {\text{Beta}}(a_{1},b_{1})$ и $Q\sim {\text{Beta}}(a_{2},b_{2})$ является:

H^{2}(P,Q)=1-{\frac {B\left({\frac {a_{1}+a_{2}}{2}},{\frac {b_{1}+b_{2}}{2}}\right)}{\sqrt {B(a_{1},b_{1})B(a_{2},b_{2})}}}

где $B$ это бета-функция .

Квадрат расстояния Хеллингера между двумя гамма-распределениями $P\sim {\text{Gamma}}(a_{1},b_{1})$ и $Q\sim {\text{Gamma}}(a_{2},b_{2})$ является:

H^{2}(P,Q)=1-\Gamma \left({\scriptstyle {\frac {a_{1}+a_{2}}{2}}}\right)\left({\frac {b_{1}+b_{2}}{2}}\right)^{-(a_{1}+a_{2})/2}{\sqrt {\frac {b_{1}^{a_{1}}b_{2}^{a_{2}}}{\Gamma (a_{1})\Gamma (a_{2})}}}

где $\Gamma$ это гамма-функция .

Соединение с общим расстоянием изменения

Расстояние Хеллингера $H(P,Q)$ и общее расстояние вариации (или статистическое расстояние) $\delta (P,Q)$ связаны следующим образом: ^[8]

H^{2}(P,Q)\leq \delta (P,Q)\leq {\sqrt {2}}H(P,Q)\,.

Константы в этом неравенстве могут меняться в зависимости от того, какую перенормировку вы выберете ( $1/2$ или $1/{\sqrt {2}}$ ).

Эти неравенства непосредственно следуют из неравенств между 1-нормой и 2-нормой .

См. также

Примечания

^ Никулин, М.С. (2001) [1994], «Расстояние Хеллингера» , Энциклопедия Математики , EMS Press
^ Хеллингер, Эрнст (1909), «Новое обоснование теории квадратичных форм бесконечного числа переменных» , Журнал чистой и прикладной математики (на немецком языке), 1909 (136): 210–271, doi : 10.1515/crll.1909.136. 210 , ДЖФМ 40.0393.01 , С2КИД 121150138
^ «Расстояние Джеффриса — Математическая энциклопедия» . энциклопедияofmath.org . Проверено 24 мая 2022 г.
^ Джеффрис, Гарольд (24 сентября 1946 г.). «Инвариантная форма априорной вероятности в задачах оценивания» . Труды Лондонского королевского общества. Серия А. Математические и физические науки . 186 (1007): 453–461. Бибкод : 1946RSPSA.186..453J . дои : 10.1098/rspa.1946.0056 . ISSN 0080-4630 . ПМИД 20998741 . S2CID 19490929 .
^ Торгерсон, Эрик (1991). «Сравнение статистических экспериментов». Энциклопедия математики . Том. 36. Издательство Кембриджского университета.
^ Лизе, Фридрих; Мишке, Клаус-Й. (2008). Статистическая теория принятия решений: оценка, тестирование и отбор . Спрингер. ISBN 978-0-387-73193-3 .
^ Пардо, Л. (2006). Статистический вывод на основе мер расхождения . Нью-Йорк: Чепмен и Холл/CRC. п. 51. ИСБН 1-58488-600-5 .
^ Харша, Прахлад (23 сентября 2011 г.). «Конспекты лекций по сложности коммуникации» (PDF) .

Ссылки

Ян, Грейс Ло ; Ле Кам, Люсьен М. (2000). Асимптотика в статистике: некоторые основные понятия . Берлин: Шпрингер. ISBN 0-387-95036-2 .
Ваарт, А.В. ван дер (19 июня 2000 г.). Асимптотическая статистика (Кембриджская серия по статистической и вероятностной математике) . Кембридж, Великобритания: Издательство Кембриджского университета. ISBN 0-521-78450-6 .
Поллард, Дэвид Э. (2002). Руководство пользователя по измерению теоретической вероятности . Кембридж, Великобритания: Издательство Кембриджского университета. ISBN 0-521-00289-3 .

[1] Никулин, М.С. (2001) [1994], «Расстояние Хеллингера» , Энциклопедия Математики , EMS Press

[2] Хеллингер, Эрнст (1909), «Новое обоснование теории квадратичных форм бесконечного числа переменных» , Журнал чистой и прикладной математики (на немецком языке), 1909 (136): 210–271, doi : 10.1515/crll.1909.136. 210 , ДЖФМ 40.0393.01 , С2КИД 121150138

[3] «Расстояние Джеффриса — Математическая энциклопедия» . энциклопедияofmath.org . Проверено 24 мая 2022 г.

[4] Джеффрис, Гарольд (24 сентября 1946 г.). «Инвариантная форма априорной вероятности в задачах оценивания» . Труды Лондонского королевского общества. Серия А. Математические и физические науки . 186 (1007): 453–461. Бибкод : 1946RSPSA.186..453J . дои : 10.1098/rspa.1946.0056 . ISSN 0080-4630 . ПМИД 20998741 . S2CID 19490929 .

[5] Торгерсон, Эрик (1991). «Сравнение статистических экспериментов». Энциклопедия математики . Том. 36. Издательство Кембриджского университета.

[6] Лизе, Фридрих; Мишке, Клаус-Й. (2008). Статистическая теория принятия решений: оценка, тестирование и отбор . Спрингер. ISBN 978-0-387-73193-3 .

[7] Пардо, Л. (2006). Статистический вывод на основе мер расхождения . Нью-Йорк: Чепмен и Холл/CRC. п. 51. ИСБН 1-58488-600-5 .

[8] Харша, Прахлад (23 сентября 2011 г.). «Конспекты лекций по сложности коммуникации» (PDF) .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]