Расстояние Хеллингера
В теории вероятности и статистике ( расстояние Хеллингера тесно связанное с расстоянием Бхаттачарьи , хотя и отличающееся от него ) используется для количественной оценки сходства между двумя распределениями вероятностей . Это разновидность f -дивергенции . Расстояние Хеллингера определяется с помощью интеграла Хеллингера , который был введен Эрнстом Хеллингером в 1909 году. [1] [2]
Иногда его называют расстоянием Джеффриса. [3] [4]
Определение
[ редактировать ]Теория меры
[ редактировать ]Чтобы определить расстояние Хеллингера с точки зрения теории меры , пусть и обозначают две вероятностные меры в пространстве меры относительно абсолютно непрерывные вспомогательной меры . Такая мера всегда существует, например . Квадрат расстояния Хеллингера между и определяется как количество
Здесь, и , то есть и являются производными Радона–Никодима P и Q соответственно по . Это определение не зависит от , т.е. расстояние Хеллингера между P и Q не изменится, если заменяется другой вероятностной мерой, относительно которой и P , и Q абсолютно непрерывны. Для компактности приведенную выше формулу часто записывают как
Теория вероятностей с использованием меры Лебега
[ редактировать ]Чтобы определить расстояние Хеллингера с точки зрения элементарной теории вероятностей, мы возьмем λ в качестве меры Лебега , так что dP / dλ и dQ / d λ являются просто функциями плотности вероятности . Если мы обозначим плотности как f и g соответственно, квадрат расстояния Хеллингера можно выразить как стандартный интеграл исчисления.
где вторую форму можно получить, разложив квадрат и воспользовавшись тем фактом, что интеграл от плотности вероятности по его области определения равен 1.
Расстояние Хеллингера H ( P , Q ) удовлетворяет свойству (выводимому из неравенства Коши – Шварца )
Дискретные распределения
[ редактировать ]Для двух дискретных распределений вероятностей и ,их расстояние Хеллингера определяется как
что напрямую связано с евклидовой нормой разности векторов квадратных корней, т.е.
Также,
Характеристики
[ редактировать ]Расстояние Хеллингера образует ограниченную метрику в пространстве вероятностных распределений в данном вероятностном пространстве .
Максимальное расстояние 1 достигается, когда P присваивает нулевую вероятность каждому множеству, которому Q присваивает положительную вероятность, и наоборот.
Иногда фактор перед интегралом опускается, и в этом случае расстояние Хеллингера изменяется от нуля до квадратного корня из двух.
Расстояние Хеллингера связано с коэффициентом Бхаттачарьи. как это можно определить как
Расстояния Хеллингера используются в теории последовательной и асимптотической статистики . [5] [6]
Квадрат расстояния Хеллингера между двумя нормальными распределениями и является:
Квадрат расстояния Хеллингера между двумя многомерными нормальными распределениями и является [7]
Квадрат расстояния Хеллингера между двумя экспоненциальными распределениями и является:
Квадрат расстояния Хеллингера между двумя распределениями Вейбулла и (где является общим параметром формы и — параметры масштаба соответственно):
Квадрат расстояния Хеллингера между двумя распределениями Пуассона с параметрами скорости и , так что и , является:
Квадрат расстояния Хеллингера между двумя бета-распределениями и является:
где это бета-функция .
Квадрат расстояния Хеллингера между двумя гамма-распределениями и является:
где это гамма-функция .
Соединение с общим расстоянием изменения
[ редактировать ]Расстояние Хеллингера и общее расстояние вариации (или статистическое расстояние) связаны следующим образом: [8]
Константы в этом неравенстве могут меняться в зависимости от того, какую перенормировку вы выберете ( или ).
Эти неравенства непосредственно следуют из неравенств между 1-нормой и 2-нормой .
См. также
[ редактировать ]- Статистическое расстояние
- Расхождение Кульбака – Лейблера
- Расстояние Бхаттачарья
- Общее расстояние изменения
- Информационная метрика Фишера
Примечания
[ редактировать ]- ^ Никулин, М.С. (2001) [1994], «Расстояние Хеллингера» , Энциклопедия Математики , EMS Press
- ^ Хеллингер, Эрнст (1909), «Новое обоснование теории квадратичных форм бесконечного числа переменных» , Журнал чистой и прикладной математики (на немецком языке), 1909 (136): 210–271, doi : 10.1515/crll.1909.136. 210 , ДЖФМ 40.0393.01 , С2КИД 121150138
- ^ «Расстояние Джеффриса — Математическая энциклопедия» . энциклопедияofmath.org . Проверено 24 мая 2022 г.
- ^ Джеффрис, Гарольд (24 сентября 1946 г.). «Инвариантная форма априорной вероятности в задачах оценивания» . Труды Лондонского королевского общества. Серия А. Математические и физические науки . 186 (1007): 453–461. Бибкод : 1946RSPSA.186..453J . дои : 10.1098/rspa.1946.0056 . ISSN 0080-4630 . ПМИД 20998741 . S2CID 19490929 .
- ^ Торгерсон, Эрик (1991). «Сравнение статистических экспериментов». Энциклопедия математики . Том. 36. Издательство Кембриджского университета.
- ^ Лизе, Фридрих; Мишке, Клаус-Й. (2008). Статистическая теория принятия решений: оценка, тестирование и отбор . Спрингер. ISBN 978-0-387-73193-3 .
- ^ Пардо, Л. (2006). Статистический вывод на основе мер расхождения . Нью-Йорк: Чепмен и Холл/CRC. п. 51. ИСБН 1-58488-600-5 .
- ^ Харша, Прахлад (23 сентября 2011 г.). «Конспекты лекций по сложности коммуникации» (PDF) .
Ссылки
[ редактировать ]- Ян, Грейс Ло ; Ле Кам, Люсьен М. (2000). Асимптотика в статистике: некоторые основные понятия . Берлин: Шпрингер. ISBN 0-387-95036-2 .
- Ваарт, А.В. ван дер (19 июня 2000 г.). Асимптотическая статистика (Кембриджская серия по статистической и вероятностной математике) . Кембридж, Великобритания: Издательство Кембриджского университета. ISBN 0-521-78450-6 .
- Поллард, Дэвид Э. (2002). Руководство пользователя по измерению теоретической вероятности . Кембридж, Великобритания: Издательство Кембриджского университета. ISBN 0-521-00289-3 .