Расстояние Бхаттачарья

В статистике представляет расстояние Бхаттачарьи собой величину, которая представляет собой понятие сходства между двумя распределениями вероятностей . ^[1] Он тесно связан с коэффициентом Бхаттачарьи , который является мерой степени перекрытия между двумя статистическими выборками или популяциями.

Это не метрика , несмотря на то, что ее называют «расстоянием», поскольку она не подчиняется неравенству треугольника .

История

И расстояние Бхаттачарьи, и коэффициент Бхаттачарьи названы в честь Анила Кумара Бхаттачарьи , статистика, работавшего в 1930-х годах в Индийском статистическом институте . ^[2] Он разработал это в ряде статей. ^[3]^[4]^[5] Он разработал метод измерения расстояния между двумя ненормальными распределениями и проиллюстрировал это на примере классических полиномиальных популяций: ^[3] эта работа, несмотря на то, что была представлена к публикации в 1941 году, появилась почти пять лет спустя в Санкхье . ^[3]^[2] Следовательно, профессор Бхаттачарья начал работать над разработкой метрики расстояния для распределений вероятностей, которые абсолютно непрерывны относительно меры Лебега, и опубликовал свои результаты в 1942 году в Трудах Индийского научного конгресса . ^[4] а последняя работа появилась в 1943 году в Бюллетене Калькуттского математического общества . ^[5]

Определение

Для вероятностных распределений $P$ и $Q$ на том же домене ${\mathcal {X}}$ , расстояние Бхаттачарьи определяется как

D_{B}(P,Q)=-\ln \left(BC(P,Q)\right)

где

BC(P,Q)=\sum _{x\in {\mathcal {X}}}{\sqrt {P(x)Q(x)}}

— коэффициент Бхаттачарьи для дискретных распределений вероятностей .

Для непрерывных распределений вероятностей с $P(dx)=p(x)dx$ и $Q(dx)=q(x)dx$ где $p(x)$ и $q(x)$ — функции плотности вероятности , коэффициент Бхаттачарьи определяется как

BC(P,Q)=\int _{\mathcal {X}}{\sqrt {p(x)q(x)}}\,dx

.

В более общем смысле, учитывая две меры вероятности $P,Q$ на измеримом пространстве $({\mathcal {X}},{\mathcal {B}})$ , позволять $\lambda$ — сигма-конечная мера такая, что $P$ и $Q$ непрерывны абсолютно относительно $\lambda$ то есть такой, что $P(dx)=p(x)\lambda (dx)$ , и $Q(dx)=q(x)\lambda (dx)$ для функций плотности вероятности $p,q$ относительно $\lambda$ определенный $\lambda$ -почти везде. Такая мера, даже такая вероятностная мера, всегда существует, например $\lambda ={\tfrac {1}{2}}(P+Q)$ . Затем определим меру Бхаттачарьи на $({\mathcal {X}},{\mathcal {B}})$ к

bc(dx|P,Q)={\sqrt {p(x)q(x)}}\,\lambda (dx)={\sqrt {{\frac {P(dx)}{\lambda (dx)}}(x){\frac {Q(dx)}{\lambda (dx)}}(x)}}\lambda (dx).

Это не зависит от меры $\lambda$ , ибо если мы выберем меру $\mu$ такой, что $\lambda$ и другой выбор меры $\lambda '$ абсолютно непрерывны, т.е. $\lambda =l(x)\mu$ и $\lambda '=l'(x)\mu$ , затем

P(dx)=p(x)\lambda (dx)=p'(x)\lambda '(dx)=p(x)l(x)\mu (dx)=p'(x)l'(x)\mu (dx)

,

и аналогично для $Q$ . Тогда у нас есть

bc(dx|P,Q)={\sqrt {p(x)q(x)}}\,\lambda (dx)={\sqrt {p(x)q(x)}}\,l(x)\mu (x)={\sqrt {p(x)l(x)q(x)\,l(x)}}\mu (dx)={\sqrt {p'(x)l'(x)q'(x)l'(x)}}\,\mu (dx)={\sqrt {p'(x)q'(x)}}\,\lambda '(dx)

.

Наконец, мы определим коэффициент Бхаттачарьи

BC(P,Q)=\int _{\mathcal {X}}bc(dx|P,Q)=\int _{\mathcal {X}}{\sqrt {p(x)q(x)}}\,\lambda (dx)

.

Согласно вышеизложенному, количество $BC(P,Q)$ не зависит от $\lambda$ , и по неравенству Коши $0\leq BC(P,Q)\leq 1$ . В частности, если $P(dx)=p(x)Q(dx)$ абсолютно непрерывен по отношению к $Q$ с производным радона Никодима $p(x)={\frac {P(dx)}{Q(dx)}}(x)$ , затем $BC(P,Q)=\int _{\mathcal {X}}{\sqrt {p(x)}}Q(dx)=\int _{\mathcal {X}}{\sqrt {\frac {P(dx)}{Q(dx)}}}Q(dx)=E_{Q}\left[{\sqrt {\frac {P(dx)}{Q(dx)}}}\right]$

Гауссов случай

Позволять $p\sim {\mathcal {N}}(\mu _{p},\sigma _{p}^{2})$ , $q\sim {\mathcal {N}}(\mu _{q},\sigma _{q}^{2})$ , где ${\mathcal {N}}(\mu ,\sigma ^{2})$ это нормальное распределение со средним значением $\mu$ и дисперсия $\sigma ^{2}$ ; затем

D_{B}(p,q)={\frac {1}{4}}{\frac {(\mu _{p}-\mu _{q})^{2}}{\sigma _{p}^{2}+\sigma _{q}^{2}}}+{\frac {1}{2}}\ln \left({\frac {\sigma _{p}^{2}+\sigma _{q}^{2}}{2\sigma _{p}\sigma _{q}}}\right)

.

И вообще, учитывая два многомерных нормальных распределения $p_{i}={\mathcal {N}}({\boldsymbol {\mu }}_{i},\,{\boldsymbol {\Sigma }}_{i})$ ,

D_{B}(p_{1},p_{2})={1 \over 8}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{2})^{T}{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{2})+{1 \over 2}\ln \,\left({\det {\boldsymbol {\Sigma }} \over {\sqrt {\det {\boldsymbol {\Sigma }}_{1}\,\det {\boldsymbol {\Sigma }}_{2}}}}\right)

,

где ${\boldsymbol {\Sigma }}={{\boldsymbol {\Sigma }}_{1}+{\boldsymbol {\Sigma }}_{2} \over 2}.$ ^[6] Обратите внимание, что первый член представляет собой квадрат расстояния Махаланобиса .

Характеристики

$0\leq BC\leq 1$ и $0\leq D_{B}\leq \infty$ .

$D_{B}$ не подчиняется неравенству треугольника , хотя расстояние Хеллингера ${\sqrt {1-BC(p,q)}}$ делает.

Границы байесовской ошибки

Расстояние Бхаттачарьи можно использовать для верхней и нижней границы частоты ошибок Байеса :

${\frac {1}{2}}-{\frac {1}{2}}{\sqrt {1-4\rho ^{2}}}\leq L^{*}\leq \rho$

где $\rho =\mathbb {E} {\sqrt {\eta (X)(1-\eta (X))}}$ и $\eta (X)=\mathbb {P} (Y=1|X)$ - апостериорная вероятность. ^[7]

Приложения

Коэффициент Бхаттачарьи количественно определяет «близость» двух случайных статистических выборок.

Даны две последовательности из распределений $P,Q$ , сложите их в $n$ ведра, и пусть частота выборок из $P$ в ведре $i$ быть $p_{i}$ , и аналогично для $q_{i}$ , то выборочный коэффициент Бхаттачарьи равен

BC(\mathbf {p} ,\mathbf {q} )=\sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}},

который является оценкой $BC(P,Q)$ . Качество оценки зависит от выбора сегментов; слишком мало ведер приведет к переоценке $BC(P,Q)$ , хотя слишком многие недооценили бы.

Общей задачей классификации является оценка разделимости классов. С точностью до мультипликативного множителя квадрат расстояния Махаланобиса является частным случаем расстояния Бхаттачарьи, когда два класса обычно распределяются с одинаковыми дисперсиями. Когда два класса имеют схожие средние значения, но значительно различаются дисперсии, расстояние Махаланобиса будет близко к нулю, а расстояние Бхаттачарьи — нет.

Коэффициент Бхаттачарьи используется при построении полярных кодов . ^[8]

Расстояние Бхаттачарьи используется при извлечении и выборе признаков. ^[9] обработка изображений, ^[10] распознавание говорящего , ^[11] кластеризация телефонов, ^[12] и в генетике. ^[13]

См. также

Ссылки

^ Додж, Ядола (2003). Оксфордский словарь статистических терминов . Издательство Оксфордского университета. ISBN 978-0-19-920613-1 .
^ Jump up to: ^а ^б Сен, Пранаб Кумар (1996). «Анил Кумар Бхаттачарья (1915–1996): благоговейное воспоминание» . Бюллетень Калькуттской статистической ассоциации . 46 (3–4): 151–158. дои : 10.1177/0008068319960301 . S2CID 164326977 .
^ Jump up to: ^а ^б ^с Бхаттачарья, А. (1946). «О мере расхождения между двумя многочленными популяциями» . Санкхья . 7 (4): 401–406. JSTOR 25047882 .
^ Jump up to: ^а ^б Бхаттачарья, А. (1942). «О дискриминации и дивергенции» . Материалы Индийского научного конгресса . Азиатское общество Бенгалии.
^ Jump up to: ^а ^б Бхаттачарья, А. (март 1943 г.). «О мере расхождения между двумя статистическими совокупностями, определяемыми их распределениями вероятностей» . Бюллетень Калькуттского математического общества . 35 : 99–109. МР 0010358 .
^ Кашьяп, Рави (2019). «Идеальный брак и многое другое: сочетание уменьшения размеров, измерения расстояния и ковариации» . Физика А: Статистическая механика и ее приложения . 536 : 120938. arXiv : 1603.09060 . дои : 10.1016/j.physa.2019.04.174 .
^ Деврой Л., Дьерфи Л. и Лугоши Г. Вероятностная теория распознавания образов. Дискретная прикладная математика 73, 192–194 (1997).
^ Арыкан, Эрдал (июль 2009 г.). «Поляризация канала: метод построения кодов достижения пропускной способности для симметричных каналов без памяти с двоичным входом». Транзакции IEEE по теории информации . 55 (7): 3051–3073. arXiv : 0807.3917 . дои : 10.1109/TIT.2009.2021379 . S2CID 889822 .
^ Юисун Чой, Чулхи Ли, «Извлечение признаков на основе расстояния Бхаттачарья», Распознавание образов , Том 36, Выпуск 8, август 2003 г., Страницы 1703–1709
^ Франсуа Гудай, Филипп Рефрежье, Гийом Дельон, «Расстояние Бхаттачарья как параметр контрастности для статистической обработки зашумленных оптических изображений», JOSA A , Vol. 21, выпуск 7, стр. 1231−1240 (2004).
^ Чанг Хуай Ю, «Ядро SVM с GMM-супервектором на основе расстояния Бхаттачарья для распознавания говорящего», Signal Processing Letters , IEEE, Vol 16, Is 1, стр. 49-52
^ Мак, Б., «Кластеризация телефонов с использованием расстояния Бхаттачарья», Разговорный язык , 1996. ICSLP 96. Proceedings., Четвертая международная конференция, Том 4, стр. 2005–2008, том 4, 3–6 октября 1996 г.
^ Чаттопадхьяй, Апарна; Чаттопадхьяй, Асис Кумар; Б-Рао, Чандрика (1 июня 2004 г.). «Мера расстояния Бхаттачарьи как предшественник генетических мер расстояния» . Журнал биологических наук . 29 (2): 135–138. дои : 10.1007/BF02703410 . ISSN 0973-7138 .

Внешние ссылки

«Расстояние Бхаттачарьи» , Математическая энциклопедия , EMS Press , 2001 [1994]
Статистическая интуиция расстояния Бхаттачарьи
Некоторые объекты недвижимости в Бхаттачарья Дистанция
Нильсен, Ф.; Больц, С. (2010). «Центроиды Бурбеа – Рао и Бхаттачарья». Транзакции IEEE по теории информации. 57 (8): 5455–5466. ^[1]
Кайлат, Т. (1967). «Меры расхождения и расстояния Бхаттачарьи при выборе сигнала». Транзакции IEEE по коммуникационным технологиям. 15 (1): 52–60. ^[2]
Джуади, А.; Сноррасон, О.; Гарбер, Ф. (1990). «Качество оценок обучающей выборки коэффициента Бхаттачарьи». Транзакции IEEE по анализу шаблонов и машинному интеллекту. 12 (1): 92–97. ^[3]

^ Нильсен, Франк; Больц, Сильвен (2011). «Центроиды Бурбеа-Рао и Бхаттачарья» . Транзакции IEEE по теории информации . 57 (8): 5455–5466. arXiv : 1004.5049 . дои : 10.1109/TIT.2011.2159046 . ISSN 0018-9448 . S2CID 14238708 .
^ Кайлат, Т. (1967). «Меры расхождения и расстояния Бхаттачарьи при выборе сигнала» . Транзакции IEEE в области коммуникаций . 15 (1): 52–60. дои : 10.1109/TCOM.1967.1089532 . ISSN 0096-2244 .
^ Джуади, А.; Сноррасон, О.; Гарбер, Ф.Д. (1990). «Качество оценки обучающей выборки коэффициента Бхаттачарьи» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 12 (1): 92–97. дои : 10.1109/34.41388 .

[1] Додж, Ядола (2003). Оксфордский словарь статистических терминов . Издательство Оксфордского университета. ISBN 978-0-19-920613-1 .

[:0-2] Jump up to: ^а ^б Сен, Пранаб Кумар (1996). «Анил Кумар Бхаттачарья (1915–1996): благоговейное воспоминание» . Бюллетень Калькуттской статистической ассоциации . 46 (3–4): 151–158. дои : 10.1177/0008068319960301 . S2CID 164326977 .

[:1-3] Jump up to: ^а ^б ^с Бхаттачарья, А. (1946). «О мере расхождения между двумя многочленными популяциями» . Санкхья . 7 (4): 401–406. JSTOR 25047882 .

[:3-4] Jump up to: ^а ^б Бхаттачарья, А. (1942). «О дискриминации и дивергенции» . Материалы Индийского научного конгресса . Азиатское общество Бенгалии.

[:2-5] Jump up to: ^а ^б Бхаттачарья, А. (март 1943 г.). «О мере расхождения между двумя статистическими совокупностями, определяемыми их распределениями вероятностей» . Бюллетень Калькуттского математического общества . 35 : 99–109. МР 0010358 .

[6] Кашьяп, Рави (2019). «Идеальный брак и многое другое: сочетание уменьшения размеров, измерения расстояния и ковариации» . Физика А: Статистическая механика и ее приложения . 536 : 120938. arXiv : 1603.09060 . дои : 10.1016/j.physa.2019.04.174 .

[7] Деврой Л., Дьерфи Л. и Лугоши Г. Вероятностная теория распознавания образов. Дискретная прикладная математика 73, 192–194 (1997).

[8] Арыкан, Эрдал (июль 2009 г.). «Поляризация канала: метод построения кодов достижения пропускной способности для симметричных каналов без памяти с двоичным входом». Транзакции IEEE по теории информации . 55 (7): 3051–3073. arXiv : 0807.3917 . дои : 10.1109/TIT.2009.2021379 . S2CID 889822 .

[9] Юисун Чой, Чулхи Ли, «Извлечение признаков на основе расстояния Бхаттачарья», Распознавание образов , Том 36, Выпуск 8, август 2003 г., Страницы 1703–1709

[Goudail-10] Франсуа Гудай, Филипп Рефрежье, Гийом Дельон, «Расстояние Бхаттачарья как параметр контрастности для статистической обработки зашумленных оптических изображений», JOSA A , Vol. 21, выпуск 7, стр. 1231−1240 (2004).

[You-11] Чанг Хуай Ю, «Ядро SVM с GMM-супервектором на основе расстояния Бхаттачарья для распознавания говорящего», Signal Processing Letters , IEEE, Vol 16, Is 1, стр. 49-52

[Mak-12] Мак, Б., «Кластеризация телефонов с использованием расстояния Бхаттачарья», Разговорный язык , 1996. ICSLP 96. Proceedings., Четвертая международная конференция, Том 4, стр. 2005–2008, том 4, 3–6 октября 1996 г.

[13] Чаттопадхьяй, Апарна; Чаттопадхьяй, Асис Кумар; Б-Рао, Чандрика (1 июня 2004 г.). «Мера расстояния Бхаттачарьи как предшественник генетических мер расстояния» . Журнал биологических наук . 29 (2): 135–138. дои : 10.1007/BF02703410 . ISSN 0973-7138 .

[14] Нильсен, Франк; Больц, Сильвен (2011). «Центроиды Бурбеа-Рао и Бхаттачарья» . Транзакции IEEE по теории информации . 57 (8): 5455–5466. arXiv : 1004.5049 . дои : 10.1109/TIT.2011.2159046 . ISSN 0018-9448 . S2CID 14238708 .

[15] Кайлат, Т. (1967). «Меры расхождения и расстояния Бхаттачарьи при выборе сигнала» . Транзакции IEEE в области коммуникаций . 15 (1): 52–60. дои : 10.1109/TCOM.1967.1089532 . ISSN 0096-2244 .

[16] Джуади, А.; Сноррасон, О.; Гарбер, Ф.Д. (1990). «Качество оценки обучающей выборки коэффициента Бхаттачарьи» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 12 (1): 92–97. дои : 10.1109/34.41388 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[1]

[2]

[3]