Расхождение Дженсена-Шеннона

В теории вероятностей и статистике Дженсена Шеннона - представляет собой расхождение метод измерения сходства между двумя распределениями вероятностей . Он также известен как информационный радиус ( IRad ). или полное отклонение от среднего . Он основан на дивергенции Кульбака-Лейблера с некоторыми заметными (и полезными) отличиями, в том числе тем, что он симметричен и всегда имеет конечное значение. Квадратный корень из дивергенции Дженсена-Шеннона представляет собой метрику, часто называемую расстоянием Дженсена-Шеннона. Сходство между распределениями тем больше, чем расстояние Дженсена-Шеннона ближе к нулю.

Определение

Рассмотрим набор $M_{+}^{1}(A)$ вероятностных распределений, где $A$ — множество, снабженное некоторой σ-алгеброй измеримых подмножеств. В частности, мы можем взять $A$ быть конечным или счетным множеством, все подмножества которого измеримы.

Дивергенция Йенсена-Шеннона (JSD) представляет собой симметричную и сглаженную версию дивергенции Кульбака-Лейблера. $D(P\parallel Q)$. Это определяется

${\rm {JSD}}(P\parallel Q)={\frac {1}{2}}D(P\parallel M)+{\frac {1}{2}}D(Q\parallel M),$

где $M={\frac {1}{2}}(P+Q)$ представляет собой распределение смешанное $P$ и $Q$.

Геометрическое расхождение Дженсена – Шеннона. (или дивергенция Г-Йенсена – Шеннона) дает формулу в замкнутой форме для расхождения между двумя гауссовскими распределениями путем принятия среднего геометрического.

Более общее определение, позволяющее сравнивать более двух вероятностных распределений:

${\begin{aligned}{\rm {JSD}}_{\pi _{1},\ldots ,\pi _{n}}(P_{1},P_{2},\ldots ,P_{n})&=\sum _{i}\pi _{i}D(P_{i}\parallel M)\\&=H\left(M\right)-\sum _{i=1}^{n}\pi _{i}H(P_{i})\end{aligned}}$

где

${\begin{aligned}M&:=\sum _{i=1}^{n}\pi _{i}P_{i}\end{aligned}}$

и $\pi _{1},\ldots ,\pi _{n}$ — это веса, выбранные для вероятностных распределений $P_{1},P_{2},\ldots ,P_{n}$, и $H(P)$ - энтропия Шеннона для распределения $P$. Для случая двух распределений, описанного выше,

$P_{1}=P,P_{2}=Q,\pi _{1}=\pi _{2}={\frac {1}{2}}.\$

Следовательно, для этих распределений $P,Q$

$JSD=H(M)-{\frac {1}{2}}{\bigg (}H(P)+H(Q){\bigg )}$

Границы

Дивергенция Дженсена-Шеннона ограничена единицей для двух распределений вероятностей, при условии, что используется логарифм по основанию 2:

$0\leq {\rm {JSD}}(P\parallel Q)\leq 1$.

При такой нормализации это нижняя граница общего вариационного расстояния между P и Q:

${\rm {JSD}}(P\parallel Q)\leq {\frac {1}{2}}\|P-Q\|_{1}={\frac {1}{2}}\sum _{\omega \in \Omega }|P(\omega )-Q(\omega )|$.

При логарифме по основанию e, который обычно используется в статистической термодинамике, верхняя граница равна $\ln(2)$. В общем случае оценка в базе b равна $\log _{b}(2)$:

$0\leq {\rm {JSD}}(P\parallel Q)\leq \log _{b}(2)$.

Более общая оценка: расхождение Дженсена – Шеннона ограничено $\log _{b}(n)$ для более чем двух распределений вероятностей:

$0\leq {\rm {JSD}}_{\pi _{1},\ldots ,\pi _{n}}(P_{1},P_{2},\ldots ,P_{n})\leq \log _{b}(n)$.

Отношение к взаимной информации

Дивергенция Дженсена-Шеннона - это взаимная информация между случайной величиной. $X$ связано с распределением смеси между $P$ и $Q$ и бинарная индикаторная переменная $Z$ который используется для переключения между $P$ и $Q$ для производства смеси. Позволять $X$ быть некоторой абстрактной функцией базового набора событий, которая хорошо различает события и выбирает значение $X$ в соответствии с $P$ если $Z=0$ и согласно $Q$ если $Z=1$, где $Z$ равновероятно. То есть мы выбираем $X$ по мере вероятности $M=(P+Q)/2$, а его распределение является распределением смеси. Мы вычисляем

${\begin{aligned}I(X;Z)&=H(X)-H(X|Z)\\&=-\sum M\log M+{\frac {1}{2}}\left[\sum P\log P+\sum Q\log Q\right]\\&=-\sum {\frac {P}{2}}\log M-\sum {\frac {Q}{2}}\log M+{\frac {1}{2}}\left[\sum P\log P+\sum Q\log Q\right]\\&={\frac {1}{2}}\sum P\left(\log P-\log M\right)+{\frac {1}{2}}\sum Q\left(\log Q-\log M\right)\\&={\rm {JSD}}(P\parallel Q)\end{aligned}}$

Из приведенного выше результата следует, что дивергенция Дженсена-Шеннона ограничена 0 и 1, поскольку взаимная информация неотрицательна и ограничена $H(Z)=1$ в логарифме по основанию 2.

Тот же принцип можно применить к совместному распределению и продукту его двух предельных распределений (по аналогии с расхождением Кульбака-Лейблера и взаимной информацией) и измерить, насколько надежно можно решить, исходит ли данный ответ из совместного распределения или продукта распределение — при условии, что это единственные две возможности.

Квантовое расхождение Дженсена – Шеннона

Обобщение распределений вероятностей на матрицах плотности позволяет определить квантовую дивергенцию Дженсена-Шеннона (QJSD). Он определен для набора матриц плотности $(\rho _{1},\ldots ,\rho _{n})$ и распределение вероятностей $\pi =(\pi _{1},\ldots ,\pi _{n})$ как

${\rm {QJSD}}(\rho _{1},\ldots ,\rho _{n})=S\left(\sum _{i=1}^{n}\pi _{i}\rho _{i}\right)-\sum _{i=1}^{n}\pi _{i}S(\rho _{i})$

где $S(\rho )$ энтропия Неймана фон $\rho$. Эта величина была введена в квантовую теорию информации, где она называется информацией Холево: она дает верхнюю границу количества классической информации, закодированной квантовыми состояниями. $(\rho _{1},\ldots ,\rho _{n})$ при предварительной раздаче $\pi$ (см. теорему Холево ). Квантовое расхождение Дженсена – Шеннона для $\pi =\left({\frac {1}{2}},{\frac {1}{2}}\right)$ а две матрицы плотности — это симметричная функция, всюду определённая, ограниченная и равная нулю только в том случае, если две матрицы плотности одинаковы. Это квадрат метрики чистых состояний , и недавно было показано, что это свойство метрики справедливо и для смешанных состояний. Метрика Буреса тесно связана с квантовой расходимостью JS; это квантовый аналог информационной метрики Фишера .

Центроид Дженсена – Шеннона

Центроид C* конечного набора вероятностных распределений может определяется как минимизатор средней суммы расхождений Дженсена-Шеннона между распределением вероятностей и заданным набором распределений: $$C^{*}=\arg \min _{Q}\sum _{i=1}^{n}{\rm {JSD}}(P_{i}\parallel Q)$$ Эффективный алгоритм Сообщается, что (CCCP) на основе разницы выпуклых функций рассчитывает центроид Дженсена-Шеннона набора дискретных распределений (гистограмм).

Приложения

Дивергенция Дженсена-Шеннона применялась в биоинформатике и сравнении геномов . при сравнении поверхности белков, в социальных науках, в количественном изучении истории, в огненных экспериментах, и в машинном обучении.

Внешние ссылки

• Ruby Gem для расчета дивергенции JS
• Код Python для расчета расстояния JS
• ТОТ: пакет Python для эффективной оценки теоретико-информационных величин на основе эмпирических данных.
• Библиотека statcomp R для расчета показателей сложности, включая дивергенцию Дженсена-Шеннона