Неточный процесс Дирихле

В теории вероятностей и статистике процесс Дирихле (ДП) — одна из самых популярных байесовских непараметрических моделей. Это былопредставлен Томасом Фергюсоном как априор над вероятностными распределениями.

Процесс Дирихле $\mathrm {DP} \left(s,G_{0}\right)$ полностью определяется своими параметрами: $G_{0}$ ( базовое распределение или базовая мера ) является произвольным распределением и $s$ ( параметр концентрации ) – положительное действительное число (его часто обозначают как $\alpha$).Согласно байесовской парадигме эти параметры следует выбирать на основе доступной предварительной информации о предметной области.

Вопрос в том, как нам выбрать априорные параметры? $\left(s,G_{0}\right)$ ДП, в частности бесконечномерной $G_{0}$, в случае отсутствия предварительной информации?

Для решения этой проблемы единственным априорным решением, предложенным до сих пор, является предельная DP, полученная для $s\rightarrow 0$, который был представлен подназвание байесовского бутстрапа Рубина; на самом деле можно доказать, что байесовский бутстрап асимптотически эквивалентен частотному бутстрапу, введенному Брэдли Эфроном . Предельный процесс Дирихле $s\rightarrow 0$ подвергался критике по разным причинам. С априорной точки зрения главнымкритика заключается в том, что принятие $s\rightarrow 0$ далеко не ведет к неинформативному априору. Более того, апостериорно он присваивает нулевую вероятность любому набору, который не включает наблюдения.

Неточный Дирихле был предложен процесс решения этих проблем. Основная идея – исправить $s>0$ но не выбирайте какую-либо точную базовую меру $G_{0}$.

Точнее, неточный процесс Дирихле (IDP) определяется следующим образом:

$~~\mathrm {IDP} :~\left\{\mathrm {DP} \left(s,G_{0}\right):~~G_{0}\in \mathbb {P} \right\}$

где $\mathbb {P}$ представляет собой набор всех вероятностных мер. Другими словами, IDP — это совокупность всех процессов Дирихле (с фиксированной $s>0$) полученныйпозволяя базовой мере $G_{0}$ чтобы охватить набор всех вероятностных мер.

Выводы с неточным процессом Дирихле

Позволять $P$ распределение вероятностей на $(\mathbb {X} ,{\mathcal {B}})$ (здесь $\mathbb {X}$ стандартное борелевское пространство с борелевским $\sigma$-поле ${\mathcal {B}}$) и предположим, что $P\sim \mathrm {DP} (s,G_{0})$.Тогда рассмотрим вещественнозначную ограниченную функцию $f$ определено на $(\mathbb {X} ,{\mathcal {B}})$. Хорошо известно, что ожидание $E[f]$ относительно процесса Дирихле

${\mathcal {E}}[E(f)]={\mathcal {E}}\left[\int f\,dP\right]=\int f\,d{\mathcal {E}}[P]=\int f\,dG_{0}.$

Одним из наиболее замечательных свойств априорной теории ДП является то, что апостериорное распределение $P$ снова ДП.Позволять $X_{1},\dots ,X_{n}$ быть независимой и одинаково распределенной выборкой из $P$ и $P\sim Dp(s,G_{0})$, то апостериорное распределение $P$ учитывая наблюдения

$P\mid X_{1},\dots ,X_{n}\sim Dp\left(s+n,G_{n}\right),~~~{\text{with}}~~~~~~G_{n}={\frac {s}{s+n}}G_{0}+{\frac {1}{s+n}}\sum \limits _{i=1}^{n}\delta _{X_{i}},$

где $\delta _{X_{i}}$ - атомная мера вероятности (дельта Дирака) с центром в $X_{i}$. Отсюда следуетчто ${\mathcal {E}}[E(f)\mid X_{1},\dots ,X_{n}]=\int f\,dG_{n}.$Следовательно, для любого фиксированного $G_{0}$, мы можем использовать предыдущие уравнения для получения априорных и апостериорных ожиданий.

В ВПЛ $G_{0}$ может охватывать набор всех дистрибутивов $\mathbb {P}$. Это означает, что мы получим разные априорные и апостериорные ожидания $E(f)$ на любой выбор $G_{0}$. Способ охарактеризовать выводы для IDP — вычислить нижнюю и верхнюю границы ожидания $E(f)$ относительно $G_{0}\in \mathbb {P}$.Априори эти границы таковы:

${\underline {\mathcal {E}}}[E(f)]=\inf \limits _{G_{0}\in \mathbb {P} }\int f\,dG_{0}=\inf f,~~~~{\overline {\mathcal {E}}}[E(f)]=\sup \limits _{G_{0}\in \mathbb {P} }\int f\,dG_{0}=\sup f,$

нижняя (верхняя) граница получается с помощью вероятностной меры, которая помещает всю массу в нижнюю (верхнюю) грань $f$, то есть, $G_{0}=\delta _{X_{0}}$ с $X_{0}=\arg \inf f$ (или соответственно с $X_{0}=\arg \sup f$). Из приведенных выше выражений нижней и верхней границ видно, что диапазон значений ${\mathcal {E}}[E(f)]$ под МВУ такой же, как и диапазон первоначальный $f$. Другими словами, указывая МВУ, мы не даем никакой предварительной информации о значении ожидания $f$. Таким образом , априори ВПЛ является моделью предварительного (почти) невежества для $E(f)$.

Апостериорно, ВПЛ могут учиться на данных. Задние нижняя и верхняя границы ожидания $E(f)$ фактически даются:

${\begin{aligned}{\underline {\mathcal {E}}}[E(f)\mid X_{1},\dots ,X_{n}]&=\inf \limits _{G_{0}\in \mathbb {P} }\int f\,dG_{n}={\frac {s}{s+n}}\inf f+\int f(X){\frac {1}{s+n}}\sum \limits _{i=1}^{n}\delta _{X_{i}}(dX)\\&={\frac {s}{s+n}}\inf f+{\frac {n}{s+n}}{\frac {\sum \limits _{i=1}^{n}f(X_{i})}{n}},\\[6pt]{\overline {\mathcal {E}}}[E(f)\mid X_{1},\dots ,X_{n}]&=\sup \limits _{G_{0}\in \mathbb {P} }\int f\,dG_{n}={\frac {s}{s+n}}\sup f+\int f(X){\frac {1}{s+n}}\sum \limits _{i=1}^{n}\delta _{X_{i}}(dX)\\&={\frac {s}{s+n}}\sup f+{\frac {n}{s+n}}{\frac {\sum \limits _{i=1}^{n}f(X_{i})}{n}}.\end{aligned}}$

Можно заметить, что апостериорные выводы не зависят от $G_{0}$. Чтобы определить IDP, разработчику модели достаточно выбрать $s$ (параметр концентрации). Это объясняет значение прилагательного « рядом» в предшествующем почти незнании, поскольку IDP требует от разработчика моделирования выявления параметра. Однако это простая задача выявления непараметрического априора, поскольку нам нужно выбрать только значение положительной скалярной величины (в модели IDP осталось не бесконечно много параметров).

Наконец, заметим, что для $n\rightarrow \infty$, ВПЛ удовлетворяет

${\underline {\mathcal {E}}}\left[E(f)\mid X_{1},\dots ,X_{n}\right],\quad {\overline {\mathcal {E}}}\left[E(f)\mid X_{1},\dots ,X_{n}\right]\rightarrow S(f),$

где $S(f)=\lim _{n\rightarrow \infty }{\tfrac {1}{n}}\sum _{i=1}^{n}f(X_{i})$. Другими словами, ВПЛ последовательны.

Нижнее (красный) и верхнее (синий) кумулятивное распределение для наблюдений {-1,17, 0,44, 1,17, 3,28, 1,44, 1,98}

Выбор предварительной крепости $s$

МВУ полностью определяется $s$, который является единственным параметром, оставшимся в предыдущей модели.Поскольку значение $s$ определяет, насколько быстро сходятся нижние и верхние апостериорные ожиданияувеличение количества наблюдений, $s$ можно выбрать таким образом, чтобы он соответствовал определенной скорости сходимости. Параметр $s$ также могут быть выбраны так, чтобы иметь некоторые желаемые частотные свойства (например, достоверные интервалы, которые будуткалиброванные частотные интервалы, тесты гипотез, калибруемые на ошибку типа I и т. д.), см. Пример: медианный тест

Пример: оценка кумулятивного распределения

Позволять $X_{1},\dots ,X_{n}$ быть действительными случайными величинами с кумулятивной функцией распределения $F(x)$.

С $F(x)=E[\mathbb {I} _{(\infty ,x]}]$, где $\mathbb {I} _{(\infty ,x]}$ это индикаторная функция , мы можем использоватьВПЛ, чтобы сделать выводы о $F(x).$ Нижнее и верхнее заднее среднее значение $F(x)$ являются

${\begin{aligned}&{\underline {\mathcal {E}}}\left[F(x)\mid X_{1},\dots ,X_{n}\right]={\underline {\mathcal {E}}}[E(\mathbb {I} _{(\infty ,x]})\mid X_{1},\dots ,X_{n}]\\={}&{\frac {n}{s+n}}{\frac {\sum \limits _{i=1}^{n}\mathbb {I} _{(\infty ,x]}(X_{i})}{n}}={\frac {n}{s+n}}{\hat {F}}(x),\\[12pt]&{\overline {\mathcal {E}}}\left[F(x)\mid X_{1},\dots ,X_{n}\right]={\overline {\mathcal {E}}}\left[E(\mathbb {I} _{(\infty ,x]})\mid X_{1},\dots ,X_{n}\right]\\={}&{\frac {s}{s+n}}+{\frac {n}{s+n}}{\frac {\sum \limits _{i=1}^{n}\mathbb {I} _{(\infty ,x]}(X_{i})}{n}}={\frac {s}{s+n}}+{\frac {n}{s+n}}{\hat {F}}(x).\end{aligned}}$

где ${\hat {F}}(x)$ – эмпирическая функция распределения . Здесь, чтобы получить нижнее значение, мы воспользовались тем фактом, что $\inf \mathbb {I} _{(\infty ,x]}=0$ и для верха это $\sup \mathbb {I} _{(\infty ,x]}=1$.

Бета-распределения для нижней (красный) и верхней (синий) вероятностей, соответствующих наблюдениям {-1,17, 0,44, 1,17, 3,28, 1,44, 1,98}. Площадь в [0,0,5] дает нижнюю (0,891) и верхнюю (0,9375) вероятность гипотезы «медиана больше нуля».

Заметим, что при любом точном выборе $G_{0}$ (например, нормальное распределение ${\mathcal {N}}(x;0,1)$), апостериорное ожидание $F(x)$ будет включено между нижней и верхней границей.

Пример: медианный тест

IDP также можно использовать для проверки гипотез, например, для проверки гипотезы. $F(0)<0.5$ , то есть медиана $F$ больше нуля.Учитывая разделение $(-\infty ,0],(0,\infty )$ и свойство процесса Дирихле, можно показать, чтозаднее распределение $F(0)$ является

$F(0)\sim \mathrm {Beta} (\alpha _{0}+n_{<0},\beta _{0}+n-n_{<0})$

где $n_{<0}$ количество наблюдений меньше нуля,

$\alpha _{0}=s\int _{-\infty }^{0}dG_{0}$ и $\beta _{0}=s\int _{0}^{\infty }dG_{0}.$

Используя это свойство, следует, что

${\underline {\mathcal {P}}}[F(0)<0.5\mid X_{1},\dots ,X_{n}]=\int \limits _{0}^{0.5}\mathrm {Beta} (\theta ;s+n_{<0},n-n_{<0})d\theta =I_{1/2}(s+n_{<0},n-n_{<0}),$

${\overline {\mathcal {P}}}[F(0)<0.5\mid X_{1},\dots ,X_{n}]=\int \limits _{0}^{0.5}\mathrm {Beta} (\theta ;n_{<0},s+n-n_{<0})d\theta =I_{1/2}(n_{<0},s+n-n_{<0}).$

где $I_{x}(\alpha ,\beta )$ – регуляризованная неполная бета-функция .Таким образом, мы можем выполнить проверку гипотезы

${\underline {\mathcal {P}}}[F(0)<0.5\mid X_{1},\dots ,X_{n}]>1-\gamma ,~~{\overline {\mathcal {P}}}[F(0)<0.5\mid X_{1},\dots ,X_{n}]>1-\gamma ,$

(с $1-\gamma =0.95$ например), а затем

1. если оба неравенства удовлетворены, мы можем объявить, что $F(0)<0.5$ с вероятностью большей, чем $1-\gamma$;
2. если выполняется только одно из неравенств (которое обязательно должно быть неравенством для верхнего), мы находимся в неопределенной ситуации, т. е. не можем принять решение;
3. если оба не удовлетворены, мы можем объявить, что вероятность того, что $F(0)<0.5$ ниже желаемой вероятности $1-\gamma$.

IDP возвращает неопределенное решение, когда решение предварительно зависит (то есть, когда оно будет зависеть от выбора $G_{0}$).

Используя взаимосвязь между кумулятивной функцией распределения бета -распределения и кумулятивной функцией распределения Z случайной величины из биномиального распределения , где «вероятность успеха» равна p , а размер выборки равен n :

$F(k;n,p)=\Pr(Z\leq k)=I_{1-p}(n-k,k+1)=1-I_{p}(k+1,n-k),$

мы можем показать, что медианный тест, полученный с помощью IDP для любого выбора $s\geq 1$ включает в себя односторонний частотникзнаковый тест как тест на медиану. Фактически можно убедиться, что для $s=1$ тот $p$-значение знакового теста равно $1-{\underline {\mathcal {P}}}[F(0)<0.5\mid X_{1},\dots ,X_{n}]$. Таким образом, если ${\underline {\mathcal {P}}}[F(0)<0.5\mid X_{1},\dots ,X_{n}]>0.95$ тогда $p$-значение меньше $0.05$ и, таким образом, эти два теста имеют одинаковую силу.

Применение неточного процесса Дирихле

Процессы Дирихле часто используются в байесовской непараметрической статистике. Неточный процесс Дирихлемогут использоваться вместо процессов Дирихле в любом приложении, в котором отсутствует априорная информация (поэтому важно смоделировать это состояние предварительного незнания).

В этом отношении для непараметрической проверки гипотез использовался неточный процесс Дирихле, см. Статистический пакет неточного процесса Дирихле .На основе неточного процесса Дирихле, байесовских непараметрических версий следующих классических непараметрических оценок, близких к игнорированию: были получены: критерий суммы рангов Уилкоксона и критерий знакового ранга Уилкоксона.

Байесовская непараметрическая модель почти незнания имеет несколько преимуществ по сравнению с традиционным подходом к проверке гипотез.

1. Байесовский подход позволяет нам сформулировать проверку гипотезы как проблему принятия решения. Это означает, что мы можем проверить доказательства в пользу нулевой гипотезы, а не только отвергнуть ее, и принять решения, минимизирующие ожидаемые потери.
2. Из-за непараметрического априорного почти игнорирования тесты на основе IDP позволяют нам начать проверку гипотезы с очень слабыми априорными предположениями, во многом в направлении того, чтобы данные говорили сами за себя.
3. Хотя тест IDP имеет некоторые общие черты со стандартным байесовским подходом, в то же время он воплощает в себе существенное изменение парадигмы, когда дело доходит до принятия решений. Фактически, тесты на основе IDP имеют то преимущество, что дают неопределенный результат, когда решение зависит от предшествующего уровня. Другими словами, тест IDP приостанавливает вынесение суждения, когда вариант, который минимизирует ожидаемые потери, изменяется в зависимости от базовой меры процесса Дирихле, на которой мы фокусируемся.
4. Эмпирически подтверждено, что, когда тест IDP не определен, частотные тесты фактически ведут себя как случайные угадыватели. Этот удивительный результат имеет практические последствия при проверке гипотез. Предположим, что мы пытаемся сравнить эффекты двух методов лечения (Y лучше, чем X), и что, учитывая доступные данные, тест IDP является неопределенным. В такой ситуации частотный тест всегда дает определенный ответ (например, я могу сказать, что Y лучше, чем X), но оказывается, что его ответ совершенно случайен, как если бы мы подбрасывали монету. С другой стороны, тест МВУ признает невозможность принятия решения в этих случаях. Таким образом, говоря «Я не знаю», тест на МВУ предоставляет аналитику более полную информацию. Аналитик может, например, использовать эту информацию для сбора дополнительных данных.

Категориальные переменные

Для категориальных переменных , т.е. когда $\mathbb {X}$ имеет конечное число элементов, известно, чтопроцесс Дирихле сводится к распределению Дирихле .В этом случае неточный процесс Дирихле сводится к неточной модели Дирихле, предложенной Уолли. как модель предварительного (почти) незнания шансов.

См. также

Неточная вероятность

Надежный байесовский анализ

Внешние ссылки

• Реализация тестов гипотез с открытым исходным кодом на основе IDP
• Группа неточной вероятности в IDSIA