Процесс Дирихле

В вероятностей теории процессы Дирихле (по названию распределения, связанного с Питером Густавом Леженом Дирихле ) — семейство случайных процессов которых , реализациями являются вероятностные распределения . Другими словами, процесс Дирихле — это распределение вероятностей, диапазон которого сам по себе является набором распределений вероятностей. Он часто используется в байесовском выводе для описания априорных знаний о распределении случайных величин — насколько вероятно, что случайные величины распределяются в соответствии с тем или иным конкретным распределением.

Например, мешок из 100 реальных игральных костей представляет собой случайную функцию вероятности (случайная PMF) — чтобы выбрать эту случайную PMF, вы кладете руку в мешок и вытаскиваете игральную кость, то есть вы рисуете PMF. Мешок с игральными костями, изготовленный с использованием грубого процесса 100 лет назад, скорее всего, будет иметь вероятности, сильно отклоняющиеся от единообразного PMF, тогда как мешок с современными игральными костями, используемый в казино Лас-Вегаса, может иметь едва заметные недостатки. Мы можем смоделировать случайность pmfs с помощью распределения Дирихле. ^[1]

Процесс Дирихле определяется базовым распределением. $H$ и положительное действительное число $\alpha$ называется параметром концентрации (также известным как параметр масштабирования). Базовое распределение — это ожидаемое значение процесса, т. е. процесс Дирихле рисует распределения «вокруг» базового распределения так же, как нормальное распределение рисует действительные числа вокруг своего среднего значения. Однако даже если базовое распределение является непрерывным , распределения, полученные из процесса Дирихле, почти наверняка дискретны . Параметр масштабирования определяет, насколько сильна эта дискретизация: в пределе $\alpha \rightarrow 0$ , все реализации сосредоточены на одном значении, а в пределе $\alpha \rightarrow \infty$ реализации становятся непрерывными. Между двумя крайностями реализации представляют собой дискретные распределения со все меньшей и меньшей концентрацией, как $\alpha$ увеличивается.

Процесс Дирихле также можно рассматривать как бесконечномерное обобщение распределения Дирихле . Точно так же, как распределение Дирихле является сопряженным априорным для категориального распределения , процесс Дирихле является сопряженным априорным для бесконечных, непараметрических дискретных распределений. Особенно важным применением процессов Дирихле является априорное распределение вероятностей в моделях бесконечной смеси .

Процесс Дирихле был официально представлен Томасом С. Фергюсоном в 1973 году. ^[2]С тех пор он применяется в интеллектуальном анализе данных и машинном обучении , в частности, для обработки естественного языка , компьютерного зрения и биоинформатики .

Введение

Процессы Дирихле обычно используются при моделировании данных, которые имеют тенденцию повторять предыдущие значения, по так называемому принципу «богатые становятся богаче». В частности, предположим, что генерация значений $X_{1},X_{2},\dots$ можно смоделировать по следующему алгоритму.

Вход:

H

(распределение вероятностей, называемое базовым распределением),

\alpha

(положительное действительное число, называемое параметром масштабирования )

Для

n\geq 1

:

а) С вероятностью ${\frac {\alpha }{\alpha +n-1}}$ рисовать $X_{n}$ от $H$ .

б) С вероятностью ${\frac {n_{x}}{\alpha +n-1}}$ набор $X_{n}=x$ , где $n_{x}$ количество предыдущих наблюдений $x$ .
(Формально, $n_{x}:=|\{j\colon X_{j}=x{\text{ and }}j<n\}|$ где $|\cdot |$ обозначает количество элементов в наборе.)

В то же время другая распространенная модель данных заключается в том, что наблюдения $X_{1},X_{2},\dots$ предполагаются независимыми и одинаково распределенными (iid) в соответствии с некоторым (случайным) распределением $P$ . Целью введения процессов Дирихле является возможность описать описанную выше процедуру в этой модели iid.

The $X_{1},X_{2},\dots$ наблюдения в алгоритме не являются независимыми , поскольку нам приходится учитывать предыдущие результаты при генерации следующего значения. Однако они взаимозаменяемы . Этот факт можно показать, вычислив совместное распределение вероятностей наблюдений и заметив, что результирующая формула зависит только от того, какой из них $x$ значения встречаются среди наблюдений и сколько повторений каждое из них имеет. Из-за этой взаимозаменяемости применима теорема де Финетти о представлении , из которой следует, что наблюдения $X_{1},X_{2},\dots$ при условно независимы наличии (скрытого) распределения $P$ . Этот $P$ сама по себе является случайной величиной и имеет распределение. Это распределение (по распределениям) называется процессом Дирихле ( $\operatorname {DP}$ ). Вкратце, это означает, что мы получаем процедуру, эквивалентную приведенному выше алгоритму:

Нарисуйте распределение $P$ от $\operatorname {DP} \left(H,\alpha \right)$
Делайте наблюдения $X_{1},X_{2},\dots$ независимо от $P$ .

Однако на практике, рисуя конкретное распределение $P$ невозможно, так как для его спецификации требуется бесконечное количество информации. Это распространенное явление в контексте байесовской непараметрической статистики , где типичной задачей является изучение распределений в функциональных пространствах, которые фактически включают бесконечное количество параметров. Ключевой вывод заключается в том, что во многих приложениях бесконечномерные распределения появляются только как промежуточное вычислительное устройство и не требуются ни для первоначальной спецификации предшествующих убеждений, ни для формулировки окончательного вывода.

Формальное определение

Учитывая измеримый набор S , базовое распределение вероятностей H и положительное действительное число $\alpha$ , процесс Дирихле $\operatorname {DP} (H,\alpha )$ — это случайный процесс, которого путь выборки (или реализация , т. е. бесконечная последовательность случайных величин , взятых из процесса) представляет собой распределение вероятностей по S , такое, что выполняется следующее. Для любого измеримого разбиения S конечного обозначим $\{B_{i}\}_{i=1}^{n}$ ,

{\text{if }}X\sim \operatorname {DP} (H,\alpha )

{\text{then }}(X(B_{1}),\dots ,X(B_{n}))\sim \operatorname {Dir} (\alpha H(B_{1}),\dots ,\alpha H(B_{n})),

где $\operatorname {Dir}$ обозначает распределение Дирихле , а обозначение $X\sim D$ означает, что случайная величина $X$ имеет распределение $D$ .

Альтернативные взгляды

Существует несколько эквивалентных взглядов на процесс Дирихле. Помимо формального определения, приведенного выше, процесс Дирихле можно определить неявно с помощью теоремы де Финетти, как описано в первом разделе; это часто называют процессом китайского ресторана . Третьей альтернативой является процесс разрушения палки , который конструктивно определяет процесс Дирихле, записывая распределение, выбранное из процесса, как $f(x)=\sum _{k=1}^{\infty }\beta _{k}\delta _{x_{k}}(x)$ , где $\{x_{k}\}_{k=1}^{\infty }$ являются образцами из базового дистрибутива $H$ , $\delta _{x_{k}}$ – индикаторная функция, ориентированная на $x_{k}$ (ноль везде, кроме $\delta _{x_{k}}(x_{k})=1$ ) и $\beta _{k}$ определяются рекурсивной схемой, которая неоднократно выполняет выборку из бета-распределения. $\operatorname {Beta} (1,\alpha )$ .

Процесс в китайском ресторане

Анимация процесса китайского ресторана с параметром масштабирования

\alpha =0.5

. Таблицы скрываются, если клиенты таблицы больше не могут отображаться; однако за каждым столом бесконечно много мест. (Запись интерактивной анимации. ^[3])

Широко используемая метафора процесса Дирихле основана на так называемом китайском ресторанном процессе . Метафора следующая:

Представьте себе китайский ресторан, в который входят посетители. Новый клиент сядет за стол с вероятностью, пропорциональной количеству уже сидящих за ним клиентов. Дополнительно клиент открывает новую таблицу с вероятностью, пропорциональной параметру масштабирования. $\alpha$ . После того как поступило бесконечное количество клиентов, можно получить распределение вероятностей по бесконечному числу таблиц, которые необходимо выбрать.Это распределение вероятностей по таблицам представляет собой случайную выборку вероятностей наблюдений, взятых из процесса Дирихле с параметром масштабирования. $\alpha$ .

Если кто-то связывает из базовой меры $H$ для каждой таблицы результирующее распределение по выборочному пространству $S$ представляет собой случайную выборку процесса Дирихле.Процесс китайского ресторана связан со схемой отбора проб из урн Полиа , которая дает выборки из конечных распределений Дирихле.

Поскольку клиенты садятся за стол с вероятностью, пропорциональной количеству клиентов, уже сидящих за столом, можно вывести два свойства DP:

Процесс Дирихле демонстрирует самоусиливающееся свойство: чем чаще данное значение выбиралось в прошлом, тем больше вероятность того, что оно будет выбрано снова.
Даже если $H$ является распределением по несчетному множеству , существует ненулевая вероятность того, что две выборки будут иметь одно и то же значение, поскольку масса вероятности будет сосредоточена на небольшом количестве таблиц.

Процесс разрушения палки

Третий подход к процессу Дирихле — это так называемый взгляд на процесс разрушения палки. Концептуально это предполагает многократное отрывание и отбрасывание случайной части (выбранной из бета-распределения) «палки», изначально имеющей длину 1. Помните, что выборки из процесса Дирихле представляют собой распределения по множеству $S$ . Как отмечалось ранее, нарисованное распределение является дискретным с вероятностью 1. С точки зрения процесса разрушения палки мы явно используем дискретность и задаем массовую функцию вероятности этого (случайного) дискретного распределения как:

f(\theta )=\sum _{k=1}^{\infty }\beta _{k}\cdot \delta _{\theta _{k}}(\theta )

где $\delta _{\theta _{k}}$ — индикаторная функция , которая везде, кроме $\delta _{\theta _{k}}(\theta _{k})=1$ . Поскольку это распределение само по себе является случайным, его функция масс параметризуется двумя наборами случайных величин: местоположениями $\left\{\theta _{k}\right\}_{k=1}^{\infty }$ и соответствующие вероятности $\left\{\beta _{k}\right\}_{k=1}^{\infty }$ . Далее мы без доказательства представим, что представляют собой эти случайные величины.

Локации $\theta _{k}$ независимы и одинаково распределены по $H$ , базовое распределение процесса Дирихле. Вероятности $\beta _{k}$ задаются процедурой, напоминающей сломание палки единичной длины (отсюда и название):

\beta _{k}=\beta '_{k}\cdot \prod _{i=1}^{k-1}\left(1-\beta '_{i}\right)

где $\beta '_{k}$ являются независимыми случайными величинами с бета-распределением $\operatorname {Beta} (1,\alpha )$ . Сходство со «ломкой палки» можно увидеть, рассмотрев $\beta _{k}$ как длина куска палки. Начинаем с палки единичной длины и на каждом шаге отламываем часть оставшейся палки в соответствии с $\beta '_{k}$ и назначьте этот отломанный кусок $\beta _{k}$ . Формулу можно понять, заметив, что после того, как первым значениям k - 1 присвоены свои части, длина оставшейся части палочки равна $\prod _{i=1}^{k-1}\left(1-\beta '_{i}\right)$ и этот кусок сломан в соответствии с $\beta '_{k}$ и получает назначение на $\beta _{k}$ .

Чем меньше $\alpha$ то есть тем меньше палочки останется для последующих значений (в среднем), что приведет к более концентрированному распределению.

Процесс разрушения палки аналогичен конструкции, при которой происходит последовательная выборка из маргинальных бета-распределений , чтобы получить выборку из распределения Дирихле . ^[4]

Схема урны Полиа

Еще один способ визуализировать процесс Дирихле и процесс китайского ресторана - это модифицированная схема урн Полиа, которую иногда называют схемой выборки Блэквелла – МакКуина . Представьте, что мы начинаем с урны, наполненной $\alpha$ черные шарики. Дальше действуем следующим образом:

Каждый раз, когда нам нужно наблюдение, мы достаём из урны шарик.
Если шар черный, мы равномерно генерируем новый (не черный) цвет, маркируем новый шар этим цветом, бросаем новый шар в урну вместе с нарисованным нами шаром и возвращаем сгенерированный нами цвет.
В противном случае пометьте новый шар цветом нарисованного нами шара, бросьте новый шар в урну вместе с нарисованным нами шаром и верните наблюдаемый нами цвет.

Результирующее распределение по цветам такое же, как распределение по столам в китайском ресторане. Более того, когда мы рисуем черный шар, вместо того, чтобы генерировать новый цвет, мы выбираем случайное значение из базового распределения. $H$ и использовать это значение для обозначения нового шара, результирующее распределение по меткам будет таким же, как распределение по значениям в процессе Дирихле.

Использовать в качестве предварительного дистрибутива

Процесс Дирихле можно использовать в качестве априорного распределения для оценки распределения вероятностей, генерирующего данные. В этом разделе мы рассматриваем модель

{\begin{aligned}P&\sim {\textrm {DP}}(H,\alpha )\\X_{1},\ldots ,X_{n}\mid P&\,{\overset {\textrm {i.i.d.}}{\sim }}\,P.\end{aligned}}

Распределение процесса Дирихле удовлетворяет априорной сопряженности , апостериорной согласованности и теореме Бернштейна-фон Мизеса . ^[5]

Предварительное сопряжение

В этой модели апостериорное распределение снова представляет собой процесс Дирихле. Это означает, что процесс Дирихле является сопряженным априором для этой модели. определяется Заднее распределение выражением

{\begin{aligned}P\mid X_{1},\ldots ,X_{n}&\sim {\textrm {DP}}\left({\frac {\alpha }{\alpha +n}}H+{\frac {1}{\alpha +n}}\sum _{i=1}^{n}\delta _{X_{i}},\;\alpha +n\right)\\&={\textrm {DP}}\left({\frac {\alpha }{\alpha +n}}H+{\frac {n}{\alpha +n}}\mathbb {P} _{n},\;\alpha +n\right)\end{aligned}}

где $\mathbb {P} _{n}$ определяется ниже.

Задняя консистенция

Если мы примем частотный взгляд на вероятность, мы считаем, что существует истинное распределение вероятностей. $P_{0}$ который сгенерировал данные. Тогда оказывается, что процесс Дирихле непротиворечив в слабой топологии , а это означает, что для каждой слабой окрестности $U$ из $P_{0}$ , апостериорная вероятность $U$ сходится к $1$ .

Теорема Бернштейна – фон Мизеса

Чтобы интерпретировать достоверные множества как доверительные множества, теорема Бернштейна – фон Мизеса необходима . В случае процесса Дирихле мы сравниваем апостериорное распределение с эмпирическим процессом. $\mathbb {P} _{n}={\frac {1}{n}}\sum _{i=1}^{n}\delta _{X_{i}}$ . Предполагать ${\mathcal {F}}$ это $P_{0}$ -класс Донскера, т.е.

{\sqrt {n}}\left(\mathbb {P} _{n}-P_{0}\right)\rightsquigarrow G_{P_{0}}

для какого-нибудь Броуновского моста $G_{P_{0}}$ . Предположим также, что существует функция $F$ такой, что $F(x)\geq \sup _{f\in {\mathcal {F}}}f(x)$ такой, что $\int F^{2}\,\mathrm {d} H<\infty$ , затем, $P_{0}$ почти наверняка

{\sqrt {n}}\left(P-\mathbb {P} _{n}\right)\mid X_{1},\cdots ,X_{n}\rightsquigarrow G_{P_{0}}.

Это означает, что построенные вами достоверные множества являются асимптотическим доверительными наборами, а байесовский вывод, основанный на процессе Дирихле, также является асимптотически действительным частотным выводом.

Использование в моделях смеси Дирихле.

Чтобы понять, что такое процессы Дирихле и какую задачу они решают, рассмотрим пример кластеризации данных . Это обычная ситуация, когда предполагается, что точки данных распределены иерархическим образом, где каждая точка данных принадлежит (случайно выбранному) кластеру, а члены кластера далее распределяются случайным образом внутри этого кластера.

Пример 1

Например, нас может интересовать, как люди будут голосовать по ряду вопросов на предстоящих выборах. Разумной моделью для этой ситуации может быть классификация каждого избирателя как либерала, консерватора или умеренного, а затем смоделировать событие, когда избиратель говорит «да» на любой конкретный вопрос, как случайную величину Бернулли с вероятностью, зависящей от того, какой политический кластер они принадлежат. Глядя на то, как в предыдущие годы отдавались голоса по аналогичным законодательным актам, можно построить прогнозную модель, используя простой алгоритм кластеризации, такой как k -means . Однако этот алгоритм требует заранее знать количество кластеров, сгенерировавших данные. Во многих ситуациях невозможно определить это заранее, и даже если мы можем разумно предположить наличие нескольких кластеров, нам все равно хотелось бы иметь возможность проверить это предположение. Например, в приведенном выше примере голосования разделение на либералов, консерваторов и умеренных может быть недостаточно четко настроено; такие атрибуты, как религия, класс или раса, также могут иметь решающее значение для моделирования поведения избирателей, что приводит к увеличению количества кластеров в модели.

Пример 2

В качестве другого примера нас может заинтересовать моделирование скоростей галактик с использованием простой модели, предполагающей, что скорости сгруппированы, например, предполагая, что каждая скорость распределена в соответствии с нормальным распределением. $v_{i}\sim N(\mu _{k},\sigma ^{2})$ , где $i$ это наблюдение относится к $k$ скопление галактик с общей ожидаемой скоростью. В этом случае далеко не очевидно, как априори определить, сколько кластеров (общих скоростей) должно быть, и любая модель для этого будет весьма подозрительной и ее следует сверять с данными. Используя априорный процесс Дирихле для распределения кластерных средних, мы избегаем необходимости заранее явно указывать количество кластеров, хотя параметр концентрации по-прежнему контролирует его неявно.

Рассмотрим этот пример более подробно. Первая наивная модель состоит в том, чтобы предположить, что существуют $K$ кластеры нормально распределенных скоростей с общей известной фиксированной дисперсией $\sigma ^{2}$ . Обозначая событие, $i$ это наблюдение находится в $k$ кластер как $z_{i}=k$ мы можем записать эту модель как:

{\begin{aligned}(v_{i}\mid z_{i}=k,\mu _{k})&\sim N(\mu _{k},\sigma ^{2})\\\operatorname {P} (z_{i}=k)&=\pi _{k}\\({\boldsymbol {\pi }}\mid \alpha )&\sim \operatorname {Dir} \left({\frac {\alpha }{K}}\cdot \mathbf {1} _{K}\right)\\\mu _{k}&\sim H(\lambda )\end{aligned}}

То есть мы предполагаем, что данные принадлежат $K$ отдельные кластеры со средствами $\mu _{k}$ и это $\pi _{k}$ — это (неизвестная) априорная вероятность точки данных, принадлежащей $k$ й кластер. Мы предполагаем, что у нас нет исходной информации, различающей кластеры, которая фиксируется симметричным априорным методом. $\operatorname {Dir} \left(\alpha /K\cdot \mathbf {1} _{K}\right)$ . Здесь $\operatorname {Dir}$ обозначает распределение Дирихле и $\mathbf {1} _{K}$ обозначает вектор длины $K$ где каждый элемент равен 1. Далее мы назначаем независимые и идентичные априорные распределения $H(\lambda )$ каждому из кластерных средств, где $H$ может быть любое параметрическое распределение с параметрами, обозначенными как $\lambda$ . Гиперпараметры $\alpha$ и $\lambda$ считаются известными фиксированными константами, выбранными для отражения наших предшествующих представлений о системе. Чтобы понять связь с априорами процесса Дирихле, мы перепишем эту модель в эквивалентной, но более наводящей на размышления форме:

{\begin{aligned}(v_{i}\mid {\tilde {\mu }}_{i})&\sim N({\tilde {\mu }}_{i},\sigma ^{2})\\{\tilde {\mu }}_{i}&\sim G=\sum _{k=1}^{K}\pi _{k}\delta _{\mu _{k}}({\tilde {\mu }}_{i})\\({\boldsymbol {\pi }}\mid \alpha )&\sim \operatorname {Dir} \left({\frac {\alpha }{K}}\cdot \mathbf {1} _{K}\right)\\\mu _{k}&\sim H(\lambda )\end{aligned}}

Вместо того, чтобы воображать, что каждой точке данных сначала присваивается кластер, а затем извлекается из распределения, связанного с этим кластером, мы теперь думаем, что каждое наблюдение связано с параметром. ${\tilde {\mu }}_{i}$ взятые из некоторого дискретного распределения $G$ при поддержке на $K$ означает. То есть мы сейчас лечим ${\tilde {\mu }}_{i}$ как взятое из случайного распределения $G$ и наша априорная информация включается в модель путем распределения по распределениям $G$ .

Анимация процесса кластеризации одномерных данных с использованием гауссовских распределений, полученных из процесса Дирихле. Гистограммы кластеров показаны разными цветами. В процессе оценки параметров создаются и растут новые кластеры на основе данных. В легенде показаны цвета кластеров и количество точек данных, назначенных каждому кластеру.

Теперь мы хотели бы расширить эту модель, чтобы она работала без предварительного указания фиксированного количества кластеров. $K$ . Математически это означает, что мы хотели бы выбрать случайное априорное распределение. $G({\tilde {\mu }}_{i})=\sum _{k=1}^{\infty }\pi _{k}\delta _{\mu _{k}}({\tilde {\mu }}_{i})$ где значения кластеров означают $\mu _{k}$ снова независимо распределяются согласно $H\left(\lambda \right)$ и распределение по $\pi _{k}$ симметричен относительно бесконечного множества кластеров. Именно это и достигается моделью:

{\begin{aligned}(v_{i}\mid {\tilde {\mu }}_{i})&\sim N({\tilde {\mu }}_{i},\sigma ^{2})\\{\tilde {\mu }}_{i}&\sim G\\G&\sim \operatorname {DP} (H(\lambda ),\alpha )\end{aligned}}

Имея это в виду, мы можем лучше понять вычислительные преимущества процесса Дирихле. Предположим, мы хотим нарисовать $n$ наблюдения наивной модели с точно $K$ кластеры. Простым алгоритмом для этого было бы нарисовать $K$ ценности $\mu _{k}$ от $H(\lambda )$ , распределение $\pi$ от $\operatorname {Dir} \left(\alpha /K\cdot \mathbf {1} _{K}\right)$ а затем для каждого наблюдения независимо отбираем кластер $k$ с вероятностью $\pi _{k}$ и ценность наблюдения согласно $N\left(\mu _{k},\sigma ^{2}\right)$ . Легко видеть, что этот алгоритм не работает в случае, когда мы допускаем бесконечные кластеры, поскольку это потребует выборки бесконечномерного параметра. ${\boldsymbol {\pi }}$ . Тем не менее, выборку наблюдений все же можно выполнить. $v_{i}$ . Можно, например, использовать представление китайского ресторана, описанное ниже, и вычислить вероятность создания использованных кластеров и создания нового кластера. Это позволяет избежать явного указания ${\boldsymbol {\pi }}$ . Другие решения основаны на усечении кластеров: вводится (высокая) верхняя граница истинного количества кластеров, а номера кластеров, превышающие нижнюю границу, рассматриваются как один кластер.

Подбор модели, описанной выше, на основе наблюдаемых данных. $D$ означает нахождение апостериорного распределения $p\left({\boldsymbol {\pi }},{\boldsymbol {\mu }}\mid D\right)$ по вероятностям кластеров и связанным с ними средним значениям. В бесконечномерном случае, очевидно, невозможно записать апостериор в явном виде. Однако возможно взять образцы из этой задней части, используя модифицированный пробоотборник Гиббса . ^[6] Это решающий факт, который делает априорный процесс Дирихле полезным для вывода .

Применение процесса Дирихле

Процессы Дирихле часто используются в байесовской непараметрической статистике . «Непараметрический» здесь означает не модель без параметров, а скорее модель, в которой представления растут по мере наблюдения большего количества данных. Байесовские непараметрические модели завоевали значительную популярность в области машинного обучения из-за упомянутой выше гибкости, особенно при обучении без учителя . В байесовской непараметрической модели априорное и апостериорное распределения являются не параметрическими распределениями, а случайными процессами. ^[7] Тот факт, что распределение Дирихле представляет собой распределение вероятностей на симплексе наборов неотрицательных чисел, сумма которых равна единице, делает его хорошим кандидатом для моделирования распределений по распределениям или распределений по функциям. Кроме того, непараметрическая природа этой модели делает ее идеальным кандидатом для задач кластеризации, где определенное количество кластеров заранее неизвестно. Кроме того, процесс Дирихле также использовался для разработки смеси экспертных моделей в контексте алгоритмов обучения с учителем (настройки регрессии или классификации). Например, смесь экспертов гауссовского процесса, где количество необходимых экспертов должно быть выведено из данных. ^[8]^[9]

Поскольку результаты процесса Дирихле дискретны, его важно использовать в качестве априорной вероятности в моделях бесконечной смеси . В этом случае, $S$ – параметрический набор распределений компонентов. Таким образом, генеративный процесс заключается в том, что выборка извлекается из процесса Дирихле, и для каждой точки данных, в свою очередь, значение извлекается из этого распределения выборки и используется в качестве распределения компонентов для этой точки данных. Тот факт, что нет ограничений на количество различных компонентов, которые могут быть сгенерированы, делает этот тип модели подходящим для случая, когда количество компонентов смеси не определено заранее. Например, бесконечная смесь моделей Гаусса, ^[10] а также связанные модели регрессии смеси, например ^[11]

Бесконечная природа этих моделей также позволяет использовать их в приложениях обработки естественного языка , где часто желательно рассматривать словарь как бесконечный дискретный набор.

Процесс Дирихле также можно использовать для непараметрической проверки гипотез, то есть для разработки байесовских непараметрических версий классических непараметрических тестов гипотез, например , знакового теста , критерия суммы рангов Уилкоксона , критерия знакового ранга Уилкоксона и т. д.Например, байесовские непараметрические версии критерия суммы рангов Вилкоксона и критерия знаковых рангов Вилкоксона были разработаны с использованием неточного процесса Дирихле , процесса Дирихле предварительного незнания. ^{[ нужна ссылка ]}

Связанные дистрибутивы

Процесс Питмана-Йора представляет собой обобщение процесса Дирихле для учета степенных хвостов.
Иерархический процесс Дирихле расширяет обычный процесс Дирихле для моделирования сгруппированных данных.

Ссылки

^ Фригиик, Бела А.; Капила, Амол; Гупта, Майя Р. «Введение в распределение Дирихле и связанные с ним процессы» (PDF) . Проверено 2 сентября 2021 г.
^ Фергюсон, Томас (1973). «Байесовский анализ некоторых непараметрических задач» . Анналы статистики . 1 (2): 209–230. дои : 10.1214/aos/1176342360 . МР 0350949 .
^ «Процесс Дирихле и распределение Дирихле – схема ресторана «Поля» и процесс китайского ресторана» .
^ Доказательство см. Пейсли, Джон (август 2010 г.). «Простое доказательство потрясающей конструкции процесса Дирихле» (PDF) . Колумбийский университет . Архивировано из оригинала (PDF) 22 января 2015 г.
^ Аад ван дер Ваарт , Субхашис Госал (2017). Основы байесовского непараметрического вывода . Издательство Кембриджского университета. ISBN 978-0-521-87826-5 .
^ Саддерт, Эрик (2006). Графические модели для визуального распознавания и отслеживания объектов (PDF) (доктор философии). МТИ Пресс.
^ Нильс Лид Хьорт ; Крис Холмс, Питер Мюллер; Стивен Г. Уокер (2010). Байесовские непараметрики . Издательство Кембриджского университета. ISBN 978-0-521-51346-3 .
^ Сотириос П. Чацис, «Модель гауссовского процесса со скрытой переменной с априорами процессов Питмана-Йора для многоклассовой классификации», Neurocomputing, vol. 120, стр. 482–489, ноябрь 2013 г. doi : 10.1016/j.neucom.2013.04.029
^ Сотириос П. Чацис, Яннис Демирис, «Непараметрические смеси гауссовских процессов со степенным поведением», Транзакции IEEE в нейронных сетях и системах обучения, том. 23, нет. 12, стр. 1862–1871, декабрь 2012 г. два : 10.1109/TNNLS.2012.2217986
^ Расмуссен, Карл (2000). «Модель бесконечной гауссовой смеси» (PDF) . Достижения в области нейронных систем обработки информации . 12 : 554–560.
^ Сотириос П. Чацис, Димитриос Коркиноф и Яннис Демирис, «Непараметрический байесовский подход к обучению роботов путем демонстрации», Robotics and Autonomous Systems, vol. 60, нет. 6, стр. 789–802, июнь 2012 г. дои : 10.1016/j.robot.2012.02.005

Внешние ссылки

[1] Фригиик, Бела А.; Капила, Амол; Гупта, Майя Р. «Введение в распределение Дирихле и связанные с ним процессы» (PDF) . Проверено 2 сентября 2021 г.

[2] Фергюсон, Томас (1973). «Байесовский анализ некоторых непараметрических задач» . Анналы статистики . 1 (2): 209–230. дои : 10.1214/aos/1176342360 . МР 0350949 .

[3] «Процесс Дирихле и распределение Дирихле – схема ресторана «Поля» и процесс китайского ресторана» .

[4] Доказательство см. Пейсли, Джон (август 2010 г.). «Простое доказательство потрясающей конструкции процесса Дирихле» (PDF) . Колумбийский университет . Архивировано из оригинала (PDF) 22 января 2015 г.

[5] Аад ван дер Ваарт , Субхашис Госал (2017). Основы байесовского непараметрического вывода . Издательство Кембриджского университета. ISBN 978-0-521-87826-5 .

[6] Саддерт, Эрик (2006). Графические модели для визуального распознавания и отслеживания объектов (PDF) (доктор философии). МТИ Пресс.

[7] Нильс Лид Хьорт ; Крис Холмс, Питер Мюллер; Стивен Г. Уокер (2010). Байесовские непараметрики . Издательство Кембриджского университета. ISBN 978-0-521-51346-3 .

[8] Сотириос П. Чацис, «Модель гауссовского процесса со скрытой переменной с априорами процессов Питмана-Йора для многоклассовой классификации», Neurocomputing, vol. 120, стр. 482–489, ноябрь 2013 г. doi : 10.1016/j.neucom.2013.04.029

[9] Сотириос П. Чацис, Яннис Демирис, «Непараметрические смеси гауссовских процессов со степенным поведением», Транзакции IEEE в нейронных сетях и системах обучения, том. 23, нет. 12, стр. 1862–1871, декабрь 2012 г. два : 10.1109/TNNLS.2012.2217986

[10] Расмуссен, Карл (2000). «Модель бесконечной гауссовой смеси» (PDF) . Достижения в области нейронных систем обработки информации . 12 : 554–560.

[11] Сотириос П. Чацис, Димитриос Коркиноф и Яннис Демирис, «Непараметрический байесовский подход к обучению роботов путем демонстрации», Robotics and Autonomous Systems, vol. 60, нет. 6, стр. 789–802, июнь 2012 г. дои : 10.1016/j.robot.2012.02.005

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

v т и Случайные процессы
Discrete time	Bernoulli process Branching process Chinese restaurant process Galton–Watson process Independent and identically distributed random variables Markov chain Moran process Random walk Loop-erased Self-avoiding Biased Maximal entropy
Continuous time	Additive process Bessel process Birth–death process pure birth Brownian motion Bridge Excursion Fractional Geometric Meander Cauchy process Contact process Continuous-time random walk Cox process Diffusion process Dyson Brownian motion Empirical process Feller process Fleming–Viot process Gamma process Geometric process Hawkes process Hunt process Interacting particle systems Itô diffusion Itô process Jump diffusion Jump process Lévy process Local time Markov additive process McKean–Vlasov process Ornstein–Uhlenbeck process Poisson process Compound Non-homogeneous Schramm–Loewner evolution Semimartingale Sigma-martingale Stable process Superprocess Telegraph process Variance gamma process Wiener process Wiener sausage
Both	Branching process Gaussian process Hidden Markov model (HMM) Markov process Martingale Differences Local Sub- Super- Random dynamical system Regenerative process Renewal process Stochastic chains with memory of variable length White noise
Fields and other	Dirichlet process Gaussian random field Gibbs measure Hopfield model Ising model Potts model Boolean network Markov random field Percolation Pitman–Yor process Point process Cox Poisson Random field Random graph
Time series models	Autoregressive conditional heteroskedasticity (ARCH) model Autoregressive integrated moving average (ARIMA) model Autoregressive (AR) model Autoregressive–moving-average (ARMA) model Generalized autoregressive conditional heteroskedasticity (GARCH) model Moving-average (MA) model
Financial models	Binomial options pricing model Black–Derman–Toy Black–Karasinski Black–Scholes Chan–Karolyi–Longstaff–Sanders (CKLS) Chen Constant elasticity of variance (CEV) Cox–Ingersoll–Ross (CIR) Garman–Kohlhagen Heath–Jarrow–Morton (HJM) Heston Ho–Lee Hull–White Korn-Kreer-Lenssen LIBOR market Rendleman–Bartter SABR volatility Vašíček Wilkie
Actuarial models	Bühlmann Cramér–Lundberg Risk process Sparre–Anderson
Queueing models	Bulk Fluid Generalized queueing network M/G/1 M/M/1 M/M/c
Properties	Càdlàg paths Continuous Continuous paths Ergodic Exchangeable Feller-continuous Gauss–Markov Markov Mixing Piecewise-deterministic Predictable Progressively measurable Self-similar Stationary Time-reversible
Limit theorems	Central limit theorem Donsker's theorem Doob's martingale convergence theorems Ergodic theorem Fisher–Tippett–Gnedenko theorem Large deviation principle Law of large numbers (weak/strong) Law of the iterated logarithm Maximal ergodic theorem Sanov's theorem Zero–one laws (Blumenthal, Borel–Cantelli, Engelbert–Schmidt, Hewitt–Savage, Kolmogorov, Lévy)
Inequalities	Burkholder–Davis–Gundy Doob's martingale Doob's upcrossing Kunita–Watanabe Marcinkiewicz–Zygmund
Tools	Cameron–Martin formula Convergence of random variables Doléans-Dade exponential Doob decomposition theorem Doob–Meyer decomposition theorem Doob's optional stopping theorem Dynkin's formula Feynman–Kac formula Filtration Girsanov theorem Infinitesimal generator Itô integral Itô's lemma Karhunen–Loève theorem Kolmogorov continuity theorem Kolmogorov extension theorem Lévy–Prokhorov metric Malliavin calculus Martingale representation theorem Optional stopping theorem Prokhorov's theorem Quadratic variation Reflection principle Skorokhod integral Skorokhod's representation theorem Skorokhod space Snell envelope Stochastic differential equation Tanaka Stopping time Stratonovich integral Uniform integrability Usual hypotheses Wiener space Classical Abstract
Disciplines	Actuarial mathematics Control theory Econometrics Ergodic theory Extreme value theory (EVT) Large deviations theory Mathematical finance Mathematical statistics Probability theory Queueing theory Renewal theory Ruin theory Signal processing Statistics Stochastic analysis Time series analysis Machine learning
List of topics Category