Иерархический процесс Дирихле

В статистике и машинном обучении иерархический процесс Дирихле ( HDP ) представляет собой непараметрический байесовский подход к кластеризации сгруппированных данных . Он использует процесс Дирихле для каждой группы данных, причем процессы Дирихле для всех групп имеют общее базовое распределение, которое само по себе получено из процесса Дирихле. Этот метод позволяет группам делиться статистической силой посредством совместного использования кластеров между группами. Базовое распределение, полученное из процесса Дирихле, важно, потому что результаты процесса Дирихле являются атомарными вероятностными мерами, и атомы будут появляться во всех процессах Дирихле на групповом уровне. Поскольку каждый атом соответствует кластеру, кластеры являются общими для всех групп. Он был разработан Йи Уайе Тех , Майклом И. Джорданом , Мэтью Дж. Билом и Дэвидом Блей и опубликован в Журнале Американской статистической ассоциации в 2006 году. как формализация и обобщение бесконечной скрытой модели Маркова, опубликованной в 2002 году.

Модель

Описание модели взято с сайта. HDP — это модель сгруппированных данных. Это означает, что элементы данных входят в несколько отдельных групп. Например, в тематической модели слова организованы в документы, причем каждый документ состоит из пакета (группы) слов (элементов данных). Индексация групп по $j=1,...J$, предположим, что каждая группа состоит из элементов данных $x_{j1},...x_{jn}$.

HDP параметризуется базовым распределением $H$ который управляет априорным распределением элементов данных, а также рядом параметров концентрации, которые определяют априорное количество кластеров и степень совместного использования между группами. $j$эта группа связана со случайной вероятностной мерой $G_{j}$ который имеет распределение, заданное процессом Дирихле:

${\begin{aligned}G_{j}|G_{0}&\sim \operatorname {DP} (\alpha _{j},G_{0})\end{aligned}}$

где $\alpha _{j}$ - параметр концентрации, связанный с группой, и $G_{0}$ — это базовое распределение, общее для всех групп. В свою очередь, общее базовое распределение представляет собой распределение процесса Дирихле:

${\begin{aligned}G_{0}&\sim \operatorname {DP} (\alpha _{0},H)\end{aligned}}$

с параметром концентрации $\alpha _{0}$ и базовое распределение $H$. Наконец, чтобы связать процессы Дирихле с наблюдаемыми данными, каждый элемент данных $x_{ji}$ связан со скрытым параметром $\theta _{ji}$:

${\begin{aligned}\theta _{ji}|G_{j}&\sim G_{j}\\x_{ji}|\theta _{ji}&\sim F(\theta _{ji})\end{aligned}}$

В первой строке указано, что каждый параметр имеет априорное распределение, определяемое формулой $G_{j}$, а во второй строке указано, что каждый элемент данных имеет распределение $F(\theta _{ji})$ параметризуется связанным с ним параметром. Полученная выше модель называется смешанной моделью HDP, где HDP относится к иерархически связанному набору процессов Дирихле, а смешанная модель относится к тому, как процессы Дирихле связаны с элементами данных.

Чтобы понять, как HDP реализует модель кластеризации и как кластеры становятся общими для групп, вспомните, что процесс Дирихле основан на атомарных вероятностных мерах с вероятностью единица. Это означает, что общее базовое распределение $G_{0}$ имеет форму, которую можно записать как:

${\begin{aligned}G_{0}&=\sum _{k=1}^{\infty }\pi _{0k}\delta _{\theta _{k}^{*}}\end{aligned}}$

где имеется бесконечное число атомов, $\theta _{k}^{*},k=1,2,...$, предполагая, что общее базовое распределение $H$ имеет бесконечную поддержку. Каждому атому соответствует масса $\pi _{0k}$. Массы должны в сумме равняться единице, так как $G_{0}$ является вероятностной мерой. С $G_{0}$ само по себе является базовым распределением для конкретных групп процессов Дирихле, каждый из которых $G_{j}$ будут иметь атомы, заданные атомами $G_{0}$, и сам может быть записан в виде:

${\begin{aligned}G_{j}&=\sum _{k=1}^{\infty }\pi _{jk}\delta _{\theta _{k}^{*}}\end{aligned}}$

Таким образом, набор атомов является общим для всех групп, причем каждая группа имеет свою собственную атомную массу, специфичную для группы. Связывая это представление с наблюдаемыми данными, мы видим, что каждый элемент данных описывается смешанной моделью:

${\begin{aligned}x_{ji}|G_{j}&\sim \sum _{k=1}^{\infty }\pi _{jk}F(\theta _{k}^{*})\end{aligned}}$

где атомы $\theta _{k}^{*}$ играют роль параметров компонентов смеси, а массы $\pi _{jk}$ играют роль пропорции смешивания. В заключение отметим, что каждая группа данных моделируется с использованием модели смеси, при этом компоненты смеси являются общими для всех групп, но пропорции смешивания зависят от группы. С точки зрения кластеризации мы можем интерпретировать каждый компонент смеси как модель кластера элементов данных, причем кластеры являются общими для всех групп, и каждая группа имеет свои собственные пропорции смешивания, состоящие из различных комбинаций кластеров.

Приложения

Модель смеси HDP — это естественное непараметрическое обобщение скрытого распределения Дирихле , в котором количество тем может быть неограниченным и изучаться на основе данных. Здесь каждая группа — это документ, состоящий из пакета слов, каждый кластер — это тема, а каждый документ — это смесь тем. HDP также является основным компонентом бесконечной скрытой марковской модели . которая представляет собой непараметрическое обобщение скрытой модели Маркова, позволяющее неограниченное количество состояний и изучение их на основе данных.

Обобщения

HDP можно обобщить в нескольких направлениях. Процессы Дирихле можно заменить процессами Питмана-Йора и Гамма-процессами , в результате чего образуются иерархический процесс Питмана-Йора и иерархический гамма-процесс. Иерархия может быть более глубокой, с несколькими уровнями групп, организованными в иерархию. Такое расположение было использовано в мемоайзере последовательностей , байесовской непараметрической модели последовательностей, которая имеет многоуровневую иерархию процессов Питмана-Йора. Кроме того, модель байесовского многодоменного обучения (BMDL) выводит доменно-зависимые скрытые представления данных сверхдисперсного подсчета на основе иерархической отрицательной биномиальной факторизации для точного определения подтипа рака, даже если количество образцов для конкретного типа рака невелико.

См. также

• Процесс китайского ресторана