Алгоритм EM и модель GMM

В статистике алгоритм EM (максимизация ожиданий) обрабатывает скрытые переменные, а GMM — это модель гауссовой смеси.

Фон

На рисунке ниже показаны концентрация гемоглобина в эритроцитах и ​​данные об объеме эритроцитов у двух групп людей: группы с анемией и контрольной группы (т. е. группы людей без анемии ). Как и ожидалось, люди с анемией имеют меньший объем эритроцитов и более низкую концентрацию гемоглобина в эритроцитах , чем люди без анемии.

Модель GMM с этикетками

$x$ представляет собой случайный вектор, такой как $x:={\big (}{\text{red blood cell volume}},{\text{red blood cell hemoglobin concentration}}{\big )}$и от медицинских исследований известно, что $x$ в обычно распределяются каждой группе, т.е. $x\sim {\mathcal {N}}(\mu ,\Sigma )$.

$z$ обозначается как группа, где $x$ принадлежит, с $z_{i}=0$ когда $x_{i}$ принадлежит к группе Anemia и $z_{i}=1$ когда $x_{i}$ принадлежит контрольной группе. Также $z\sim \operatorname {Categorical} (k,\phi )$ где $k=2$, $\phi _{j}\geq 0,$ и $\sum _{j=1}^{k}\phi _{j}=1$. См. Категориальное распределение .

Для оценки можно использовать следующую процедуру $\phi ,\mu ,\Sigma$.

Оценка максимального правдоподобия может быть применена:

$\ell (\phi ,\mu ,\Sigma )=\sum _{i=1}^{m}\log(p(x^{(i)};\phi ,\mu ,\Sigma ))=\sum _{i=1}^{m}\log \sum _{z^{(i)}=1}^{k}p\left(x^{(i)}\mid z^{(i)};\mu ,\Sigma \right)p(z^{(i)};\phi )$

Как $z_{i}$ для каждого $x_{i}$ известны, логарифмическую функцию правдоподобия можно упростить, как показано ниже:

$\ell (\phi ,\mu ,\Sigma )=\sum _{i=1}^{m}\log p\left(x^{(i)}\mid z^{(i)};\mu ,\Sigma \right)+\log p\left(z^{(i)};\phi \right)$

Теперь функцию правдоподобия можно максимизировать, сделав частную производную по $\mu ,\Sigma ,\phi$, получив:

$\phi _{j}={\frac {1}{m}}\sum _{i=1}^{m}1\{z^{(i)}=j\}$

$\mu _{j}={\frac {\sum _{i=1}^{m}1\{z^{(i)}=j\}x^{(i)}}{\sum _{i=1}^{m}1\left\{z^{(i)}=j\right\}}}$

$\Sigma _{j}={\frac {\sum _{i=1}^{m}1\{z^{(i)}=j\}(x^{(i)}-\mu _{j})(x^{(i)}-\mu _{j})^{T}}{\sum _{i=1}^{m}1\{z^{(i)}=j\}}}$

Если $z_{i}$ Как известно, оценка параметров оказывается достаточно простой при оценке максимального правдоподобия . Но если $z_{i}$ неизвестно, все гораздо сложнее.

ГММ без этикеток

Существование $z$ ( скрытая переменная т.е. не наблюдаемая), с немаркированным сценарием, алгоритм максимизации ожидания для оценки необходим $z$ а также другие параметры. Обычно эта задача задается как GMM, поскольку данные в каждой группе распределены нормально.

В машинном обучении скрытая переменная $z$ рассматривается как скрытая закономерность, лежащая под данными, которую наблюдатель не может увидеть непосредственно. $x_{i}$ это известные данные, а $\phi ,\mu ,\Sigma$ являются параметром модели. В алгоритме EM есть некоторая базовая закономерность. $z$ в данных $x_{i}$ можно найти вместе с оценкой параметров. Широкое применение этого обстоятельства в машинном обучении делает алгоритм EM таким важным.

Алгоритм EM в GMM

Алгоритм EM состоит из двух шагов: E-шага и M-шага. Во-первых, параметры модели и $z^{(i)}$ может быть инициализирован случайным образом. На этапе E алгоритм пытается угадать значение $z^{(i)}$ на основе параметров, в то время как на M-шаге алгоритм обновляет значение параметров модели на основе предположения $z^{(i)}$шага Е. Эти два шага повторяются до тех пор, пока не будет достигнута сходимость.

Алгоритм в GMM:

Повторяем до схождения:

   1. (E-step) For each $i,j$, set

   $w_{j}^{(i)}:=p\left(z^{(i)}=j|x^{(i)};\phi ,\mu ,\Sigma \right)$

   2. (M-step) Update the parameters
   $\phi _{j}:={\frac {1}{m}}\sum _{i=1}^{m}w_{j}^{(i)}$
      $\mu _{j}:={\frac {\sum _{i=1}^{m}w_{j}^{(i)}x^{(i)}}{\sum _{i=1}^{m}w_{j}^{(i)}}}$
      $\Sigma _{j}:={\frac {\sum _{i=1}^{m}w_{j}^{(i)}\left(x^{(i)}-\mu _{j}\right)\left(x^{(i)}-\mu _{j}\right)^{T}}{\sum _{i=1}^{m}w_{j}^{(i)}}}$

С помощью правила Байеса на E-шаге получается следующий результат:

$p\left(z^{(i)}=j|x^{(i)};\phi ,\mu ,\Sigma \right)={\frac {p\left(x^{(i)}|z^{(i)}=j;\mu ,\Sigma \right)p\left(z^{(i)}=j;\phi \right)}{\sum _{l=1}^{k}p\left(x^{(i)}|z^{(i)}=l;\mu ,\Sigma \right)p\left(z^{(i)}=l;\phi \right)}}$

В соответствии с настройкой GMM получаются следующие формулы:

$p\left(x^{(i)}|z^{(i)}=j;\mu ,\Sigma \right)={\frac {1}{(2\pi )^{n/2}\left|\Sigma _{j}\right|^{1/2}}}\exp \left(-{\frac {1}{2}}\left(x^{(i)}-\mu _{j}\right)^{T}\Sigma _{j}^{-1}\left(x^{(i)}-\mu _{j}\right)\right)$

$p\left(z^{(i)}=j;\phi \right)=\phi _{j}$

Таким образом, возможно переключение между E-шагом и M-шагом в соответствии со случайно инициализированными параметрами.