Кластеризация на основе модели

В статистике . кластерный анализ — это алгоритмическое группирование объектов в однородные группы на основе численных измерений. Кластеризация на основе модели основывает это на статистической модели данных, обычно на смешанной модели . Это имеет ряд преимуществ, включая принципиальную статистическую основу для кластеризации,и способы выбора количества кластеров, выбора лучшей модели кластеризации, оценки неопределенности кластеризации и выявления выбросов , не принадлежащих ни к одной группе.

Кластеризация на основе моделей

Предположим, что для каждого из $n$ наблюдения, о которых у нас есть данные $d$ переменные, обозначаемые $y_{i}=(y_{i,1},\ldots ,y_{i,d})$для наблюдения $i$. Затемкластеризация на основе модели выражает плотности вероятности функцию $y_{i}$ как конечная смесь или средневзвешенное значение $G$ компонентов функции плотности вероятности :

$p(y_{i})=\sum _{g=1}^{G}\tau _{g}f_{g}(y_{i}\mid \theta _{g}),$

где $f_{g}$ представляет собой функцию плотности вероятности спараметр $\theta _{g}$, $\tau _{g}$ соответствуетвероятность смеси где $\sum _{g=1}^{G}\tau _{g}=1$.Тогда в своей простейшей форме кластеризация на основе модели рассматривает каждый компонент.модели смеси как кластера, оценивает параметры модели и назначаеткаждое наблюдение кластеризовать, соответствующее его наиболее вероятному компоненту смеси.

Модель гауссовой смеси

Наиболее распространенная модель для непрерывных данных состоит в том, что $f_{g}$ представляет собой многомерное нормальное распределение со средним вектором $\mu _{g}$и ковариационная матрица $\Sigma _{g}$, так что $\theta _{g}=(\mu _{g},\Sigma _{g})$. Это определяет модель гауссовой смеси . Параметры модели, $\tau _{g}$ и $\theta _{g}$ для $g=1,\ldots ,G$, обычно оцениваются методом максимального правдоподобия с использованием алгоритм максимизации ожидания (ЕМ); см. также EM-алгоритм и модель GMM .

Байесовский вывод также часто используется для вывода о конечных значениях.смешанные модели. Байесовский подход также допускает случай, когда количество компонентов, $G$, бесконечно, с использованием априорного процесса Дирихле , что дает модель смеси процессов Дирихле для кластеризации.

Выбор количества кластеров

Преимущество кластеризации на основе моделей состоит в том, что она обеспечивает статистическиепринципиальные способы выбора количества кластеров. Каждый разный выбор количества групп $G$ соответствует другой модели смеси. Затем стандартные критерии выбора статистической модели, такие как Байесовский информационный критерий (BIC) можно использовать для выбора $G$. Интегрированная завершенная вероятность (ICL) – другой критерий, предназначенный для выбора количества кластеров, а не количества компонентов смеси в модели; они часто будут другими, если присутствуют сильно негауссовы кластеры.

смеси

Для данных с высокой размерностью $d$Использование полной ковариационной матрицы для каждого компонента смеси требует оценки многих параметров, что может привести к потере точности, возможности обобщения и интерпретируемости. Таким образом, обычно используются более экономные ковариационные матрицы компонентов, использующие их геометрическую интерпретацию. Гауссовы кластеры имеют эллипсоидную форму, их объем, форма и ориентация определяются ковариационной матрицей. Рассмотрим собственное разложение матрицы

$\Sigma _{g}=\lambda _{g}D_{g}A_{g}D_{g}^{T},$

где $D_{g}$ — матрица собственных векторов $\Sigma _{g}$, $A_{g}={\mbox{diag}}\{A_{1,g},\ldots ,A_{d,g}\}$— диагональная матрица, элементы которой пропорциональнысобственные значения $\Sigma _{g}$ в порядке убывания,и $\lambda _{g}$ – соответствующая константа пропорциональности.Затем $\lambda _{g}$ управляет объемом эллипсоида, $A_{g}$ его форма и $D_{g}$ его направленность.

Каждый из объема, формы и ориентации кластеров может быть ограничено равным (E) или разрешено изменяться (V); ориентация можеттакже быть сферическим, с одинаковыми собственными значениями (I). Это дает 14 возможных моделей кластеризации, показанных в этой таблице:

Экономная параметризация ковариационной матрицы $\Sigma _{g}$с количеством параметров, когда $G=4$ и $d=9$

Модель	Описание	# Параметры
ЭИИ	Сферическая, равнообъемная	1
VII	Сферическая, переменного объема	9
ЭЭИ	Диагональ, одинаковый объем и форма	4
ТЫ	Диагональная, равная форма	12
ДОМ	Диагональ, равный объём, разная форма.	28
ВВИ	Диагональ, различный объем и форма	36
ЭЭЭ	Равный	10
ВОДА	Одинаковая форма и ориентация	18
КАНУН	Равный объем и ориентация	34
ТСЖ	Равная ориентация	42
ЭЕВ	Равный объем и форма	58
ВЭВ	Равная форма	66
ЭВВ	Равный объем	82
Туристический офис	Варьируясь	90

Видно, что многие из этих моделей более экономны и содержат гораздо меньше параметров, чем модель без ограничений, имеющая 90 параметров, когда $G=4$ и $d=9$.

Некоторые из этих моделей соответствуют хорошо известным эвристическим методам кластеризации.Например, кластеризация k-средних эквивалентна оценкеМодель кластеризации EII с использованием алгоритма классификации EM. Байесовский информационный критерий (BIC)может использоваться для выбора лучшей модели кластеризации, а также количества кластеров. Его также можно использовать в качестве основы для метода выбора переменных.в модели кластеризации, исключая переменные, которые бесполезны для кластеризации.

Различные методы кластеризации на основе гауссовской модели были разработаны с помощьюумение работать с многомерными данными. К ним относятся метод PGMM, который основан на смеси модель факторных анализаторов и метод HDclassif, основанный на идее подпространственной кластеризации.

Система смешанных экспертов расширяет кластеризацию на основе моделей, включив в нее ковариаты.

Пример

Мы иллюстрируем метод набором данных, состоящим из трех измерений.(глюкоза, инсулин, сспг) у 145 субъектов с целью диагностикидиабет и его тип. Субъекты были клинически разделены на три группы: нормальные,химический диабет и явный диабет, но мы используем только эту информациюдля оценки методов кластеризации, а не для классификации предметов.

График BIC для кластеризации данных о диабете на основе модели

График BIC показывает значения BIC для каждой комбинации количествакластеры, $G$и модель кластеризации из табл.Каждая кривая соответствует отдельной модели кластеризации.BIC отдает предпочтение 3 группам, что соответствует клинической оценке.Он также отдает предпочтение модели неограниченной ковариации VVV.Это хорошо соответствует данным, поскольку нормальные пациенты имеют низкие значениякак сспг, так и инсулин, в то время как распределение химических иГруппы явного диабета вытянуты, но в разных направлениях.Таким образом, объемы, формы и ориентации трех групп четко различимы.разные, поэтому подходит неограниченная модель, выбраннаяметодом модельной кластеризации.

Классификация данных о диабете на основе моделей

График классификации показывает классификацию субъектов на основе модели.кластеризация. Классификация была довольно точной, с долей ошибок 12%.согласно клинической классификации.Другие известные методы кластеризации работали хуже при более высоких значениях.уровень ошибок, например, кластеризация с одной связью - 46%,средняя кластеризация ссылок с 30%, кластеризация с полной связью также с 30%, а кластеризация k-средних с 28%.

Выбросы в кластеризации

Выброс при кластеризации — это точка данных , которая не принадлежит ни одному изкластеры. Один из способов моделирования выбросов в кластеризации на основе моделей:включить в смесь дополнительный компонент, который является очень дисперсным, снапример равномерное распределение. Другой подход заключается в замене многомерного нормальная плотность по $t$-распределения, с идеей, что длинные хвосты $t$-распределение обеспечит устойчивость к выбросам.Однако это не является устойчивым к поломкам. Третий подход — это «tclust» или подход обрезки данных. что исключает наблюдения, идентифицированные каквыбросы при оценке параметров модели.

Негауссовы

Иногда один или несколько кластеров сильно отклоняются от предположения Гаусса.Если к таким данным подобрать гауссову смесь, то получится сильно негауссова смесь. кластер часто будет представлен несколькими компонентами смеси, а неодиночный. В этом случае можно использовать слияние кластеров, чтобы найти лучший вариант.кластеризация. Другой подход заключается в использовании смесей.комплексных плотностей компонентов для представления негауссовских кластеров.

Ненепрерывные данные

Категориальные данные

Кластеризация многомерных категориальных данных чаще всего выполняется с помощью метода модель скрытого класса . Это предполагает, что данные возникают из конечногосмешанная модель, в которой внутри каждого кластера переменные независимы.

Смешанные данные

Они возникают, когда переменные имеют разные типы, напримеркак непрерывные, категориальные или порядковые данные. Модель скрытого класса длясмешанные данные предполагают локальную независимость переменных. Модель местоположения ослабляет местную независимостьпредположение. Подход clustMD предполагает, чтонаблюдаемые переменные являются проявлением лежащей в основе непрерывной гауссовойскрытые переменные.

Данные подсчета

Самый простой подход к кластеризации на основе моделей для многомерныхданные подсчета основаны на конечных смесях с локально независимыми пуассоновскимираспределения, аналогичные модели скрытых классов . Более реалистичные подходы допускают зависимость и чрезмерную дисперсию в имеет значение. К ним относятся методы, основанные на многомерном распределении Пуассона,многомерное нормальное распределение логарифма Пуассона, целочисленноемодель авторегрессии (ИНАР) и модель Гаусса Кокса.

Данные последовательности

Они состоят из последовательностей категориальных значений из конечного набора возможности, такие как траектории жизненного пути. Подходы к кластеризации на основе моделей включают траекторию на основе групп имодели ростовой смеси и на расстояниимодель смеси.

Данные о рейтинге

Они возникают, когда люди ранжируют объекты в порядке предпочтения. Данныезатем упорядочены списки объектов, возникающих в сфере голосования, образования, маркетинга.и другие области. Методы кластеризации на основе моделей для ранжированных данных включают:смеси моделей Плакетта-Люса и смеси моделей Бентера, и смеси моделей Mallows.

Сетевые данные

Они состоят из наличия, отсутствия или силы связей между особей или узлов и широко распространены в социальных науках и биологии.Стохастическая блочная модель осуществляет кластеризацию узлов на основе модели.в сети, предполагая, что существует скрытая кластеризация и что связи формируются независимо с учетом кластеризации. Модель кластера скрытых позицийпредполагает, что каждый узел занимает позицию в ненаблюдаемом скрытом пространстве,что эти положения возникают из смеси гауссовских распределений,и что наличие или отсутствие связи связано с расстояниемв скрытом пространстве.

Программное обеспечение

Большая часть программного обеспечения для кластеризации на основе моделей представлена ​​в виде общедоступныхи свободно доступный пакет R. Многие из них перечислены вПредставление задачи CRAN по кластерному анализу и моделям конечной смеси. Наиболее часто используемый такой пакет Макласт , который используется для кластеризации непрерывных данных и был загружен 8 миллионов раз.

The poLCA пакет кластерыкатегориальные данные с использованием модели скрытого класса . clustMD пакет кластерысмешанные данные, включая непрерывные, двоичные, порядковые и номинальные переменные.

The Flexmix пакет выполняет кластеризацию на основе моделей для ряда распределений компонентов. микстулов пакет может кластеризоватьсяразные типы данных. Оба флексмикс и микстулы реализовать кластеризацию на основе модели с ковариатами.

История

Кластеризация на основе моделей была впервые изобретена в 1950 году Полом Лазарсфельдом. для кластеризации многомерных дискретных данных в виде модель скрытого класса .

В 1959 году Лазарсфельд прочитал лекцию по анализу скрытой структуры. в Калифорнийском университете в Беркли, где Джон Х. Вулф учился в магистратуре.Это заставило Вулфа задуматься о том, как сделать то же самое для непрерывногоданные, и в 1965 году он сделал это, предложив модель смеси Гаусса для кластеризация. Он также разработал первое программное обеспечение для его оценки под названием NORMIX.Дэй (1969), работая независимо, первым издал журнал.статья о подходе. Однако Вулф заслуживает похвалы как изобретатель кластеризации на основе моделей.для непрерывных данных.

Мурта и Рафтери (1984) разработали метод кластеризации на основе моделей.на основе разложения по собственным значениям компонентных ковариационных матриц. Маклахлан и Басфорд (1988) была первой книгой, посвященной этому подходу. продвижение методологии и пробуждение интереса. Банфилд и Рафтери (1993) ввели термин «кластеризация на основе моделей».представил семейство экономных моделей, описал информационный критерийвыбрав количество кластеров, предложил единую модель выбросов,и представил программное обеспечение mclust . Селё и Говерт (1995) показали, как выполнить оценку максимального правдоподобия. для моделей. Таким образом, к 1995 году основные компоненты методологии были готовы: закладывая основу для обширного развития с тех пор.

Дальнейшее чтение

• Срукка, Л.; Фрейли, К.; Мерфи, ТБ; Рафтери, А.Е. (2023). Кластеризация, классификация и оценка плотности на основе моделей с использованием mclust в R. Чепмен и Холл/CRC Press. ISBN  9781032234953 .
• Бувейрон, К.; Селё, Г.; Мерфи, ТБ; Рафтери, А.Э. (2019). Кластеризация и классификация на основе моделей для науки о данных: с приложениями в R. Издательство Кембриджского университета. ISBN  9781108494205 .

Бесплатная загрузка: https://math.univ-cotedazur.fr/~cbouveyr/MBCbook/

• Селё, Г; Фрувирт-Шнаттер, С.; Роберт, CP (2018). Справочник по анализу смесей . Чепмен и Холл/CRC Press. ISBN  9780367732066 .
• МакНиколас, П.Д. (2016). Кластеризация на основе модели смеси . Чепмен и Холл/CRC Press. ISBN  9780367736958 .
• Хенниг, К.; Мелия, М.; Мурта, Ф.; Рокчи, Р. (2015). Справочник по кластерному анализу . Чепмен и Холл/CRC Press. ISBN  9781466551886 .
• Менгерсен, КЛ; Роберт, CP; Титтерингтон, DM (2011). Смеси: оценка и применение . Уайли. ISBN  9781119993896 .
• Маклахлан, Дж.Дж.; Пил, Д. (2000). Модели конечной смеси . Уайли-Интерсайенс. ISBN  9780471006268 .