Графическая модель

Эта статья посвящена представлению распределений вероятностей с помощью графиков. О журнале компьютерной графики см. «Графические модели» .

Графическая модель или вероятностная графическая модель ( ПГМ ) или структурированная вероятностная модель — это вероятностная модель , для которой граф выражает структуру условной зависимости между случайными величинами . Они обычно используются в теории вероятностей , статистике (особенно байесовской статистике ) и машинном обучении .

Виды графических моделей

Как правило, вероятностные графические модели используют представление на основе графов в качестве основы для кодирования распределения в многомерном пространстве и граф, который представляет собой компактное или факторизованное представление набора зависимостей, которые выполняются в конкретном распределении. Обычно используются две ветви графического представления распределений, а именно байесовские сети и марковские случайные поля . Оба семейства включают в себя свойства факторизации и независимости, но они различаются набором независимости, которую они могут кодировать, и факторизацией распределения, которую они вызывают.

Неориентированная графическая модель

Неориентированный граф с четырьмя вершинами.

Показанный неориентированный граф может иметь одну из нескольких интерпретаций; общей чертой является то, что наличие ребра подразумевает некоторую зависимость между соответствующими случайными величинами. Из этого графика мы можем сделать вывод, что $B,C,D$ все взаимно независимы, однажды $A$ известно, или (что эквивалентно в данном случае), что

$P[A,B,C,D]=f_{AB}[A,B]\cdot f_{AC}[A,C]\cdot f_{AD}[A,D]$

для некоторых неотрицательных функций $f_{AB},f_{AC},f_{AD}$.

Байесовская сеть

Основная статья: Байесовская сеть

Пример ориентированного ациклического графа с четырьмя вершинами.

Если сетевая структура модели представляет собой ориентированный ациклический граф , модель представляет собой факторизацию совместной вероятности всех случайных величин. Точнее, если события $X_{1},\ldots ,X_{n}$ тогда совместная вероятность удовлетворяет

$P[X_{1},\ldots ,X_{n}]=\prod _{i=1}^{n}P[X_{i}|{\text{pa}}(X_{i})]$

где ${\text{pa}}(X_{i})$ это набор родителей узла $X_{i}$ (узлы с ребрами, направленными в сторону $X_{i}$). Другими словами, совместное распределение факторов превращается в продукт условных распределений. Например, в ориентированном ациклическом графе, показанном на рисунке, эта факторизация будет иметь вид

$P[A,B,C,D]=P[A]\cdot P[B|A]\cdot P[C|A]\cdot P[D|A,C]$.

Любые два узла условно независимы, учитывая значения их родителей. критерий, называемый d -разделением В общем, любые два набора узлов условно независимы с учетом третьего набора, если в графе выполняется . Локальная независимость и глобальная независимость эквивалентны в байесовских сетях.

Этот тип графической модели известен как направленная графическая модель, байесовская сеть или сеть убеждений. Классические модели машинного обучения, такие как скрытые модели Маркова , нейронные сети и новые модели, такие как модели Маркова переменного порядка, можно считать частными случаями байесовских сетей.

Одной из простейших байесовских сетей является наивный байесовский классификатор .

графические

Пример направленной циклической графической модели. Каждая стрелка указывает на зависимость. В этом примере: D зависит от A, B и C; и C зависит от B и D; тогда как A и B независимы.

На следующем рисунке изображена графическая модель с циклом. Это можно интерпретировать в терминах того, что каждая переменная каким-то образом «зависит» от значений ее родителей. Конкретный показанный график предполагает совместную плотность вероятности, которая учитывается как

$P[A,B,C,D]=P[A]\cdot P[B]\cdot P[C,D|A,B]$,

но возможны и другие интерпретации.

Другие типы

• Сеть зависимостей , где циклы разрешены
• Древовидный классификатор или модель TAN

Модель TAN для «набора данных загона».

• Целевое байесовское сетевое обучение (TBNL)

  

  Модель TBNL для «набора данных загона»

• Факторный граф — это неориентированный двудольный граф, соединяющий переменные и факторы. Каждый фактор представляет собой функцию над переменными, с которыми он связан. Это полезное представление для понимания и реализации распространения убеждений .
• Дерево клик или дерево соединений — это , используемое дерево клик в алгоритме дерева соединений .
• Цепной граф — это граф, который может иметь как направленные, так и ненаправленные ребра, но без каких-либо направленных циклов (т.е. если мы начинаем с любой вершины и двигаемся по графу, соблюдая направления любых стрелок, мы не можем вернуться к вершине, с которой начали, если мы прошли стрелку). Как ориентированные ациклические графы, так и неориентированные графы являются частными случаями цепных графов, которые, следовательно, могут обеспечить способ объединения и обобщения байесовских и марковских сетей.
• — Родовой граф это дальнейшее расширение, имеющее направленные, двунаправленные и неориентированные ребра.
• случайного поля Методы
  • Марковское случайное поле , также известное как марковская сеть, представляет собой модель неориентированного графа . Графическая модель со многими повторяющимися субъединицами может быть представлена ​​табличными обозначениями .
  • Условное случайное поле — это дискриминативная модель, заданная на неориентированном графе.
• Ограниченная машина Больцмана — это двудольная генеративная модель, заданная на неориентированном графе.

Приложения

Структура моделей, которая предоставляет алгоритмы обнаружения и анализа структуры в сложных распределениях для их краткого описания и извлечения неструктурированной информации, позволяет их эффективно конструировать и использовать. Приложения графических моделей включают причинный вывод , извлечение информации , распознавание речи , компьютерное зрение , декодирование кодов проверки четности низкой плотности , моделирование генных регуляторных сетей , поиск генов и диагностику заболеваний, а также графические модели структуры белков .

См. также

• Распространение убеждений
• Модель структурного уравнения

Дальнейшее чтение

Книги и главы книг

• Барбер, Дэвид (2012). Байесовское рассуждение и машинное обучение . Издательство Кембриджского университета. ISBN  978-0-521-51814-7 .

• Бишоп, Кристофер М. (2006). «Глава 8. Графические модели» (PDF) . Распознавание образов и машинное обучение . Спрингер. стр. 359–422. ISBN  978-0-387-31073-2 . МР   2247587 .
• Коуэлл, Роберт Г.; Дэвид, А. Филип ; Лауритцен, Штеффен Л.; Шпигельхальтер, Дэвид Дж. (1999). Вероятностные сети и экспертные системы . Берлин: Шпрингер. ISBN  978-0-387-98767-5 . МР   1697175 . Более продвинутая и статистически ориентированная книга.
• Дженсен, Финн (1996). Введение в байесовские сети . Берлин: Шпрингер. ISBN  978-0-387-91502-9 .
• Перл, Иудея (1988). Вероятностное рассуждение в интеллектуальных системах (2-е исправленное изд.). Сан-Матео, Калифорния: Морган Кауфманн . ISBN  978-1-55860-479-7 . МР   0965765 . Подход вычислительного рассуждения, при котором формально вводятся взаимосвязи между графиками и вероятностями.

Журнальные статьи

• Эдоардо М. Айрольди (2007). «Начало работы с вероятностными графическими моделями» . PLOS Вычислительная биология . 3 (12): е252. arXiv : 0706.2040 . Бибкод : 2007PLSCB...3..252A . дои : 10.1371/journal.pcbi.0030252 . ПМК   2134967 . ПМИД   18069887 .
• Джордан, Мичиган (2004). «Графические модели» . Статистическая наука . 19 : 140–155. дои : 10.1214/088342304000000026 .
• Гахрамани, Зубин (май 2015 г.). «Вероятностное машинное обучение и искусственный интеллект» . Природа . 521 (7553): 452–459. Бибкод : 2015Natur.521..452G . дои : 10.1038/nature14541 . ПМИД   26017444 . S2CID   216356 .

Другое

• Учебное пособие по обучению байесовской сети Хекермана
• Краткое введение в графические модели и байесовские сети
• Слайды лекции Саргура Шрихари о вероятностных графических моделях

Внешние ссылки

• Графические модели и условные случайные поля
• Вероятностные графические модели, преподаемые Эриком Сином в CMU