Генеративная модель

Эта статья о генеративных моделях в контексте статистической классификации. Для генеративных моделей марковских процессов принятия решений см. Марковский процесс принятия решений § Модели моделирования . Информацию о языке генеративного моделирования (GML) в компьютерной графике и генеративном компьютерном программировании см. в разделе «Язык генеративного моделирования» . Информацию о моделях/системах генеративного искусственного интеллекта (генеративный ИИ) см. в разделе « Генеративный искусственный интеллект » .

В статистической классификации два основных подхода называются генеративным подходом и дискриминативным подходом. Эти классификаторы вычисляют разными подходами, отличающимися степенью статистического моделирования . Терминология противоречива, , можно выделить три основных типа но, согласно Джебаре (2004) :

1. Генеративная модель — это статистическая модель совместного распределения вероятностей. $P(X,Y)$ по данной наблюдаемой переменной X и целевой переменной Y ; Генеративная модель может использоваться для «генерации» случайных экземпляров ( результатов ) наблюдения x .
2. — Дискриминативная модель это модель условной вероятности. $P(Y\mid X=x)$ цели Y при условии наблюдения x . Его можно использовать для «различения» значения целевой переменной Y с учетом наблюдения x .
3. Классификаторы, рассчитанные без использования вероятностной модели, также называются «дискриминативными».

Различие между этими двумя последними классами проводится не всегда; Джебара (2004) называет эти три класса генеративным обучением , условным обучением и различительным обучением , но Нг и Джордан (2002) различают только два класса, называя их генеративными классификаторами (совместное распределение) и дискриминативными классификаторами (условное распределение или отсутствие распределения). , не делая различия между двумя последними классами. Аналогично, классификатор, основанный на генеративной модели, является генеративным классификатором , а классификатор, основанный на дискриминационной модели, — дискриминативным классификатором , хотя этот термин также относится к классификаторам, не основанным на модели.

Стандартные примеры каждого из них, все из которых являются линейными классификаторами :

• генеративные классификаторы:
  • наивный классификатор Байеса и
  • линейный дискриминантный анализ
• дискриминационная модель:
  • логистическая регрессия

Применительно к классификации требуется перейти от наблюдения x к метке y (или распределению вероятностей по меткам). Это можно вычислить напрямую, без использования распределения вероятностей ( классификатор без распределения ); можно оценить вероятность метки с учетом наблюдения, $P(Y|X=x)$ ( дискриминационная модель ) и базовая классификация на ее основе; или можно оценить совместное распределение $P(X,Y)$ ( генеративная модель ), на основе которой вычисляется условная вероятность $P(Y|X=x)$, а затем основывать классификацию на этом. Они становятся все более косвенными, но все более вероятностными, что позволяет больше предметных знаний применять и теории вероятностей. На практике используются разные подходы, в зависимости от конкретной проблемы, а гибриды могут сочетать в себе сильные стороны нескольких подходов.

Определение

Альтернативное разделение определяет их симметрично как:

• генеративная модель — это модель условной вероятности наблюдаемой X при заданной цели y , символически, $P(X\mid Y=y)$
• дискриминационная модель — это модель условной вероятности цели Y при условии наблюдения x , символически, $P(Y\mid X=x)$

Независимо от точного определения, терминология является конституционной, поскольку генеративная модель может использоваться для «генерации» случайных случаев ( результатов ) как наблюдения, так и целевых показателей. $(x,y)$или наблюдения x с заданным целевым значением y , в то время как дискриминативная модель или дискриминативный классификатор (без модели) могут использоваться для «различения» значения целевой переменной Y с учетом наблюдения x . Разница между « различать » (различать) и « классифицировать » тонкая, и они не различаются последовательно. (Термин «дискриминационный классификатор» становится плеоназмом , когда «дискриминация» эквивалентна «классификации».)

Термин «генеративная модель» также используется для описания моделей, которые генерируют экземпляры выходных переменных таким образом, который не имеет четкой связи с распределениями вероятностей по потенциальным выборкам входных переменных. Генеративно-состязательные сети являются примерами этого класса генеративных моделей и оцениваются в первую очередь по сходству конкретных результатов с потенциальными входами. Такие модели не являются классификаторами.

Отношения между моделями

Применительно к классификации наблюдаемая X часто является непрерывной переменной , целевая Y обычно представляет собой дискретную переменную, состоящую из конечного набора меток, а условная вероятность $P(Y\mid X)$ также можно интерпретировать как (недетерминированную) целевую функцию $f\colon X\to Y$, рассматривая X как входы и Y как выходы.

Учитывая конечный набор меток, два определения «генеративной модели» тесно связаны. Модель условного распределения $P(X\mid Y=y)$ — это модель распределения каждой метки, а модель совместного распределения эквивалентна модели распределения значений меток $P(Y)$, вместе с распределением наблюдений с меткой, $P(X\mid Y)$; символически, $P(X,Y)=P(X\mid Y)P(Y).$ Таким образом, хотя модель совместного распределения вероятностей более информативна, чем модель распределения меток (но без их относительных частот), это относительно небольшой шаг, поэтому они не всегда различаются.

Учитывая модель совместного распределения, $P(X,Y)$, распределение отдельных переменных можно вычислить как маргинальные распределения $P(X)=\sum _{y}P(X,Y=y)$ и $P(Y)=\int _{x}P(Y,X=x)$ (считая X непрерывным, следовательно, интегрируя по нему, и Y как дискретным, следовательно, суммируя по нему), и любое условное распределение можно вычислить из определения условной вероятности : $P(X\mid Y)=P(X,Y)/P(Y)$ и $P(Y\mid X)=P(X,Y)/P(X)$.

Учитывая модель одной условной вероятности и предполагаемые распределения вероятностей для переменных X и Y , обозначим $P(X)$ и $P(Y)$, можно оценить противоположную условную вероятность, используя правило Байеса :

$P(X\mid Y)P(Y)=P(Y\mid X)P(X).$

Например, учитывая генеративную модель для $P(X\mid Y)$, можно оценить:

$P(Y\mid X)=P(X\mid Y)P(Y)/P(X),$

и дана дискриминационная модель для $P(Y\mid X)$, можно оценить:

$P(X\mid Y)=P(Y\mid X)P(X)/P(Y).$

Обратите внимание, что правило Байеса (вычисление одной условной вероятности через другую) и определение условной вероятности (вычисление условной вероятности через совместное распределение) также часто путают.

с

Генеративный алгоритм моделирует способ генерации данных, чтобы классифицировать сигнал. Он задает вопрос: исходя из моих предположений о генерации, какая категория с наибольшей вероятностью будет генерировать этот сигнал? Дискриминационный алгоритм не заботится о том, как были сгенерированы данные, он просто классифицирует данный сигнал. Итак, дискриминационные алгоритмы пытаются изучить $p(y|x)$ непосредственно из данных, а затем попытаться классифицировать данные. С другой стороны, генеративные алгоритмы пытаются изучить $p(x,y)$ который можно превратить в $p(y|x)$ позже классифицировать данные. Одним из преимуществ генеративных алгоритмов является то, что вы можете использовать $p(x,y)$ генерировать новые данные, аналогичные существующим данным. С другой стороны, было доказано, что некоторые дискриминационные алгоритмы дают лучшую производительность, чем некоторые генеративные алгоритмы в задачах классификации.

Несмотря на то, что дискриминационные модели не должны моделировать распределение наблюдаемых переменных, они, как правило, не могут выражать сложные взаимосвязи между наблюдаемыми и целевыми переменными. Но в целом они не обязательно работают лучше, чем генеративные модели, при решении задач классификации и регрессии . Эти два класса рассматриваются как взаимодополняющие друг друга или как разные взгляды на одну и ту же процедуру.

Глубокие генеративные модели

С развитием глубокого обучения появилось новое семейство методов, называемое глубокими генеративными моделями (DGM). формируется за счет сочетания генеративных моделей и глубоких нейронных сетей. Увеличение масштаба нейронных сетей обычно сопровождается увеличением масштаба обучающих данных, оба из которых необходимы для хорошей производительности.

Популярные DGM включают вариационные автоэнкодеры (VAE), генеративно-состязательные сети (GAN) и авторегрессионные модели. В последнее время наблюдается тенденция к построению очень больших глубоких генеративных моделей. Например, GPT-3 и его предшественник GPT-2 . — это авторегрессионные модели нейронного языка, содержащие миллиарды параметров, BigGAN и VQ-VAE которые используются для генерации изображений, которые могут иметь сотни миллионов параметров, а Jukebox — это очень большая генеративная модель музыкального звука, содержащая миллиарды параметров.

Типы

Генеративные модели

Типы генеративных моделей:

• Модель гауссовой смеси (и другие типы моделей смеси )
• Скрытая модель Маркова
• Вероятностная контекстно-свободная грамматика
• Байесовская сеть (например, Наивный Байес , модель авторегрессии )
• Усредненные оценки с одной зависимостью
• Скрытое распределение Дирихле
• Машина Больцмана (например, ограниченная машина Больцмана , сеть глубоких убеждений )
• Вариационный автоэнкодер
• Генеративно-состязательная сеть
• Генеративная модель на основе потоков
• Энергетическая модель
• Диффузионная модель

Если наблюдаемые данные действительно выбираются из генеративной модели, то подгонка параметров генеративной модели для максимизации правдоподобия данных является распространенным методом. Однако, поскольку большинство статистических моделей являются лишь приближениями к истинному распределению, если применение модели состоит в том, чтобы сделать вывод о подмножестве переменных, зависящем от известных значений других, то можно утверждать, что это приближение делает больше предположений, чем необходимо для решения задачи. проблема под рукой. В таких случаях может быть более точным моделировать функции условной плотности непосредственно с использованием дискриминационной модели (см. ниже), хотя детали конкретного приложения в конечном итоге будут определять, какой подход наиболее подходит в каждом конкретном случае.

Дискриминационные модели

• алгоритм k-ближайших соседей
• Логистическая регрессия
• Машины опорных векторов
• Обучение дереву решений
• Случайный лес
• Марковские модели максимальной энтропии
• Условные случайные поля

Примеры

Простой пример

Предположим, что входные данные $x\in \{1,2\}$, набор меток для $x$ является $y\in \{0,1\}$, и есть следующие 4 точки данных: $(x,y)=\{(1,0),(1,1),(2,0),(2,1)\}$

Для приведенных выше данных оценка совместного распределения вероятностей $p(x,y)$ с эмпирической точки зрения будет следующим:

	$y=0$	$y=1$
$x=1$	$1/4$	$1/4$
$x=2$	$2/4$	$0$

пока $p(y|x)$ будет следующее:

	$y=0$	$y=1$
$x=1$	$1/2$	$1/2$
$x=2$	$1$	$0$

Генерация текста

Шеннон (1948) приводит пример, в котором таблица частот пар английских слов используется для создания предложения, начинающегося со слов «представление и быстрота — это хорошо»; это не настоящий английский язык, но который будет все больше приближаться к нему по мере того, как таблица перемещается от пар слов к тройкам слов и т. д.

См. также

• Дискриминационная модель
• Графическая модель

Внешние ссылки

• Шеннон, CE (1948). «Математическая теория связи» (PDF) . Технический журнал Bell System . 27 (июль, октябрь): 379–423, 623–656. дои : 10.1002/j.1538-7305.1948.tb01338.x . hdl : 10338.dmlcz/101429 . Архивировано из оригинала (PDF) 6 июня 2016 г. Проверено 9 января 2016 г.
• Митчелл, Том М. (2015). «3. Генеративные и дискриминативные классификаторы: наивный Байес и логистическая регрессия» (PDF) . Машинное обучение .
• Нг, Эндрю Ю .; Джордан, Майкл И. (2002). «Дискриминативные и генеративные классификаторы: сравнение логистической регрессии и наивного Байеса» (PDF) . Достижения в области нейронных систем обработки информации .
• Джебара, Тони (2004). Машинное обучение: дискриминативное и генеративное . Международная серия Springer по инженерным наукам и информатике. Клювер Академик (Спрингер). ISBN  978-1-4020-7647-3 .
• Джебара, Тони (2002). Дискриминативное, генеративное и имитационное обучение (доктор философии). Массачусетский технологический институт . hdl : 1721.1/8323 . , ( зеркало , зеркало ), опубликовано в виде книги (вверху)