Сложное распределение вероятностей

В теории вероятностей и статистике сложное распределение вероятностей (также известное как смешанное распределение или заразительное распределение ) — это распределение вероятностей , возникающее в результате предположения, что случайная величина распределяется в соответствии с некоторым параметризованным распределением с (некоторыми) параметрами этого распределения. сами по себе являются случайными величинами.Если параметр является параметром масштаба , полученную смесь также называют смесью масштабов .

Составное распределение («безусловное распределение») является результатом маргинализации (интегрирования) скрытой случайной величины(й), представляющей параметр(ы) параметризованного распределения («условное распределение»).

Определение

Составное распределение вероятностей — это распределение вероятностей, которое получается в результате предположения, что случайная величина $X$ распределяется согласно некоторому параметризованному распределению $F$ с неизвестным параметром $\theta$ который снова распределяется в соответствии с каким-то другим распределением $G$ . Полученное распределение $H$ Говорят, что это распределение, возникающее в результате наложения процентов $F$ с $G$ . Распределение параметра $G$ также называется смешанным распределением или скрытым распределением . Технически, безусловное распределение $H$ результат маргинализации $G$ , т. е. от интегрирования неизвестного параметра(ов) $\theta$ . Его функция плотности вероятности определяется следующим образом:

p_{H}(x)={\displaystyle \int \limits p_{F}(x|\theta )\,p_{G}(\theta )\operatorname {d} \!\theta }

Та же самая формула применяется аналогично, если некоторые или все переменные являются векторами.

Из приведенной выше формулы видно, что сложное распределение, по сути, является частным случаем маргинального распределения : совместное распределение $x$ и $\theta$ дается $p(x,\theta )=p(x|\theta )p(\theta )$ , и соединение получается как его предельное распределение: ${\textstyle p(x)=\int p(x,\theta )\operatorname {d} \!\theta }$ .Если домен $\theta$ дискретно, то распределение снова является частным случаем смешанного распределения .

Характеристики

Общий

Составное распределение $H$ будет зависеть от конкретного выражения каждого распределения, а также от того, какой параметр $F$ распределяется в соответствии с распределением $G$ , а параметры $H$ будет включать в себя любые параметры $G$ которые не маргинализированы и не интегрированы.Поддержка $H$ такое же, как и у $F$ , и если последнее представляет собой двухпараметрическое распределение, параметризованное средним значением и дисперсией, существуют некоторые общие свойства.

Среднее и дисперсия

сложного распределения Первые два момента определяются законом полного ожидания и законом полной дисперсии :

$\operatorname {E} _{H}[X]=\operatorname {E} _{G}{\bigl [}\operatorname {E} _{F}[X|\theta ]{\bigr ]}$

$\operatorname {Var} _{H}(X)=\operatorname {E} _{G}{\bigl [}\operatorname {Var} _{F}(X|\theta ){\bigr ]}+\operatorname {Var} _{G}{\bigl (}\operatorname {E} _{F}[X|\theta ]{\bigr )}$

Если среднее значение $F$ распространяется как $G$ , что, в свою очередь, означает $\mu$ и дисперсия $\sigma ^{2}$ выражения выше подразумевают $\operatorname {E} _{H}[X]=\operatorname {E} _{G}[\theta ]=\mu$ и $\operatorname {Var} _{H}(X)=\operatorname {Var} _{F}(X|\theta )+\operatorname {Var} _{G}(Y)=\tau ^{2}+\sigma ^{2}$ , где $\tau ^{2}$ это дисперсия $F$ .

Доказательство

позволять $F$ и $G$ быть распределениями вероятностей, параметризованными средней дисперсией как ${\begin{aligned}x&\sim {\mathcal {F}}(\theta ,\tau ^{2})\\\theta &\sim {\mathcal {G}}(\mu ,\sigma ^{2})\end{aligned}}$ затем обозначив функции плотности вероятности как $f(x|\theta )=p_{F}(x|\theta )$ и $g(\theta )=p_{G}(\theta )$ соответственно, и $h(x)$ плотность вероятности $H$ у нас есть ${\begin{aligned}\operatorname {E} _{H}[X]=\int _{F}xh(x)dx&=\int _{F}x\int _{G}f(x|\theta )g(\theta )d\theta dx\\&=\int _{G}\int _{F}xf(x|\theta )dx\ g(\theta )d\theta \\&=\int _{G}\operatorname {E} _{F}[X|\theta ]g(\theta )d\theta \end{aligned}}$ и мы имеем из параметризации ${\mathcal {F}}$ и ${\mathcal {G}}$ что ${\begin{aligned}\operatorname {E} _{F}[X|\theta ]&=\int _{F}xf(x|\theta )dx=\theta \\\operatorname {E} _{G}[\theta ]&=\int _{G}\theta g(\theta )d\theta =\mu \end{aligned}}$ и, следовательно, среднее значение сложного распределения $\operatorname {E} _{H}[X]=\mu$ согласно выражению для первого момента выше.

Дисперсия $H$ дается $\operatorname {E} _{H}[X^{2}]-(\operatorname {E} _{H}[X])^{2}$ , и ${\begin{aligned}\operatorname {E} _{H}[X^{2}]=\int _{F}x^{2}h(x)dx&=\int _{F}x^{2}\int _{G}f(x|\theta )g(\theta )d\theta dx\\&=\int _{G}g(\theta )\int _{F}x^{2}f(x|\theta )dx\ d\theta \\&=\int _{G}g(\theta )(\tau ^{2}+\theta ^{2})d\theta \\&=\tau ^{2}\int _{G}g(\theta )d\theta +\int _{G}g(\theta )\theta ^{2}d\theta \\&=\tau ^{2}+(\sigma ^{2}+\mu ^{2}),\end{aligned}}$ учитывая тот факт, что $\int _{F}x^{2}f(x\mid \theta )dx=\operatorname {E} _{F}[X^{2}\mid \theta ]=\operatorname {Var} _{F}(X\mid \theta )+(\operatorname {E} _{F}[X\mid \theta ])^{2}$ и $\int _{G}\theta ^{2}g(\theta )d\theta =\operatorname {E} _{G}[\theta ^{2}]=\operatorname {Var} _{G}(\theta )+(\operatorname {E} _{G}[\theta ])^{2}$ . Наконец мы получаем ${\begin{aligned}\operatorname {Var} _{H}(X)&=\operatorname {E} _{H}[X^{2}]-(\operatorname {E} _{H}[X])^{2}\\&=\tau ^{2}+\sigma ^{2}\end{aligned}}$

Приложения

Тестирование

Распределения общей статистики теста представляют собой составные распределения при нулевой гипотезе, например, в t-критерии Стьюдента (где статистика теста представляет собой соотношение нормальной и случайной величины хи-квадрат ) или в F-тесте (где статистика теста представляет собой отношение двух случайных величин хи-квадрат ).

Моделирование сверхдисперсии

Сложные распределения полезны для моделирования результатов, демонстрирующих чрезмерную дисперсию , т. е. большую изменчивость, чем можно было бы ожидать в рамках определенной модели. Например, данные подсчета обычно моделируются с использованием распределения Пуассона , дисперсия которого равна его среднему значению. Распределение можно обобщить, допустив изменчивость его параметра скорости , реализованную через гамма-распределение , что приводит к предельному отрицательному биномиальному распределению . Это распределение по форме похоже на распределение Пуассона, но допускает большие дисперсии. Аналогичным образом, биномиальное распределение можно обобщить, чтобы обеспечить дополнительную вариативность, путем объединения его с бета-распределением для параметра вероятности успеха, что приводит к бета-биномиальному распределению .

Байесовский вывод

Помимо повсеместных предельных распределений, которые можно рассматривать как частные случаи сложных распределений, в байесовском выводе составные распределения возникают, когда в приведенных выше обозначениях F представляет распределение будущих наблюдений, а G — апостериорное распределение параметров F с учетом информации в наборе наблюдаемых данных. Это дает апостериорное прогнозируемое распределение . Соответственно, для распределения априорного прогнозируемого F — это распределение новой точки данных, а G — априорное распределение параметров.

Свертка

Свертку распределений вероятностей (для получения распределения вероятностей сумм случайных величин) также можно рассматривать как частный случай наложения процентов; здесь распределение суммы по существу является результатом рассмотрения одного слагаемого как параметра случайного местоположения для другого слагаемого. ^[1]

Вычисление

Сложные распределения, полученные из экспоненциальных семейных распределений, часто имеют замкнутую форму.Если аналитическое интегрирование невозможно, могут потребоваться численные методы.

Распределение соединений можно относительно легко исследовать с помощью методов Монте-Карло , т. е. путем создания случайных выборок. Часто легко генерировать случайные числа из распределения $p(\theta )$ а также $p(x|\theta )$ а затем использовать их для выполнения свернутой выборки Гиббса для создания выборок из $p(x)$ .

Сложное распределение обычно также можно в достаточной степени аппроксимировать распределением смеси с использованием конечного числа компонентов смеси, что позволяет получить приблизительную плотность, функцию распределения и т. Д. ^[1]

Оценка параметров ( оценка максимального правдоподобия или максимальная апостериорная оценка) в рамках составной модели распределения иногда может быть упрощена за счет использования EM-алгоритма . ^[2]

Примеры

Смеси гауссовского масштаба : ^[3]^[4]
- Соединение нормального распределения с дисперсией , распределенной в соответствии с обратным гамма-распределением (или, что то же самое, с точностью , распределенной как гамма-распределение ), дает нестандартизованное t-распределение Стьюдента . ^[5] Это распределение имеет ту же симметричную форму, что и нормальное распределение с той же центральной точкой, но имеет большую дисперсию и тяжелые хвосты .
- Соединение гауссова (или нормального) распределения с дисперсией, распределенной в соответствии с экспоненциальным распределением (или со стандартным отклонением в соответствии с распределением Рэлея ), дает распределение Лапласа . В более общем смысле, объединение гауссова (или нормального) распределения с дисперсией, распределенной в соответствии с гамма-распределением, дает гамма-распределение дисперсии .
- Соединение гауссова распределения с дисперсией, распределенной в соответствии с экспоненциальным распределением , параметр скорости которого сам распределяется в соответствии с гамма-распределением, дает нормально-экспоненциальное гамма-распределение . (Это включает в себя два этапа наложения процентов. Тогда сама дисперсия подчиняется распределению Ломакса ; см. ниже.)
- Соединение гауссовского распределения со стандартным отклонением, распределенным в соответствии с (стандартным) обратным равномерным распределением, дает распределение Слэша .
- Соединение гауссовского (нормального) распределения с распределением Колмогорова дает логистическое распределение . ^[6]^[3]
другие гауссовы смеси :
- Соединение гауссова распределения со средним значением , распределенным в соответствии с другим гауссовским распределением, дает (снова) гауссово распределение .
- Соединение гауссовского распределения со средним значением , распределенным в соответствии со смещенным экспоненциальным распределением, дает экспоненциально модифицированное гауссово распределение .

Соединение распределения Бернулли с вероятностью успеха $p$ распределяется по дистрибутиву $X$ которое имеет определенное ожидаемое значение, дает распределение Бернулли с вероятностью успеха. $E[X]$ . Интересным следствием является то, что дисперсия $X$ не влияет на дисперсию полученного распределения соединения.
Соединение биномиального распределения с вероятностью успеха, распределенной в соответствии с бета-распределением, дает бета-биномиальное распределение . Он обладает тремя параметрами, параметром $n$ (количество выборок) из биномиального распределения и параметров формы $\alpha$ и $\beta$ из бета-дистрибутива. ^[7]^[8]
Соединение полиномиального распределения с вектором вероятности, распределенным в соответствии с распределением Дирихле, дает мультиномиальное распределение Дирихле .
Соединение распределения Пуассона с параметром скорости , распределенным в соответствии с гамма-распределением, дает отрицательное биномиальное распределение . ^[9]^[10]
Соединение распределения Пуассона с параметром скорости, распределенным в соответствии с экспоненциальным распределением, дает геометрическое распределение .
Соединение экспоненциального распределения с его параметром скорости , распределенным в соответствии с гамма-распределением, дает распределение Ломакса . ^[11]
Соединение гамма-распределения с параметром обратного масштаба , распределенным в соответствии с другим гамма-распределением, дает трехпараметрическое простое бета-распределение . ^[12]
Соединение полунормального распределения с его масштабным параметром , распределенным в соответствии с распределением Рэлея, дает экспоненциальное распределение . Это непосредственно следует из распределения Лапласа, полученного как смесь нормального масштаба; см. выше. Здесь также можно поменяться ролями условных и смешанных распределений; следовательно, составление распределения Рэлея с его масштабным параметром, распределенным в соответствии с полунормальным распределением, также дает экспоненциальное распределение .
Гамма (k=2,θ) - распределенная случайная величина, масштабный параметр которой θ снова равномерно распределен, незначительно дает экспоненциальное распределение .

См. также

Ссылки

^ Jump up to: ^а ^б Рёвер, К.; Фриде, Т. (2017). «Дискретная аппроксимация распределения смеси посредством ограниченной расходимости» . Журнал вычислительной и графической статистики . 26 (1): 217–222. arXiv : 1602.04060 . дои : 10.1080/10618600.2016.1276840 .
^ Гельман А.; Карлин, Дж.Б.; Стерн, Х.; Рубин, Д.Б. (1997). «9.5 Поиск маргинальных задних мод с использованием ЭМ и связанных с ней алгоритмов ». Байесовский анализ данных (1-е изд.). Бока-Ратон: Чепмен и Холл / CRC. п. 276.
^ Jump up to: ^а ^б Ли, SX; Маклахлан, Дж.Дж. (2019). «Распределение масштабной смеси». Wiley StatsRef: Интернет-справочник по статистике . дои : 10.1002/9781118445112.stat08201 .
^ Гнейтинг, Т. (1997). «Смеси нормального масштаба и двойные плотности вероятности». Журнал статистических вычислений и моделирования . 59 (4): 375–384. дои : 10.1080/00949659708811867 .
^ Настроение, утро; Грейбилл, ФА; Боес, округ Колумбия (1974). Введение в теорию статистики (3-е изд.). Нью-Йорк: МакГроу-Хилл.
^ Эндрюс, Д.Ф.; Маллоуз, CL (1974), «Масштабные смеси нормальных распределений», Журнал Королевского статистического общества, серия B , 36 (1): 99–102, doi : 10.1111/j.2517-6161.1974.tb00989.x
^ Джонсон, Нидерланды; Кемп, AW; Коц, С. (2005). «6.2.2». Одномерные дискретные распределения (3-е изд.). Нью-Йорк: Уайли. п. 253.
^ Гельман А.; Карлин, Дж. Б.; Стерн, Х.; Дансон, Д.Б.; Вехтари, А.; Рубин, Д.Б. (2014). Байесовский анализ данных (3-е изд.). Бока-Ратон: Чепмен и Холл / CRC.
^ Лоулесс, Дж. Ф. (1987). «Отрицательная биномиальная и смешанная регрессия Пуассона». Канадский статистический журнал . 15 (3): 209–225. дои : 10.2307/3314912 . JSTOR 3314912 .
^ Тейч, MC; Диамент, П. (1989). «Умножьте стохастические представления для K-распределений и их преобразований Пуассона». Журнал Оптического общества Америки А. 6 (1): 80–91. Бибкод : 1989JOSAA...6...80T . CiteSeerX 10.1.1.64.596 . дои : 10.1364/JOSAA.6.000080 .
^ Джонсон, Нидерланды; Коц, С.; Балакришнан, Н. (1994). «20 распределений Парето ». Непрерывные одномерные распределения . Том. 1 (2-е изд.). Нью-Йорк: Уайли. п. 573.
^ Дубей, С.Д. (1970). «Соединенные гамма-, бета- и F-распределения». Метрика . 16 : 27–31. дои : 10.1007/BF02613934 .

Дальнейшее чтение

Линдсей, Б.Г. (1995), Модели смесей: теория, геометрия и приложения , Серия региональных конференций NSF-CBMS по вероятности и статистике, том. 5, Хейворд, Калифорния, США: Институт математической статистики, стр. i–163, ISBN. 978-0-940600-32-4 , JSTOR 4153184
Зайдель, В. (2010), «Модели смесей», в Ловрике, М. (редактор), Международная энциклопедия статистических наук , Гейдельберг: Springer, стр. 827–829, doi : 10.1007/978-3-642-04898 -2_368 , ISBN 978-3-642-04898-2
Настроение, утро; Грейбилл, ФА; Боес, округ Колумбия (1974), «III.4.3 Заразные распределения и усеченные распределения », Введение в теорию статистики (3-е изд.), Нью-Йорк: McGraw-Hill, ISBN 978-0-07-042864-5
Джонсон, Нидерланды; Кемп, AW; Коц, С. (2005), «8 распределений смесей », Одномерные дискретные распределения , Нью-Йорк: Wiley, ISBN 978-0-471-27246-5

[RoeverFriede2017-1] Jump up to: ^а ^б Рёвер, К.; Фриде, Т. (2017). «Дискретная аппроксимация распределения смеси посредством ограниченной расходимости» . Журнал вычислительной и графической статистики . 26 (1): 217–222. arXiv : 1602.04060 . дои : 10.1080/10618600.2016.1276840 .

[2] Гельман А.; Карлин, Дж.Б.; Стерн, Х.; Рубин, Д.Б. (1997). «9.5 Поиск маргинальных задних мод с использованием ЭМ и связанных с ней алгоритмов ». Байесовский анализ данных (1-е изд.). Бока-Ратон: Чепмен и Холл / CRC. п. 276.

[LeeMcLachlan2019-3] Jump up to: ^а ^б Ли, SX; Маклахлан, Дж.Дж. (2019). «Распределение масштабной смеси». Wiley StatsRef: Интернет-справочник по статистике . дои : 10.1002/9781118445112.stat08201 .

[Gneiting1997-4] Гнейтинг, Т. (1997). «Смеси нормального масштаба и двойные плотности вероятности». Журнал статистических вычислений и моделирования . 59 (4): 375–384. дои : 10.1080/00949659708811867 .

[5] Настроение, утро; Грейбилл, ФА; Боес, округ Колумбия (1974). Введение в теорию статистики (3-е изд.). Нью-Йорк: МакГроу-Хилл.

[6] Эндрюс, Д.Ф.; Маллоуз, CL (1974), «Масштабные смеси нормальных распределений», Журнал Королевского статистического общества, серия B , 36 (1): 99–102, doi : 10.1111/j.2517-6161.1974.tb00989.x

[7] Джонсон, Нидерланды; Кемп, AW; Коц, С. (2005). «6.2.2». Одномерные дискретные распределения (3-е изд.). Нью-Йорк: Уайли. п. 253.

[8] Гельман А.; Карлин, Дж. Б.; Стерн, Х.; Дансон, Д.Б.; Вехтари, А.; Рубин, Д.Б. (2014). Байесовский анализ данных (3-е изд.). Бока-Ратон: Чепмен и Холл / CRC.

[9] Лоулесс, Дж. Ф. (1987). «Отрицательная биномиальная и смешанная регрессия Пуассона». Канадский статистический журнал . 15 (3): 209–225. дои : 10.2307/3314912 . JSTOR 3314912 .

[10] Тейч, MC; Диамент, П. (1989). «Умножьте стохастические представления для K-распределений и их преобразований Пуассона». Журнал Оптического общества Америки А. 6 (1): 80–91. Бибкод : 1989JOSAA...6...80T . CiteSeerX 10.1.1.64.596 . дои : 10.1364/JOSAA.6.000080 .

[11] Джонсон, Нидерланды; Коц, С.; Балакришнан, Н. (1994). «20 распределений Парето ». Непрерывные одномерные распределения . Том. 1 (2-е изд.). Нью-Йорк: Уайли. п. 573.

[12] Дубей, С.Д. (1970). «Соединенные гамма-, бета- и F-распределения». Метрика . 16 : 27–31. дои : 10.1007/BF02613934 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]