Совместное распределение вероятностей

$X$

$Y$

$p(X)$

$p(Y)$

Многие выборочные наблюдения (черные) показаны на основе совместного распределения вероятностей. Также показаны предельные плотности (синим и красным).

Учитывая две случайные величины , которые определены в одном и том же вероятностном пространстве , совместное распределение вероятностей — это соответствующее распределение вероятностей для всех возможных пар выходных данных. Совместное распределение можно с тем же успехом рассматривать для любого заданного числа случайных величин. Совместное распределение кодирует маргинальные распределения , то есть распределения каждой из отдельных случайных величин и распределения условных вероятностей , которые имеют дело с тем, как распределяются выходные данные одной случайной величины, когда предоставляется информация о выходных данных другой случайной величины (ов). .

В формальной математической структуре теории меры совместное распределение задается мерой прямого действия , картой, полученной путем объединения в пары данных случайных величин, вероятностной меры выборочного пространства .

В случае вещественных случайных величин совместное распределение, как конкретное многомерное распределение, может быть выражено многомерной кумулятивной функцией распределения или многомерной функцией плотности вероятности вместе с многомерной функцией массы вероятности . В частном случае непрерывных случайных величин достаточно рассмотреть функции плотности вероятности, а в случае дискретных случайных величин достаточно рассмотреть функции массы вероятности.

Примеры

Чертит из урны

В каждой из двух урн содержится в два раза больше красных шаров, чем синих шаров, и никаких других, и из каждой урны случайным образом выбирается один шар, при этом два розыгрыша независимы друг от друга. Позволять $A$ и $B$ — дискретные случайные величины, связанные с результатами розыгрыша первой и второй урны соответственно. Вероятность вытащить красный шар из любой из урн равна 2/3, а вероятность вытащить синий шар – 1/3. Совместное распределение вероятностей представлено в следующей таблице:

	А=красный	А=Синий	П(Б)
Б=красный	(2/3)(2/3)=4/9	(1/3)(2/3)=2/9	4/9+2/9=2/3
Б=Синий	(2/3)(1/3)=2/9	(1/3)(1/3)=1/9	2/9+1/9=1/3
П(А)	4/9+2/9=2/3	2/9+1/9=1/3

Каждая из четырех внутренних ячеек показывает вероятность определенной комбинации результатов двух розыгрышей; эти вероятности представляют собой совместное распределение. В любой ячейке вероятность появления определенной комбинации равна (поскольку розыгрыши независимы) произведению вероятности указанного результата для A и вероятности указанного результата для B. Сумма вероятностей в этих четырех ячейках равна 1, как и все распределения вероятностей.

Более того, последняя строка и последний столбец дают предельное распределение вероятностей для A и предельное распределение вероятностей для B соответственно. Например, для A первая из этих ячеек дает сумму вероятностей того, что A будет красным, независимо от того, какая вероятность B в столбце над ячейкой возникает, как 2/3. Таким образом, предельное распределение вероятностей для $A$ дает $A$вероятности безоговорочно ​ $B$, на полях таблицы.

Подбрасывание монеты

Рассмотрим подбрасывание двух честных монет ; позволять $A$ и $B$ — дискретные случайные величины, связанные с результатами первого и второго подбрасывания монеты соответственно. Каждый подбрасывание монеты представляет собой испытание Бернулли и имеет распределение Бернулли . Если на монете изображен «орёл», то соответствующая случайная величина принимает значение 1, в противном случае — значение 0. Вероятность каждого из этих исходов равна 1/2, поэтому маргинальные (безусловные) функции плотности равны

$P(A)=1/2\quad {\text{for}}\quad A\in \{0,1\};$

$P(B)=1/2\quad {\text{for}}\quad B\in \{0,1\}.$

Совместная функция массы вероятности $A$ и $B$ определяет вероятности для каждой пары исходов. Все возможные исходы

$(A=0,B=0),(A=0,B=1),(A=1,B=0),(A=1,B=1).$

Поскольку каждый исход одинаково вероятен, совместная функция массы вероятности принимает вид

$P(A,B)=1/4\quad {\text{for}}\quad A,B\in \{0,1\}.$

Поскольку подбрасывания монеты независимы, совместная функция массы вероятности представляет собой произведениеиз маргиналов:

$P(A,B)=P(A)P(B)\quad {\text{for}}\quad A,B\in \{0,1\}.$

Бросок кубика

Рассмотрите бросок игральной кости и позвольте $A=1$ если число четное (т. е. 2, 4 или 6) и $A=0$ в противном случае. Кроме того, пусть $B=1$ если число простое (т.е. 2, 3 или 5) и $B=0$ в противном случае.

	1	2	3	4	5	6
А	0	1	0	1	0	1
Б	0	1	1	0	1	0

Затем совместное распределение $A$ и $B$, выраженная как функция массы вероятности, равна

$\mathrm {P} (A=0,B=0)=P\{1\}={\frac {1}{6}},\quad \quad \mathrm {P} (A=1,B=0)=P\{4,6\}={\frac {2}{6}},$

$\mathrm {P} (A=0,B=1)=P\{3,5\}={\frac {2}{6}},\quad \quad \mathrm {P} (A=1,B=1)=P\{2\}={\frac {1}{6}}.$

Сумма этих вероятностей обязательно равна 1, поскольку вероятность некоторой комбинации $A$ и $B$ происходит 1.

вероятностей

Основная статья: Маржинальное распределение

Если в случайном эксперименте определено более одной случайной величины, важно различать совместное распределение вероятностей X и Y и распределение вероятностей каждой переменной в отдельности. Индивидуальное распределение вероятностей случайной величины называется ее предельным распределением вероятностей. В общем, предельное распределение вероятностей X можно определить из совместного распределения вероятностей X и других случайных величин.

Если совместная функция плотности вероятности случайной величины X и Y равна $f_{X,Y}(x,y)$ , предельная функция плотности вероятности X и Y, которая определяет предельное распределение , определяется как:

$f_{X}(x)=\int f_{X,Y}(x,y)\;dy$
$f_{Y}(y)=\int f_{X,Y}(x,y)\;dx$

где первый интеграл рассчитан по всем точкам диапазона (X,Y), для которых X=x, а второй интеграл рассчитан по всем точкам диапазона (X,Y), для которых Y=y.

распределения

Для пары случайных величин $X,Y$, совместная кумулятивная функция распределения (CDF) $F_{X,Y}$ дается

$F_{X,Y}(x,y)=\operatorname {P} (X\leq x,Y\leq y)$ ( Уравнение 1 )

где правая часть представляет вероятность того, что случайная величина $X$ принимает значение меньше или равное $x$ и это $Y$ принимает значение меньше или равное $y$.

Для $N$ случайные величины $X_{1},\ldots ,X_{N}$, совместный CDF $F_{X_{1},\ldots ,X_{N}}$ дается

$F_{X_{1},\ldots ,X_{N}}(x_{1},\ldots ,x_{N})=\operatorname {P} (X_{1}\leq x_{1},\ldots ,X_{N}\leq x_{N})$ ( Уравнение 2 )

Интерпретация $N$ случайные величины как случайный вектор $\mathbf {X} =(X_{1},\ldots ,X_{N})^{T}$ дает более короткое обозначение:

$F_{\mathbf {X} }(\mathbf {x} )=\operatorname {P} (X_{1}\leq x_{1},\ldots ,X_{N}\leq x_{N})$

Функция плотности суставов

Дискретный случай

Совместная массовая функция вероятности двух дискретных случайных величин $X,Y$ является:

$p_{X,Y}(x,y)=\mathrm {P} (X=x\ \mathrm {and} \ Y=y)$ ( Уравнение 3 )

или записано в терминах условных распределений

$p_{X,Y}(x,y)=\mathrm {P} (Y=y\mid X=x)\cdot \mathrm {P} (X=x)=\mathrm {P} (X=x\mid Y=y)\cdot \mathrm {P} (Y=y)$

где $\mathrm {P} (Y=y\mid X=x)$ это вероятность ​ $Y=y$ при условии $X=x$.

Обобщением предыдущего случая с двумя переменными является совместное распределение вероятностей $n\,$ дискретные случайные величины $X_{1},X_{2},\dots ,X_{n}$ что такое:

$p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=\mathrm {P} (X_{1}=x_{1}{\text{ and }}\dots {\text{ and }}X_{n}=x_{n})$ ( Уравнение 4 )

или эквивалентно

${\begin{aligned}p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})&=\mathrm {P} (X_{1}=x_{1})\cdot \mathrm {P} (X_{2}=x_{2}\mid X_{1}=x_{1})\\&\cdot \mathrm {P} (X_{3}=x_{3}\mid X_{1}=x_{1},X_{2}=x_{2})\\&\dots \\&\cdot P(X_{n}=x_{n}\mid X_{1}=x_{1},X_{2}=x_{2},\dots ,X_{n-1}=x_{n-1}).\end{aligned}}$.

Это тождество известно как цепное правило вероятности .

Поскольку это вероятности, в случае двух переменных

$\sum _{i}\sum _{j}\mathrm {P} (X=x_{i}\ \mathrm {and} \ Y=y_{j})=1,\,$

который обобщает для $n\,$ дискретные случайные величины $X_{1},X_{2},\dots ,X_{n}$ к

$\sum _{i}\sum _{j}\dots \sum _{k}\mathrm {P} (X_{1}=x_{1i},X_{2}=x_{2j},\dots ,X_{n}=x_{nk})=1.\;$

Непрерывный случай

Совместная функция плотности вероятности $f_{X,Y}(x,y)$ для двух непрерывных случайных величин определяется как производная совместной кумулятивной функции распределения (см. уравнение 1 ):

$f_{X,Y}(x,y)={\frac {\partial ^{2}F_{X,Y}(x,y)}{\partial x\partial y}}$ ( Уравнение 5 )

Это равно:

$f_{X,Y}(x,y)=f_{Y\mid X}(y\mid x)f_{X}(x)=f_{X\mid Y}(x\mid y)f_{Y}(y)$

где $f_{Y\mid X}(y\mid x)$ и $f_{X\mid Y}(x\mid y)$ являются условными распределениями $Y$ данный $X=x$ и из $X$ данный $Y=y$ соответственно и $f_{X}(x)$ и $f_{Y}(y)$ являются маргинальными распределениями для $X$ и $Y$ соответственно.

Определение естественным образом распространяется на более чем две случайные величины:

$f_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})={\frac {\partial ^{n}F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})}{\partial x_{1}\ldots \partial x_{n}}}$ ( Уравнение 6 )

Опять же, поскольку это распределения вероятностей, имеем

$\int _{x}\int _{y}f_{X,Y}(x,y)\;dy\;dx=1$

соответственно

$\int _{x_{1}}\ldots \int _{x_{n}}f_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})\;dx_{n}\ldots \;dx_{1}=1$

Смешанный случай

«Смешанная плотность соединений» может быть определена, когда одна или несколько случайных величин являются непрерывными, а другие случайные величины являются дискретными. С одной переменной каждого типа

${\begin{aligned}f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\mathrm {P} (Y=y)=\mathrm {P} (Y=y\mid X=x)f_{X}(x).\end{aligned}}$

Один из примеров ситуации, в которой может потребоваться найти кумулятивное распределение одной случайной величины, которая является непрерывной, и другой случайной величины, которая является дискретной, возникает, когда кто-то желает использовать логистическую регрессию для прогнозирования вероятности двоичного результата Y при условии, что ценность непрерывно распределяемого результата $X$. входные переменные При нахождении кумулятивного распределения этого двоичного результата необходимо использовать «смешанную» плотность суставов, поскольку $(X,Y)$ изначально были определены таким образом, что нельзя было коллективно приписать им ни функцию плотности вероятности, ни функцию массы вероятности. Формально, $f_{X,Y}(x,y)$ — функция плотности вероятности $(X,Y)$ относительно продукта на соответствующих опорах меры $X$ и $Y$. Любое из этих двух разложений затем можно использовать для восстановления совместной кумулятивной функции распределения:

${\begin{aligned}F_{X,Y}(x,y)&=\sum \limits _{t\leq y}\int _{s=-\infty }^{x}f_{X,Y}(s,t)\;ds.\end{aligned}}$

Определение обобщается на смесь произвольных чисел дискретных и непрерывных случайных величин.

Дополнительные свойства

распределение

В общем две случайные величины $X$ и $Y$ независимы тогда и только тогда , когда совместная кумулятивная функция распределения удовлетворяет

$F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)$

Две дискретные случайные величины $X$ и $Y$ независимы тогда и только тогда, когда совместная функция массы вероятности удовлетворяет условию

$P(X=x\ {\mbox{and}}\ Y=y)=P(X=x)\cdot P(Y=y)$

для всех $x$ и $y$.

По мере роста числа независимых случайных событий связанное с ними значение совместной вероятности быстро уменьшается до нуля по отрицательному экспоненциальному закону.

Аналогично, две абсолютно непрерывные случайные величины независимы тогда и только тогда, когда

$f_{X,Y}(x,y)=f_{X}(x)\cdot f_{Y}(y)$

для всех $x$ и $y$. Это означает, что получение любой информации о значении одной или нескольких случайных величин приводит к условному распределению любой другой переменной, идентичному ее безусловному (предельному) распределению; таким образом, ни одна переменная не предоставляет никакой информации о любой другой переменной.

Совместное распределение

Если подмножество $A$ переменных $X_{1},\cdots ,X_{n}$ от условно зависит другого подмножества $B$ этих переменных, то функция массы вероятности совместного распределения равна $\mathrm {P} (X_{1},\ldots ,X_{n})$. $\mathrm {P} (X_{1},\ldots ,X_{n})$ равно $P(B)\cdot P(A\mid B)$. Следовательно, его можно эффективно представить с помощью распределений вероятностей меньшей размерности. $P(B)$ и $P(A\mid B)$. Такие отношения условной независимости могут быть представлены с помощью байесовской сети или функций копулы .

Ковариация

Когда в вероятностном пространстве определены две или более случайных величин, полезно описать, как они изменяются вместе; то есть полезно измерить взаимосвязь между переменными. Общей мерой связи между двумя случайными величинами является ковариация. Ковариация — это мера линейной связи между случайными величинами. Если взаимосвязь между случайными переменными нелинейна, ковариация может быть нечувствительна к взаимосвязи, а это означает, что она не связывает корреляцию между двумя переменными.

Ковариация между случайной величиной X и Y, обозначаемая как cov(X,Y), равна:

$\sigma _{XY}=E[(X-\mu _{x})(Y-\mu _{y})]=E(XY)-\mu _{x}\mu _{y}$

Корреляция

Существует еще одна мера связи между двумя случайными величинами, которую зачастую легче интерпретировать, чем ковариация.

Корреляция просто масштабирует ковариацию на произведение стандартного отклонения каждой переменной. Следовательно, корреляция представляет собой безразмерную величину, с помощью которой можно сравнивать линейные зависимости между парами переменных в разных единицах измерения. Если точки совместного распределения вероятностей X и Y, которые получают положительную вероятность, имеют тенденцию падать вдоль линии положительного (или отрицательного) наклона, ρ _XY будет близок к +1 (или -1). Если ρ _XY равно +1 или -1, можно показать, что точки совместного распределения вероятностей, получившие положительную вероятность, падают точно вдоль прямой линии. Говорят, что две случайные величины с ненулевой корреляцией коррелируют. Подобно ковариации, корреляция является мерой линейной связи между случайными величинами.

Корреляция между случайной величиной X и Y, обозначаемая как

$\rho _{XY}={\frac {cov(X,Y)}{\sqrt {V(X)V(Y)}}}={\frac {\sigma _{XY}}{\sigma _{X}\sigma _{Y}}}$

Важные именованные дистрибутивы

Названные совместные распределения, которые часто возникают в статистике, включают многомерное нормальное распределение , многомерное стабильное распределение , полиномиальное распределение , отрицательное полиномиальное распределение , многомерное гипергеометрическое распределение и эллиптическое распределение .

См. также

• Байесовское программирование
• Дерево Чоу-Лю
• Условная вероятность
• Копула (теория вероятностей)
• Теорема о дезинтеграции
• Многомерная статистика
• Статистическая интерференция
• Попарно независимое распределение

Внешние ссылки

• «Совместное распространение» , Математическая энциклопедия , EMS Press , 2001 [1994]
• «Многомерное распределение» , Математическая энциклопедия , EMS Press , 2001 [1994]
• Современное введение в вероятность и статистику: понимание почему и как . Деккинг, Мишель (1946 г.р.). Лондон: Спрингер. 2005. ISBN   978-1-85233-896-1 . ОСЛК 262680588.
• «Совместная функция непрерывной плотности» . ПланетаМатематика .
• Mathworld: совместная функция распределения