Условное распределение вероятностей

В теории вероятностей и статистике условное распределение вероятностей — это распределение вероятностей, которое описывает вероятность результата при наступлении определенного события. Учитывая две совместно распределенные случайные величины $X$ и $Y$ , вероятностей условное распределение $Y$ данный $X$ это вероятностей распределение $Y$ когда $X$ известно, что это определенное значение; в некоторых случаях условные вероятности могут быть выражены как функции, содержащие неопределенное значение $x$ из $X$ в качестве параметра. Когда оба $X$ и $Y$ являются категориальными переменными , для представления условной вероятности обычно используется таблица условной вероятности. Условное распределение контрастирует с маргинальным распределением случайной величины, которое представляет собой ее распределение без привязки к значению другой переменной.

Если условное распределение $Y$ данный $X$ является непрерывным распределением , то его функция плотности вероятности известна как функция условной плотности . ^[1] Свойства условного распределения, такие как моменты , часто обозначаются соответствующими именами, такими как условное среднее и условное отклонение .

В более общем смысле можно относиться к условному распределению подмножества набора из более чем двух переменных; это условное распределение зависит от значений всех остальных переменных, и если в подмножество включено более одной переменной, то это условное распределение является условным совместным распределением включенных переменных.

Условные дискретные распределения

Для дискретных случайных величин условная функция массы вероятности $Y$ данный $X=x$ можно записать в соответствии с его определением как:

p_{Y|X}(y\mid x)\triangleq P(Y=y\mid X=x)={\frac {P(\{X=x\}\cap \{Y=y\})}{P(X=x)}}\qquad

В связи с возникновением $P(X=x)$ в знаменателе это определено только для ненулевых (следовательно, строго положительных) $P(X=x).$

Связь с распределением вероятностей $X$ данный $Y$ является:

P(Y=y\mid X=x)P(X=x)=P(\{X=x\}\cap \{Y=y\})=P(X=x\mid Y=y)P(Y=y).

Пример

Рассмотрите бросок игральной кости и позвольте $X=1$ если число четное (т. е. 2, 4 или 6) и $X=0$ в противном случае. Кроме того, пусть $Y=1$ если число простое (т. е. 2, 3 или 5) и $Y=0$ в противном случае.

Д	1	2	3	4	5	6
Х	0	1	0	1	0	1
И	0	1	1	0	1	0

Тогда безусловная вероятность того, что $X=1$ равна 3/6 = 1/2 (так как существует шесть возможных бросков игральной кости, из которых три четные), тогда как вероятность того, что $X=1$ при условии $Y=1$ равно 1/3 (поскольку существует три возможных результата выпадения простых чисел — 2, 3 и 5, из которых одно четное).

Условные непрерывные распределения

Аналогично для непрерывных случайных величин условная плотности вероятности функция $Y$ учитывая появление значения $x$ из $X$ можно записать как ^[2]^{: с. 99}

f_{Y\mid X}(y\mid x)={\frac {f_{X,Y}(x,y)}{f_{X}(x)}}\qquad

где $f_{X,Y}(x,y)$ дает соединения плотность $X$ и $Y$ , пока $f_{X}(x)$ дает предельную плотность для $X$ . Также в этом случае необходимо, чтобы $f_{X}(x)>0$ .

Связь с распределением вероятностей $X$ данный $Y$ дается:

f_{Y\mid X}(y\mid x)f_{X}(x)=f_{X,Y}(x,y)=f_{X|Y}(x\mid y)f_{Y}(y).

Концепция условного распределения непрерывной случайной величины не так интуитивна, как может показаться: парадокс Бореля показывает, что условные функции плотности вероятности не обязательно должны быть инвариантными относительно преобразований координат.

Пример

На графике показана двумерная нормальная плотность соединений для случайных величин. $X$ и $Y$ . Чтобы увидеть распределение $Y$ при условии $X=70$ , можно сначала визуализировать линию $X=70$ в $X,Y$ plane , а затем визуализируйте плоскость, содержащую эту линию и перпендикулярную к $X,Y$ самолет. Пересечение этой плоскости с нормальной плотностью сустава, после масштабирования для получения единицы площади под пересечением, представляет собой соответствующую условную плотность $Y$ .

$Y\mid X=70\ \sim \ {\mathcal {N}}\left(\mu _{Y}+{\frac {\sigma _{Y}}{\sigma _{X}}}\rho (70-\mu _{X}),\,(1-\rho ^{2})\sigma _{Y}^{2}\right).$

Отношение к независимости

Случайные переменные $X$ , $Y$ независимы тогда и только тогда , когда условное распределение $Y$ данный $X$ то есть для всех возможных реализаций $X$ , равный безусловному распределению $Y$ . Для дискретных случайных величин это означает $P(Y=y|X=x)=P(Y=y)$ для всех возможных $y$ и $x$ с $P(X=x)>0$ . Для непрерывных случайных величин $X$ и $Y$ , имея функцию плотности соединений , это означает $f_{Y}(y|X=x)=f_{Y}(y)$ для всех возможных $y$ и $x$ с $f_{X}(x)>0$ .

Характеристики

Рассматривается как функция $y$ для данного $x$ , $P(Y=y|X=x)$ является функцией массы вероятности, поэтому сумма по всем $y$ (или интеграл, если это условная плотность вероятности) равен 1. Рассматривается как функция $x$ для данного $y$ , это функция правдоподобия , так что сумма (или интеграл) по всем $x$ не обязательно должно быть 1.

Кроме того, предел совместного распределения может быть выражен как ожидание соответствующего условного распределения. Например, $p_{X}(x)=E_{Y}[p_{X|Y}(x\ |\ Y)]$ .

Теоретико-мерная формулировка

Позволять $(\Omega ,{\mathcal {F}},P)$ быть вероятностным пространством, ${\mathcal {G}}\subseteq {\mathcal {F}}$ а $\sigma$ -поле в ${\mathcal {F}}$ . Данный $A\in {\mathcal {F}}$ , из теоремы Радона-Никодима следует, что существует ^[3] а ${\mathcal {G}}$ -измеримая случайная величина $P(A\mid {\mathcal {G}}):\Omega \to \mathbb {R}$ , называемая условной вероятностью , такая, что $\int _{G}P(A\mid {\mathcal {G}})(\omega )dP(\omega )=P(A\cap G)$ для каждого $G\in {\mathcal {G}}$ , и такая случайная величина однозначно определена с точностью до множеств нулевой вероятности. Условная вероятность называется регулярной , если $\operatorname {P} (\cdot \mid {\mathcal {G}})(\omega )$ является вероятностной мерой $(\Omega ,{\mathcal {F}})$ для всех $\omega \in \Omega$ ае

Особые случаи:

Для тривиальной сигма-алгебры ${\mathcal {G}}=\{\emptyset ,\Omega \}$ , условная вероятность – это постоянная функция $\operatorname {P} \!\left(A\mid \{\emptyset ,\Omega \}\right)=\operatorname {P} (A).$
Если $A\in {\mathcal {G}}$ , затем $\operatorname {P} (A\mid {\mathcal {G}})=1_{A}$ , индикаторная функция (определенная ниже ).

Позволять $X:\Omega \to E$ быть $(E,{\mathcal {E}})$ -значная случайная величина. Для каждого $B\in {\mathcal {E}}$ , определять $\mu _{X\,|\,{\mathcal {G}}}(B\,|\,{\mathcal {G}})=\mathrm {P} (X^{-1}(B)\,|\,{\mathcal {G}}).$ Для любого $\omega \in \Omega$ , функция $\mu _{X\,|{\mathcal {G}}}(\cdot \,|{\mathcal {G}})(\omega ):{\mathcal {E}}\to \mathbb {R}$ называется вероятностей условным распределением $X$ данный ${\mathcal {G}}$ . Если это вероятностная мера $(E,{\mathcal {E}})$ , то он называется регулярным .

Для действительной случайной величины (относительно борелевской $\sigma$ -поле ${\mathcal {R}}^{1}$ на $\mathbb {R}$ ), каждое условное распределение вероятностей является регулярным. ^[4] В этом случае, $E[X\mid {\mathcal {G}}]=\int _{-\infty }^{\infty }x\,\mu (dx,\cdot )$ почти наверняка.

Отношение к условному ожиданию

Для любого мероприятия $A\in {\mathcal {F}}$ , определим индикаторную функцию :

\mathbf {1} _{A}(\omega )={\begin{cases}1\;&{\text{if }}\omega \in A,\\0\;&{\text{if }}\omega \notin A,\end{cases}}

что является случайной величиной. Обратите внимание, что математическое ожидание этой случайной величины равно вероятности самого А :

\operatorname {E} (\mathbf {1} _{A})=\operatorname {P} (A).\;

Учитывая $\sigma$ -поле ${\mathcal {G}}\subseteq {\mathcal {F}}$ , условная вероятность $\operatorname {P} (A\mid {\mathcal {G}})$ представляет собой вариант условного ожидания индикаторной функции для $A$ :

\operatorname {P} (A\mid {\mathcal {G}})=\operatorname {E} (\mathbf {1} _{A}\mid {\mathcal {G}})\;

Ожидание случайной величины по отношению к регулярной условной вероятности равно ее условному математическому ожиданию.

Интерпретация обусловленности сигма-полем

Рассмотрим вероятностное пространство $(\Omega ,{\mathcal {F}},\mathbb {P} )$ и субсигма поле ${\mathcal {A}}\subset {\mathcal {F}}$ .Субсигма поле ${\mathcal {A}}$ можно свободно интерпретировать как содержащее подмножество информации в ${\mathcal {F}}$ . Например, мы можем подумать о $\mathbb {P} (B|{\mathcal {A}})$ как вероятность события $B$ учитывая информацию в ${\mathcal {A}}$ .

Также напомним, что событие $B$ не зависит от субсигма поля ${\mathcal {A}}$ если $\mathbb {P} (B|A)=\mathbb {P} (B)$ для всех $A\in {\mathcal {A}}$ . В целом неверно делать вывод, что информация, содержащаяся в ${\mathcal {A}}$ ничего не говорит нам о вероятности события $B$ происходит. Это можно показать на контрпримере:

Рассмотрим вероятностное пространство на единичном интервале: $\Omega =[0,1]$ . Позволять ${\mathcal {G}}$ — сигма-поле всех счетных множеств и множеств, дополнение к которым счетно. Итак, каждый набор ${\mathcal {G}}$ имеет меру $0$ или $1$ и поэтому не зависит от каждого события в ${\mathcal {F}}$ . Однако обратите внимание, что ${\mathcal {G}}$ также содержит все одноэлементные события в ${\mathcal {F}}$ (те наборы, которые содержат только один $\omega \in \Omega$ ). Итак, зная, какое из событий в ${\mathcal {G}}$ произошло, эквивалентно знанию того, какой именно $\omega \in \Omega$ произошел! Итак, в каком-то смысле, ${\mathcal {G}}$ не содержит никакой информации о ${\mathcal {F}}$ (он от него независим), и в другом смысле он содержит всю информацию в ${\mathcal {F}}$ . ^[5]

См. также

Ссылки

Цитаты

^ Росс, Шелдон М. (1993). Введение в вероятностные модели (Пятое изд.). Сан-Диего: Академическая пресса. стр. 88–91. ISBN 0-12-598455-3 .
^ Пак, Кун Иль (2018). Основы теории вероятности и случайных процессов с приложениями к средствам связи . Спрингер. ISBN 978-3-319-68074-3 .
^ Биллингсли (1995) , с. 430
^ Биллингсли (1995) , с. 439
^ Биллингсли, Патрик (28 февраля 2012 г.). Вероятность и мера . Хобокен, Нью-Джерси: Уайли. ISBN 978-1-118-12237-2 .

Источники

Биллингсли, Патрик (1995). Вероятность и мера (3-е изд.). Нью-Йорк, штат Нью-Йорк: Джон Уайли и сыновья.

[1] Росс, Шелдон М. (1993). Введение в вероятностные модели (Пятое изд.). Сан-Диего: Академическая пресса. стр. 88–91. ISBN 0-12-598455-3 .

[KunIlPark-2] Пак, Кун Иль (2018). Основы теории вероятности и случайных процессов с приложениями к средствам связи . Спрингер. ISBN 978-3-319-68074-3 .

[3] Биллингсли (1995) , с. 430

[4] Биллингсли (1995) , с. 439

[5] Биллингсли, Патрик (28 февраля 2012 г.). Вероятность и мера . Хобокен, Нью-Джерси: Уайли. ISBN 978-1-118-12237-2 .

[1]

[2]

[3]

[4]

[5]