Условная независимость

См. также: Условная зависимость.

В теории вероятностей условная независимость описывает ситуации, когда наблюдение нерелевантно или избыточно при оценке достоверности гипотезы. Условная независимость обычно формулируется в терминах условной вероятности как особого случая, когда вероятность гипотезы при неинформативном наблюдении равна вероятности без него. Если $A$ это гипотеза, и $B$ и $C$ являются наблюдениями, условную независимость можно сформулировать как равенство:

$P(A\mid B,C)=P(A\mid C)$

где $P(A\mid B,C)$ это вероятность $A$ учитывая оба $B$ и $C$. Поскольку вероятность $A$ данный $C$ то же самое, что вероятность $A$ учитывая оба $B$ и $C$, это равенство выражает то, что $B$ ничего не способствует уверенности в $A$. В этом случае, $A$ и $B$ называются условно независимыми, если $C$, символически записанный как: $(A\perp \!\!\!\perp B\mid C)$. На языке обозначений причинного равенства две функции $f(y)$ и $g(y)$ которые оба зависят от общей переменной $y$ описываются как условно независимые с использованием обозначения $f\left(y\right)~{\overset {\curvearrowleft \curvearrowright }{=}}~g\left(y\right)$, что эквивалентно обозначению $P(f\mid g,y)=P(f\mid y)$.

Концепция условной независимости важна для теорий статистического вывода, основанных на графах, поскольку она устанавливает математическую связь между набором условных утверждений и графоидом .

Условная независимость событий

Позволять $A$, $B$, и $C$ быть событиями . $A$ и $B$ называются условно независимыми, если $C$ тогда и только тогда, когда $P(C)>0$ и:

$P(A\mid B,C)=P(A\mid C)$

Это свойство часто пишут: $(A\perp \!\!\!\perp B\mid C)$, который следует прочитать $((A\perp \!\!\!\perp B)\vert C)$.

Эквивалентно, условная независимость может быть сформулирована как:

$P(A,B|C)=P(A|C)P(B|C)$

где $P(A,B|C)$ это совместная вероятность $A$ и $B$ данный $C$. Эта альтернативная формулировка гласит, что $A$ и $B$ являются независимыми событиями , учитывая $C$.

Это демонстрирует, что $(A\perp \!\!\!\perp B\mid C)$ эквивалентно $(B\perp \!\!\!\perp A\mid C)$.

Доказательство

$P(A,B\mid C)=P(A\mid C)P(B\mid C)$

если только ${\frac {P(A,B,C)}{P(C)}}=\left({\frac {P(A,C)}{P(C)}}\right)\left({\frac {P(B,C)}{P(C)}}\right)$ (определение условной вероятности )

если только $P(A,B,C)={\frac {P(A,C)P(B,C)}{P(C)}}$ (умножить обе части на $P(C)$)

если только ${\frac {P(A,B,C)}{P(B,C)}}={\frac {P(A,C)}{P(C)}}$ (разделим обе части на $P(B,C)$)

если только $P(A\mid B,C)=P(A\mid C)$ (определение условной вероятности) $\therefore$

Примеры

Цветные коробки

Каждая ячейка представляет возможный результат. События $\color {red}R$, $\color {blue}B$ и $\color {gold}Y$ представлены областями, заштрихованными красным , синим и желтым соответственно. Перекрытие между событиями $\color {red}R$ и $\color {blue}B$ имеет фиолетовый оттенок .

Вероятности этих событий представлены заштрихованными областями относительно общей площади. В обоих примерах $\color {red}R$ и $\color {blue}B$ условно независимы, учитывая $\color {gold}Y$ потому что:

$\Pr({\color {red}R},{\color {blue}B}\mid {\color {gold}Y})=\Pr({\color {red}R}\mid {\color {gold}Y})\Pr({\color {blue}B}\mid {\color {gold}Y})$

но не является условно независимым с учетом $\left[{\text{not }}{\color {gold}Y}\right]$ потому что:

$\Pr({\color {red}R},{\color {blue}B}\mid {\text{not }}{\color {gold}Y})\not =\Pr({\color {red}R}\mid {\text{not }}{\color {gold}Y})\Pr({\color {blue}B}\mid {\text{not }}{\color {gold}Y})$

Близость и задержки

Пусть события A и B определяются как вероятность того, что человек A и человек B вернутся домой к ужину, причем оба человека случайным образом выбираются со всего мира. Можно предположить, что события A и B независимы, т.е. знание того, что A опаздывает, практически не влияет на вероятность опоздания B. Однако если введено третье событие, человек А и человек Б живут в одном районе, то эти два события теперь не считаются условно независимыми. Дорожные условия и погодные явления, которые могут задержать человека А, могут также задержать человека Б. Учитывая третье событие и знание того, что человек А опоздал, вероятность того, что человек Б опоздает, существенно изменится.

Бросок кубиков

Условная независимость зависит от характера третьего события. Если вы бросите два кубика, можно предположить, что они ведут себя независимо друг от друга. Просмотр результатов одной кости не скажет вам о результате второй кости. (То есть два кубика независимы.) Однако если результат первого кубика равен 3, а кто-то говорит вам о третьем событии (что сумма двух результатов четная), то эта дополнительная единица информации ограничивает результат. варианты 2-го результата до нечетного числа. Другими словами, два события могут быть независимыми, но НЕ условно независимыми.

Рост и словарный запас

Рост и словарный запас зависят от этого, поскольку очень маленькие люди, как правило, являются детьми, известными своим более простым словарным запасом. Но зная, что двум людям 19 лет (т.е. в зависимости от возраста), нет оснований думать, что словарный запас одного человека больше, если нам говорят, что он выше ростом.

Условная независимость случайных величин

Две дискретные случайные величины $X$ и $Y$ условно независимы с учетом третьей дискретной случайной величины $Z$ тогда и только тогда, когда они независимы в своем условном распределении вероятностей, заданном $Z$. То есть, $X$ и $Y$ условно независимы, учитывая $Z$ тогда и только тогда, когда при любом значении $Z$, распределение вероятностей $X$ одинаково для всех значений $Y$ и распределение вероятностей $Y$ одинаково для всех значений $X$. Формально:

$(X\perp \!\!\!\perp Y)\mid Z\quad \iff \quad F_{X,Y\,\mid \,Z\,=\,z}(x,y)=F_{X\,\mid \,Z\,=\,z}(x)\cdot F_{Y\,\mid \,Z\,=\,z}(y)\quad {\text{for all }}x,y,z$ ( Уравнение 2 )

где $F_{X,Y\,\mid \,Z\,=\,z}(x,y)=\Pr(X\leq x,Y\leq y\mid Z=z)$ – условная кумулятивная функция распределения $X$ и $Y$ данный $Z$.

Два события $R$ и $B$ условно независимы, если задана σ-алгебра $\Sigma$ если

$\Pr(R,B\mid \Sigma )=\Pr(R\mid \Sigma )\Pr(B\mid \Sigma ){\text{ a.s.}}$

где $\Pr(A\mid \Sigma )$ обозначает условное ожидание индикаторной функции события $A$, $\chi _{A}$, учитывая сигма-алгебру $\Sigma$. То есть,

$\Pr(A\mid \Sigma ):=\operatorname {E} [\chi _{A}\mid \Sigma ].$

Две случайные величины $X$ и $Y$ условно независимы, если задана σ-алгебра $\Sigma$ если приведенное выше уравнение справедливо для всех $R$ в $\sigma (X)$ и $B$ в $\sigma (Y)$.

Две случайные величины $X$ и $Y$ условно независимы с учетом случайной величины $W$ если они независимы при условии σ ( W ): σ-алгебра, порожденная $W$. Обычно пишут:

$X\perp \!\!\!\perp Y\mid W$ или

$X\perp Y\mid W$

Это было написано " $X$ не зависит от $Y$, данный $W$"; условие применимо ко всему утверждению: "( $X$ не зависит от $Y$) данный $W$".

$(X\perp \!\!\!\perp Y)\mid W$

Это обозначение расширяет $X\perp \!\!\!\perp Y$ для " $X$ не зависит от $Y$."

Если $W$ предполагает счетное множество значений, это эквивалентно условной независимости X и Y для событий вида $[W=w]$.Аналогично определяется условная независимость более двух событий или более двух случайных величин.

Следующие два примера показывают, что $X\perp \!\!\!\perp Y$ не подразумевается и не подразумевается $(X\perp \!\!\!\perp Y)\mid W$.

Во-первых, предположим $W$ равно 0 с вероятностью 0,5 и 1 в противном случае. При W = 0 возьмем $X$ и $Y$ быть независимыми, каждый из которых имеет значение 0 с вероятностью 0,99 и значение 1 в противном случае. Когда $W=1$, $X$ и $Y$ снова независимы, но на этот раз принимают значение 1 с вероятностью 0,99. Затем $(X\perp \!\!\!\perp Y)\mid W$. Но $X$ и $Y$ зависимы, поскольку Pr( X = 0) < Pr( X = 0| Y = 0). Это потому, что Pr( X = 0) = 0,5, но если Y = 0, то весьма вероятно, что W = 0 и, следовательно, X = 0, поэтому Pr( X = 0 | Y = 0) > 0,5.

Для второго примера предположим $X\perp \!\!\!\perp Y$, каждый из которых принимает значения 0 и 1 с вероятностью 0,5. Позволять $W$ быть продуктом $X\cdot Y$. Тогда, когда $W=0$, Pr( X = 0) = 2/3, но Pr( X = 0| Y = 0) = 1/2, поэтому $(X\perp \!\!\!\perp Y)\mid W$ является ложным.Это также пример объяснения. См. учебник Кевина Мерфи. где $X$ и $Y$ возьмите ценности «умный» и «спортивный».

Условная независимость случайных векторов

Два случайных вектора $\mathbf {X} =(X_{1},\ldots ,X_{l})^{\mathrm {T} }$ и $\mathbf {Y} =(Y_{1},\ldots ,Y_{m})^{\mathrm {T} }$ условно независимы при наличии третьего случайного вектора $\mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathrm {T} }$ тогда и только тогда, когда они независимы в своем условном кумулятивном распределении, заданном $\mathbf {Z}$. Формально:

$(\mathbf {X} \perp \!\!\!\perp \mathbf {Y} )\mid \mathbf {Z} \quad \iff \quad F_{\mathbf {X} ,\mathbf {Y} |\mathbf {Z} =\mathbf {z} }(\mathbf {x} ,\mathbf {y} )=F_{\mathbf {X} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} )\cdot F_{\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {y} )\quad {\text{for all }}\mathbf {x} ,\mathbf {y} ,\mathbf {z}$ ( Уравнение 3 )

где $\mathbf {x} =(x_{1},\ldots ,x_{l})^{\mathrm {T} }$, $\mathbf {y} =(y_{1},\ldots ,y_{m})^{\mathrm {T} }$ и $\mathbf {z} =(z_{1},\ldots ,z_{n})^{\mathrm {T} }$ а условные кумулятивные распределения определяются следующим образом.

${\begin{aligned}F_{\mathbf {X} ,\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} ,\mathbf {y} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l},Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {X} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {y} )&=\Pr(Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\end{aligned}}$

в

Пусть p — доля избирателей, которые проголосуют «за» на предстоящем референдуме . При проведении опроса общественного мнения случайным образом выбираются n избирателей из числа населения. Для i = 1, ..., n пусть X _i ли i- = 1 или 0 соответствует, соответственно, тому , будет й выбранный избиратель голосовать «за» или нет.

При частотном подходе к статистическому выводу нельзя приписывать p какое-либо распределение вероятностей (если только вероятности не могут быть каким-то образом интерпретированы как относительная частота возникновения какого-либо события или как доля некоторой популяции) и можно было бы сказать, что X ₁ ,... , X _n — независимые случайные величины.

Напротив, в байесовском подходе к статистическому выводу можно было бы приписать распределение вероятностей p p независимо от отсутствия какой-либо такой «частотной» интерпретации, и можно было бы истолковать вероятности как степени уверенности в том, что находится в любом интервале которому присвоена вероятность. В этой модели случайные величины X ₁ , ..., X _n являются не независимыми, но они являются условно независимыми с учетом значения p . В частности, если наблюдается большое количество X, равное 1, это будет означать высокую условную вероятность , учитывая это наблюдение, что p близко к 1, и, следовательно, высокую условную вероятность , учитывая это наблюдение, что следующий X наблюдаемый будет равен 1.

Правила условной независимости

Набор правил, регулирующих заявления об условной независимости, был получен из базового определения.

Эти правила получили название « графоида Аксиомы ».Перл и Паз, потому что они выполняются в графах, где $X\perp \!\!\!\perp A\mid B$ интерпретируется как означающее: «Все пути от X до A перехватываются множеством B ».

Симметрия

$X\perp \!\!\!\perp Y\quad \Rightarrow \quad Y\perp \!\!\!\perp X$

Доказательство:

Заметим, что нам необходимо доказать, что $P(X|Y)=P(X)$ затем $P(Y|X)=P(Y)$. Обратите внимание, что если $P(X|Y)=P(X)$ тогда это можно будет показать $P(X,Y)=P(X)P(Y)$. Поэтому $P(Y|X)=P(X,Y)/P(X)=P(X)P(Y)/P(X)=P(Y)$ по мере необходимости.

Разложение

$X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\\X\perp \!\!\!\perp B\end{cases}}$

Доказательство

• $p_{X,A,B}(x,a,b)=p_{X}(x)p_{A,B}(a,b)$ (значение $X\perp \!\!\!\perp A,B$)
• $\int _{B}p_{X,A,B}(x,a,b)\,db=\int _{B}p_{X}(x)p_{A,B}(a,b)\,db$ (игнорируйте переменную B, интегрируя ее)
• $p_{X,A}(x,a)=p_{X}(x)p_{A}(a)$     

показывает независимость X и B. Аналогичное доказательство

Слабый союз

$X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\mid A\end{cases}}$

Доказательство

• По предположению, $\Pr(X)=\Pr(X\mid A,B)$.
• Благодаря свойству разложения $X\perp \!\!\!\perp B$, $\Pr(X)=\Pr(X\mid B)$.
• Объединение двух приведенных выше равенств дает $\Pr(X\mid B)=\Pr(X\mid A,B)$, который устанавливает $X\perp \!\!\!\perp A\mid B$.

Второе условие доказывается аналогично.

Сокращение

$\left.{\begin{aligned}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\end{aligned}}\right\}{\text{ and }}\quad \Rightarrow \quad X\perp \!\!\!\perp A,B$

Доказательство

Это свойство можно доказать, заметив $\Pr(X\mid A,B)=\Pr(X\mid B)=\Pr(X)$, каждое равенство которого утверждается $X\perp \!\!\!\perp A\mid B$ и $X\perp \!\!\!\perp B$, соответственно.

Перекресток

Для строго положительных распределений вероятностей также имеет место следующее:

$\left.{\begin{aligned}X\perp \!\!\!\perp Y\mid Z,W\\X\perp \!\!\!\perp W\mid Z,Y\end{aligned}}\right\}{\text{ and }}\quad \Rightarrow \quad X\perp \!\!\!\perp W,Y\mid Z$

Доказательство

По предположению:

$P(X|Z,W,Y)=P(X|Z,W)\land P(X|Z,W,Y)=P(X|Z,Y)\implies P(X|Z,Y)=P(X|Z,W)$

Используя это равенство вместе с законом полной вероятности, примененным к $P(X|Z)$:

${\begin{aligned}P(X|Z)&=\sum _{w\in W}P(X|Z,W=w)P(W=w|Z)\\[4pt]&=\sum _{w\in W}P(X|Y,Z)P(W=w|Z)\\[4pt]&=P(X|Z,Y)\sum _{w\in W}P(W=w|Z)\\[4pt]&=P(X|Z,Y)\end{aligned}}$

С $P(X|Z,W,Y)=P(X|Z,Y)$ и $P(X|Z,Y)=P(X|Z)$, отсюда следует, что $P(X|Z,W,Y)=P(X|Z)\iff X\perp \!\!\!\perp Y,W|Z$.

Техническое примечание: поскольку эти выводы справедливы для любого вероятностного пространства, они все равно будут справедливы, если рассматривать подвселенную, обуславливая все другой переменной, скажем K. , Например, $X\perp \!\!\!\perp Y\Rightarrow Y\perp \!\!\!\perp X$ также будет означать, что $X\perp \!\!\!\perp Y\mid K\Rightarrow Y\perp \!\!\!\perp X\mid K$.

См. также

• графоид
• Условная зависимость
• теории Финетти
• Условное ожидание

Внешние ссылки

• СМИ, связанные с условной независимостью, на Викискладе?