Независимость (теория вероятностей)

Независимость — фундаментальное понятие в теории вероятностей , а также в статистике и теории случайных процессов . Два события независимы статистически , независимы или стохастически независимы. если, неформально говоря, появление одного не влияет на вероятность появления другого или, что то же самое, не влияет на шансы . Аналогично две случайные величины являются независимыми, если реализация одной не влияет на распределение вероятностей другой.

При работе с наборами из более чем двух событий необходимо различать два понятия независимости. События называются попарно независимыми, если любые два события в коллекции независимы друг от друга, тогда как взаимная независимость (или коллективная независимость ) событий означает, неформально говоря, что каждое событие не зависит от любой комбинации других событий в коллекции. Аналогичное понятие существует для наборов случайных величин. Взаимная независимость подразумевает попарную независимость, но не наоборот. В стандартной литературе по теории вероятностей, статистике и случайным процессам независимость без дополнительных уточнений обычно относится к взаимной независимости.

Определение

Для мероприятий

Два события

Два события $A$ и $B$ независимы (часто пишутся как $A\perp B$ или $A\perp \!\!\!\perp B$, где последний символ часто также используется для условной независимости ) тогда и только тогда, когда их совместная вероятность равна произведению их вероятностей:

$\mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B)$ ( Уравнение 1 )

$A\cap B\neq \emptyset$ указывает на то, что два независимых события $A$ и $B$ имеют общие элементы в своем пространстве выборки , так что они не являются взаимоисключающими (взаимоисключающими, если только $A\cap B=\emptyset$). Почему это определяет независимость, становится ясно, если переписать с условными вероятностями. $P(A\mid B)={\frac {P(A\cap B)}{P(B)}}$ как вероятность того, что событие $A$ происходит при условии, что событие $B$ произошло или предположительно произошло:

$\mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B)\iff \mathrm {P} (A\mid B)={\frac {\mathrm {P} (A\cap B)}{\mathrm {P} (B)}}=\mathrm {P} (A).$

и аналогично

$\mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B)\iff \mathrm {P} (B\mid A)={\frac {\mathrm {P} (A\cap B)}{\mathrm {P} (A)}}=\mathrm {P} (B).$

Таким образом, возникновение $B$ не влияет на вероятность $A$, и наоборот. Другими словами, $A$ и $B$ независимы друг от друга. Хотя производные выражения могут показаться более интуитивными, они не являются предпочтительным определением, поскольку условные вероятности могут быть неопределенными, если $\mathrm {P} (A)$ или $\mathrm {P} (B)$ равны 0. Более того, предпочтительное определение в силу симметрии ясно дает понять, что когда $A$ не зависит от $B$, $B$ также не зависит от $A$.

Шансы

С точки зрения шансов , два события независимы тогда и только тогда, когда шансов отношение $A$ и $B$ есть единица (1). Аналогично вероятности, это эквивалентно тому, что условные шансы равны безусловным:

$O(A\mid B)=O(A){\text{ and }}O(B\mid A)=O(B),$

или чтобы шансы на одно событие при условии, что другое событие были такими же, как и шансы на событие, при условии, что другое событие не произошло:

$O(A\mid B)=O(A\mid \neg B){\text{ and }}O(B\mid A)=O(B\mid \neg A).$

Отношение шансов можно определить как

$O(A\mid B):O(A\mid \neg B),$

или симметрично для шансов $B$ данный $A$, и, таким образом, равно 1 тогда и только тогда, когда события независимы.

Более двух событий

Конечный набор событий $\{A_{i}\}_{i=1}^{n}$ если попарно независима, каждая пара событий независима — то есть тогда и только тогда, когда для всех различных пар индексов $m,k$,

$\mathrm {P} (A_{m}\cap A_{k})=\mathrm {P} (A_{m})\mathrm {P} (A_{k})$ ( Уравнение 2 )

Конечное множество событий является взаимно независимым , если каждое событие не зависит от любого пересечения других событий. - то есть тогда и только тогда, когда для каждого $k\leq n$ и для каждых k индексов $1\leq i_{1}<\dots <i_{k}\leq n$,

$\mathrm {P} \left(\bigcap _{j=1}^{k}A_{i_{j}}\right)=\prod _{j=1}^{k}\mathrm {P} (A_{i_{j}})$ ( Уравнение 3 )

Это называется правилом умножения независимых событий. Это не единственное условие, включающее в себя только произведение всех вероятностей всех отдельных событий; оно должно быть справедливым для всех подмножеств событий.

Для более чем двух событий взаимно независимый набор событий (по определению) попарно независим; но обратное не обязательно верно .

журнала и

С точки зрения логарифмической вероятности два события независимы тогда и только тогда, когда логарифмическая вероятность совместного события равна сумме логарифмических вероятностей отдельных событий:

$\log \mathrm {P} (A\cap B)=\log \mathrm {P} (A)+\log \mathrm {P} (B)$

В теории информации вероятность отрицательного журнала интерпретируется как информационное содержание , и, таким образом, два события независимы тогда и только тогда, когда информационное содержание объединенного события равно сумме информационного содержания отдельных событий:

$\mathrm {I} (A\cap B)=\mathrm {I} (A)+\mathrm {I} (B)$

см. в разделе «Информационное содержание § Аддитивность независимых событий» Подробности .

Для действительных случайных величин

Две случайные величины

Две случайные величины $X$ и $Y$ независимы тогда и только тогда, когда элементы порожденной ими π -системы (и только тогда) независимы ; то есть для каждого $x$ и $y$, события $\{X\leq x\}$ и $\{Y\leq y\}$ являются независимыми событиями (как определено выше в уравнении 1 ). То есть, $X$ и $Y$ с кумулятивными функциями распределения $F_{X}(x)$ и $F_{Y}(y)$, независимы тогда и только тогда, когда объединенная случайная величина $(X,Y)$ имеет совместную кумулятивную функцию распределения

$F_{X,Y}(x,y)=F_{X}(x)F_{Y}(y)\quad {\text{for all }}x,y$ ( Уравнение 4 )

или, что то же самое, если плотности вероятности $f_{X}(x)$ и $f_{Y}(y)$ и совместная плотность вероятности $f_{X,Y}(x,y)$ существовать,

$f_{X,Y}(x,y)=f_{X}(x)f_{Y}(y)\quad {\text{for all }}x,y.$

Более двух случайных величин

Конечное множество $n$ случайные величины $\{X_{1},\ldots ,X_{n}\}$ попарно независима тогда и только тогда, когда каждая пара случайных величин независима. Даже если набор случайных величин попарно независим, он не обязательно является взаимно независимым, как определено ниже.

Конечное множество $n$ случайные величины $\{X_{1},\ldots ,X_{n}\}$ тогда взаимно независимы и только тогда, когда для любой последовательности чисел $\{x_{1},\ldots ,x_{n}\}$, события $\{X_{1}\leq x_{1}\},\ldots ,\{X_{n}\leq x_{n}\}$ являются взаимно независимыми событиями (как определено выше в уравнении 3 ). Это эквивалентно следующему условию для совместной кумулятивной функции распределения $F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})$. Конечное множество $n$ случайные величины $\{X_{1},\ldots ,X_{n}\}$ взаимно независимы тогда и только тогда, когда

$F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=F_{X_{1}}(x_{1})\cdot \ldots \cdot F_{X_{n}}(x_{n})\quad {\text{for all }}x_{1},\ldots ,x_{n}$ ( Уравнение 5 )

Здесь нет необходимости требовать, чтобы распределение вероятностей факторизовалось для всех возможных $k$-подмножества элементов, как в случае с $n$ события. Это не требуется, потому что, например, $F_{X_{1},X_{2},X_{3}}(x_{1},x_{2},x_{3})=F_{X_{1}}(x_{1})\cdot F_{X_{2}}(x_{2})\cdot F_{X_{3}}(x_{3})$ подразумевает $F_{X_{1},X_{3}}(x_{1},x_{3})=F_{X_{1}}(x_{1})\cdot F_{X_{3}}(x_{3})$.

Сторонники теории меры могут предпочесть заменить события $\{X\in A\}$ для мероприятий $\{X\leq x\}$ в приведенном выше определении, где $A$ любое множество Бореля . Это определение в точности эквивалентно приведенному выше, когда значения случайных величин являются действительными числами . Его преимущество заключается в том, что он работает также со случайными величинами с комплексными значениями или со случайными величинами, принимающими значения в любом измеримом пространстве (включая топологические пространства, наделенные соответствующими σ-алгебрами).

Для действительных случайных векторов

Два случайных вектора $\mathbf {X} =(X_{1},\ldots ,X_{m})^{\mathrm {T} }$ и $\mathbf {Y} =(Y_{1},\ldots ,Y_{n})^{\mathrm {T} }$ называются независимыми, если

$F_{\mathbf {X,Y} }(\mathbf {x,y} )=F_{\mathbf {X} }(\mathbf {x} )\cdot F_{\mathbf {Y} }(\mathbf {y} )\quad {\text{for all }}\mathbf {x} ,\mathbf {y}$ ( Уравнение 6 )

где $F_{\mathbf {X} }(\mathbf {x} )$ и $F_{\mathbf {Y} }(\mathbf {y} )$ обозначают кумулятивные функции распределения $\mathbf {X}$ и $\mathbf {Y}$ и $F_{\mathbf {X,Y} }(\mathbf {x,y} )$ обозначает их совместную кумулятивную функцию распределения. Независимость $\mathbf {X}$ и $\mathbf {Y}$ часто обозначается $\mathbf {X} \perp \!\!\!\perp \mathbf {Y}$.Написано покомпонентно, $\mathbf {X}$ и $\mathbf {Y}$ называются независимыми, если

$F_{X_{1},\ldots ,X_{m},Y_{1},\ldots ,Y_{n}}(x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n})=F_{X_{1},\ldots ,X_{m}}(x_{1},\ldots ,x_{m})\cdot F_{Y_{1},\ldots ,Y_{n}}(y_{1},\ldots ,y_{n})\quad {\text{for all }}x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n}.$

Для случайных процессов

Для одного случайного процесса

Определение независимости может быть расширено от случайных векторов до случайного процесса . Следовательно, для независимого стохастического процесса требуется, чтобы случайные величины, полученные путем выборки процесса в любой $n$ раз $t_{1},\ldots ,t_{n}$ являются независимыми случайными величинами для любых $n$.

Формально случайный процесс $\left\{X_{t}\right\}_{t\in {\mathcal {T}}}$ называется независимым тогда и только тогда, когда для всех $n\in \mathbb {N}$ и для всех $t_{1},\ldots ,t_{n}\in {\mathcal {T}}$

$F_{X_{t_{1}},\ldots ,X_{t_{n}}}(x_{1},\ldots ,x_{n})=F_{X_{t_{1}}}(x_{1})\cdot \ldots \cdot F_{X_{t_{n}}}(x_{n})\quad {\text{for all }}x_{1},\ldots ,x_{n}$ ( Уравнение 7 )

где $F_{X_{t_{1}},\ldots ,X_{t_{n}}}(x_{1},\ldots ,x_{n})=\mathrm {P} (X(t_{1})\leq x_{1},\ldots ,X(t_{n})\leq x_{n})$. Независимость случайного процесса — это свойство внутри случайного процесса, а не между двумя случайными процессами.

Для двух случайных процессов

Независимость двух случайных процессов - это свойство двух случайных процессов. $\left\{X_{t}\right\}_{t\in {\mathcal {T}}}$ и $\left\{Y_{t}\right\}_{t\in {\mathcal {T}}}$ которые определены в одном и том же вероятностном пространстве $(\Omega ,{\mathcal {F}},P)$. Формально два случайных процесса $\left\{X_{t}\right\}_{t\in {\mathcal {T}}}$ и $\left\{Y_{t}\right\}_{t\in {\mathcal {T}}}$ называются независимыми, если для всех $n\in \mathbb {N}$ и для всех $t_{1},\ldots ,t_{n}\in {\mathcal {T}}$, случайные векторы $(X(t_{1}),\ldots ,X(t_{n}))$ и $(Y(t_{1}),\ldots ,Y(t_{n}))$ независимы, то есть если

$F_{X_{t_{1}},\ldots ,X_{t_{n}},Y_{t_{1}},\ldots ,Y_{t_{n}}}(x_{1},\ldots ,x_{n},y_{1},\ldots ,y_{n})=F_{X_{t_{1}},\ldots ,X_{t_{n}}}(x_{1},\ldots ,x_{n})\cdot F_{Y_{t_{1}},\ldots ,Y_{t_{n}}}(y_{1},\ldots ,y_{n})\quad {\text{for all }}x_{1},\ldots ,x_{n}$ ( Уравнение 8 )

σ

Оба определения, приведенные выше ( уравнение 1 и уравнение 2 ), обобщаются следующим определением независимости σ-алгебр . Позволять $(\Omega ,\Sigma ,\mathrm {P} )$ — вероятностное пространство и пусть ${\mathcal {A}}$ и ${\mathcal {B}}$ — две суб-σ-алгебры $\Sigma$. ${\mathcal {A}}$ и ${\mathcal {B}}$ называются независимыми, если когда бы то ни было $A\in {\mathcal {A}}$ и $B\in {\mathcal {B}}$,

$\mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B).$

Аналогично, конечное семейство σ-алгебр $(\tau _{i})_{i\in I}$, где $I$ является набором индексов , называется независимым тогда и только тогда, когда

$\forall \left(A_{i}\right)_{i\in I}\in \prod \nolimits _{i\in I}\tau _{i}\ :\ \mathrm {P} \left(\bigcap \nolimits _{i\in I}A_{i}\right)=\prod \nolimits _{i\in I}\mathrm {P} \left(A_{i}\right)$

и бесконечное семейство σ-алгебр называется независимым, если все его конечные подсемейства независимы.

Новое определение напрямую связано с предыдущими:

• Два события независимы (в старом смысле) тогда и только тогда, когда порождаемые ими σ-алгебры независимы (в новом смысле). σ-алгебра, порожденная событием $E\in \Sigma$ это, по определению,

$\sigma (\{E\})=\{\emptyset ,E,\Omega \setminus E,\Omega \}.$

• Две случайные величины $X$ и $Y$ определено более $\Omega$ независимы (в старом смысле) тогда и только тогда, когда порождаемые ими σ-алгебры независимы (в новом смысле). σ-алгебра, порожденная случайной величиной $X$ принимая значения в некотором измеримом пространстве $S$ состоит по определению из всех подмножеств $\Omega$ формы $X^{-1}(U)$, где $U$ любое измеримое подмножество $S$.

Используя это определение, легко показать, что если $X$ и $Y$ являются случайными величинами и $Y$ постоянно, то $X$ и $Y$ независимы, поскольку σ-алгебра, порожденная постоянной случайной величиной, является тривиальной σ-алгеброй $\{\varnothing ,\Omega \}$. События с нулевой вероятностью не могут повлиять на независимость, поэтому независимость также имеет место, если $Y$ только Pr- почти наверняка постоянен.

Свойства

Самостоятельность

Обратите внимание, что событие независимо от самого себя тогда и только тогда, когда

$\mathrm {P} (A)=\mathrm {P} (A\cap A)=\mathrm {P} (A)\cdot \mathrm {P} (A)\iff \mathrm {P} (A)=0{\text{ or }}\mathrm {P} (A)=1.$

Таким образом, событие независимо от самого себя тогда и только тогда, когда оно почти наверняка произойдет или его дополнение почти наверняка произойдет; этот факт полезен при доказательстве законов нуля и единицы .

Ожидание и ковариация

Основная статья: Корреляция и зависимость

Если $X$ и $Y$ являются статистически независимыми случайными величинами, то оператор ожидания $\operatorname {E}$ имеет собственность

$\operatorname {E} [X^{n}Y^{m}]=\operatorname {E} [X^{n}]\operatorname {E} [Y^{m}],$

и ковариация $\operatorname {cov} [X,Y]$ равно нулю, как следует из

$\operatorname {cov} [X,Y]=\operatorname {E} [XY]-\operatorname {E} [X]\operatorname {E} [Y].$

Обратное неверно: если две случайные величины имеют ковариацию 0, они все равно не могут быть независимыми.

Смотрите также: Некоррелированность (теория вероятностей)

Аналогично для двух случайных процессов $\left\{X_{t}\right\}_{t\in {\mathcal {T}}}$ и $\left\{Y_{t}\right\}_{t\in {\mathcal {T}}}$: Если они независимы, то они некоррелированы .

Характеристическая функция

Две случайные величины $X$ и $Y$ независимы тогда и только тогда, когда характеристическая функция случайного вектора $(X,Y)$ удовлетворяет

$\varphi _{(X,Y)}(t,s)=\varphi _{X}(t)\cdot \varphi _{Y}(s).$

В частности, характеристическая функция их суммы является произведением их предельных характеристических функций:

$\varphi _{X+Y}(t)=\varphi _{X}(t)\cdot \varphi _{Y}(t),$

хотя обратное утверждение неверно. Случайные величины, удовлетворяющие последнему условию, называются субнезависимыми .

Примеры

Бросок игральных костей

Событие выпадения 6 при первом броске кубика и событие выпадения 6 во второй раз независимы . Напротив, событие выпадения 6 при первом броске кубика и событие, когда сумма чисел, увиденных при первом и втором испытаниях, равна 8, не являются независимыми.

Вытягивание карточек

карт взяты с Если из колоды заменой две карты, то события вытягивания красной карты при первой попытке и события вытягивания красной карты при второй попытке независимы . Напротив, если вытягиваются две карты без из колоды карт замены, события вытягивания красной карты в первой попытке и события вытягивания красной карты во второй попытке не являются независимыми, поскольку колода, в которой была красная карта, не является независимой. У удаленной карты пропорционально меньше красных карточек.

Парная и взаимная независимость

Попарно независимые, но не взаимно независимые события

Взаимонезависимые события

Рассмотрим два показанных вероятностных пространства. В обоих случаях $\mathrm {P} (A)=\mathrm {P} (B)=1/2$ и $\mathrm {P} (C)=1/4$. Случайные величины в первом пространстве попарно независимы, поскольку $\mathrm {P} (A|B)=\mathrm {P} (A|C)=1/2=\mathrm {P} (A)$, $\mathrm {P} (B|A)=\mathrm {P} (B|C)=1/2=\mathrm {P} (B)$, и $\mathrm {P} (C|A)=\mathrm {P} (C|B)=1/4=\mathrm {P} (C)$; но три случайные величины не являются взаимно независимыми. Случайные величины во втором пространстве являются как попарно независимыми, так и взаимно независимыми. Чтобы проиллюстрировать разницу, рассмотрим обусловленность двумя событиями. В попарно независимом случае, хотя любое одно событие не зависит от каждого из двух других в отдельности, оно не является независимым от пересечения двух других:

$\mathrm {P} (A|BC)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {1}{40}}}}={\tfrac {4}{5}}\neq \mathrm {P} (A)$

$\mathrm {P} (B|AC)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {1}{40}}}}={\tfrac {4}{5}}\neq \mathrm {P} (B)$

$\mathrm {P} (C|AB)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {6}{40}}}}={\tfrac {2}{5}}\neq \mathrm {P} (C)$

Однако во взаимно независимом случае

$\mathrm {P} (A|BC)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {1}{16}}}}={\tfrac {1}{2}}=\mathrm {P} (A)$

$\mathrm {P} (B|AC)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {1}{16}}}}={\tfrac {1}{2}}=\mathrm {P} (B)$

$\mathrm {P} (C|AB)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {3}{16}}}}={\tfrac {1}{4}}=\mathrm {P} (C)$

Тройная независимость, но

Можно создать пример с тремя событиями, в котором

$\mathrm {P} (A\cap B\cap C)=\mathrm {P} (A)\mathrm {P} (B)\mathrm {P} (C),$

и все же никакие два из трех событий не являются попарно независимыми (и, следовательно, набор событий не является взаимно независимым). Этот пример показывает, что взаимная независимость включает требования к произведениям вероятностей всех комбинаций событий, а не только отдельных событий, как в этом примере.

Условная независимость

Основная статья: Условная независимость

Для мероприятий

События $A$ и $B$ условно независимы относительно события $C$ когда

$\mathrm {P} (A\cap B\mid C)=\mathrm {P} (A\mid C)\cdot \mathrm {P} (B\mid C)$.

Для случайных величин

Интуитивно, две случайные величины $X$ и $Y$ условно независимы, учитывая $Z$ если однажды $Z$ известно, значение $Y$ не добавляет никакой дополнительной информации о $X$. Например, два измерения $X$ и $Y$ того же базового количества $Z$ не являются независимыми, но они являются условно независимыми при условии, что $Z$ (если только ошибки в двух измерениях как-то не связаны).

Формальное определение условной независимости основано на идее условных распределений . Если $X$, $Y$, и $Z$ являются дискретными случайными величинами , то мы определяем $X$ и $Y$ быть условно независимым, учитывая $Z$ если

$\mathrm {P} (X\leq x,Y\leq y\;|\;Z=z)=\mathrm {P} (X\leq x\;|\;Z=z)\cdot \mathrm {P} (Y\leq y\;|\;Z=z)$

для всех $x$, $y$ и $z$ такой, что $\mathrm {P} (Z=z)>0$. С другой стороны, если случайные величины непрерывны и имеют совместную функцию плотности вероятности $f_{XYZ}(x,y,z)$, затем $X$ и $Y$ условно независимы, учитывая $Z$ если

$f_{XY|Z}(x,y|z)=f_{X|Z}(x|z)\cdot f_{Y|Z}(y|z)$

для всех действительных чисел $x$, $y$ и $z$ такой, что $f_{Z}(z)>0$.

Если дискретный $X$ и $Y$ условно независимы, учитывая $Z$, затем

$\mathrm {P} (X=x|Y=y,Z=z)=\mathrm {P} (X=x|Z=z)$

для любого $x$, $y$ и $z$ с $\mathrm {P} (Z=z)>0$. То есть условное распределение для $X$ данный $Y$ и $Z$ то же самое, что дано $Z$ один. Аналогичное уравнение справедливо для функций условной плотности вероятности в непрерывном случае.

Независимость можно рассматривать как особый вид условной независимости, поскольку вероятность можно рассматривать как своего рода условную вероятность при отсутствии событий.

История

До 1933 года независимость в теории вероятностей определялась устно. Например, де Муавр дал следующее определение: «Два события независимы, когда они не имеют связи одно с другим и что возникновение одного не ускоряет и не препятствует совершению другого». Если имеется n независимых событий, вероятность того, что все они произойдут, вычислялась как произведение вероятностей этих n событий. По-видимому, существовало убеждение, что эта формула является следствием приведенного определения. (Иногда это называли теоремой умножения.) Конечно, доказательство его утверждения не может работать без дальнейших, более формальных неявных предположений.

Определение независимости, данное в этой статье, стало стандартным определением (ныне используемым во всех книгах) после того, как оно появилось в 1933 году как часть аксиоматизации вероятности Колмогорова. Колмогоров приписал это С. Н. Бернштейну и процитировал публикацию, вышедшую на русском языке в 1927 году.

К сожалению, ни Бернштейн, ни Колмогоров не знали о работах Георга Больмана . Больман дал одно и то же определение двум событиям 1901 года. и для n событий 1908 г. В последней статье он подробно изучил свою концепцию. Например, он привел первый пример, показывающий, что попарная независимость не означает взаимной независимости.Даже сегодня Больмана цитируют редко. Дополнительную информацию о его работе можно найти в О вкладе Георга Больмана в теорию вероятностей» статье Ульриха Кренгеля « .

См. также

• Копула (статистика)
• Независимые и одинаково распределенные случайные величины
• Средняя зависимость
• Нормально распределенные и некоррелированные не означают независимости.

Внешние ссылки

• СМИ, связанные с независимостью (теория вероятностей) на Викискладе?