Закон полной дисперсии

В теории вероятностей действует закон полной дисперсии. или формула разложения дисперсии , или формулы условной дисперсии , или закон повторяющихся дисперсий, также известный как закон Евы , утверждает, что если $X$ и $Y$ являются случайными величинами одном и том же вероятностном пространстве , а дисперсия в $Y$ конечно, то

$$\operatorname {Var} (Y)=\operatorname {E} [\operatorname {Var} (Y\mid X)]+\operatorname {Var} (\operatorname {E} [Y\mid X]).$$

На языке, возможно, более известном статистикам, чем теоретикам вероятности, эти два термина представляют собой «необъяснимые» и «объяснимые» компоненты дисперсии соответственно (ср. необъяснимая доля дисперсии , объясненная вариация ). В актуарной науке , особенно в теории правдоподобия , первый компонент называется ожидаемым значением дисперсии процесса ( EVPV ), а второй — дисперсией гипотетических средних значений ( VHM ). Эти два компонента также являются источником термина «закон Евы», от инициалов EV VE, означающих «ожидание отклонения» и «отклонение ожидания».

Объяснение

Чтобы понять приведенную выше формулу, нам нужно понять случайные величины $\operatorname {E} [Y|X]$ и $\operatorname {Var} (Y|X)$. Эти переменные зависят от значения $X$: для данного $x$, $\operatorname {E} [Y|X=x]$ и $\operatorname {Var} (Y|X=x)$ являются постоянными числами. По сути, мы используем возможные значения $X$ сгруппировать результаты, а затем вычислить ожидаемые значения и дисперсии для каждой группы.

«Необъяснимый» компонент $\operatorname {E} (\operatorname {Var} [Y|X])$ это просто среднее всех дисперсий $Y$ внутри каждой группы.«Объясняемый» компонент $\operatorname {Var} (\operatorname {E} [Y|X])$ представляет собой дисперсию ожидаемых значений, т. е. представляет собой ту часть дисперсии, которая объясняется изменением среднего значения $Y$ для каждой группы.

Вес собак по породам

В качестве иллюстрации рассмотрим пример выставки собак (отрывок из Analysis_of_variance#Example ). Пусть случайная величина $Y$ соответствуют весу собаки и $X$ соответствуют породе. В этой ситуации разумно ожидать, что порода объясняет большую часть различий в весе, поскольку существует большая разница в среднем весе пород. Конечно, некоторая разница в весе у каждой породы все же существует, что учитывается в «необъяснимом» термине.

Обратите внимание, что термин «объясненный» на самом деле означает «объясненный средними значениями». Если отклонения для каждого фиксированного $X$ (например, для каждой породы в приведенном выше примере) очень различны, эти различия по-прежнему объединяются в «необъяснимый» термин.

Примеры

Пример 1

Пять аспирантов сдают экзамен по шкале от 0 до 100. Пусть $Y$ обозначают оценку ученика и $X$ укажите, является ли студент иностранным или отечественным. Данные суммируются следующим образом:

Студент	$Y$	$X$
1	20	Международный
2	30	Международный
3	100	Международный
4	40	Одомашненный
5	60	Одомашненный

Среди иностранных студентов среднее значение составляет $\operatorname {E} [Y|X={\text{International}}]=50$ и дисперсия $\operatorname {Var} (Y|X={\text{International}})={\frac {3800}{3}}=1266.{\overline {6}}$.

Среди отечественных студентов среднее значение составляет $\operatorname {E} [Y|X={\text{Domestic}}]=50$ и дисперсия $\operatorname {Var} (Y|X={\text{Domestic}})=100$.

$X$	$P(X)$	$\operatorname {E} [Y|X]$	$\operatorname {Var} (Y|X)$
Международный	3/5	50	1266.6
Одомашненный	2/5	50	100

Часть дисперсии $Y$ «необъяснимый» $X$ является средним значением дисперсий для каждой группы. В данном случае это $\left({\frac {3}{5}}\right)\left({\frac {3800}{3}}\right)+\left({\frac {2}{5}}\right)(100)=800$. Часть дисперсии $Y$ "объяснил" $X$ это дисперсия средств $Y$ внутри каждой группы, определяемой значениями $X$. В данном случае оно равно нулю, поскольку среднее значение одинаково для каждой группы. Таким образом, общая вариация равна

$\operatorname {Var} (Y)=\operatorname {E} [\operatorname {Var} (Y|X)]+\operatorname {Var} (\operatorname {E} [Y|X])=800+0=800.$

Пример 2

Предположим, X — это подбрасывание монеты с вероятностью выпадения орла h . Предположим, что когда X = решка , то Y извлекается из нормального распределения со средним значением µ _t и стандартным отклонением σ _h , а когда X = решка , тогда Y извлекается из нормального распределения со средним значением µ _t и стандартным отклонением σ _t . Тогда первый, «необъяснимый» член в правой части приведенной выше формулы представляет собой средневзвешенное значение дисперсий hσ _h ² + (1 - час ) σ _т ² , а второй, «объясненный» член — это дисперсия распределения, которое дает µ _h с вероятностью h и дает µ _t с вероятностью 1 − h .

Формулировка

Существует общая формула разложения дисперсии для $c\geq 2$ компоненты (см. ниже). Например, с двумя обусловливающими случайными величинами:

$$\operatorname {Var} [Y]=\operatorname {E} \left[\operatorname {Var} \left(Y\mid X_{1},X_{2}\right)\right]+\operatorname {E} [\operatorname {Var} (\operatorname {E} \left[Y\mid X_{1},X_{2}\right]\mid X_{1})]+\operatorname {Var} (\operatorname {E} \left[Y\mid X_{1}\right]),$$

что следует из закона полной условной дисперсии:

$$\operatorname {Var} (Y\mid X_{1})=\operatorname {E} \left[\operatorname {Var} (Y\mid X_{1},X_{2})\mid X_{1}\right]+\operatorname {Var} \left(\operatorname {E} \left[Y\mid X_{1},X_{2}\right]\mid X_{1}\right).$$

Обратите внимание, что условное ожидаемое значение $\operatorname {E} (Y\mid X)$ представляет собой случайную величину, значение которой зависит от значения $X.$ Обратите внимание, что условное ожидаемое значение $Y$ учитывая событие $X=x$ является функцией $x$ (именно здесь становится важным соблюдение общепринятых и строго чувствительных к регистру обозначений теории вероятностей!). Если мы напишем $\operatorname {E} (Y\mid X=x)=g(x)$ тогда случайная величина $\operatorname {E} (Y\mid X)$ это просто $g(X).$ Аналогичные комментарии применимы и к условной дисперсии .

Один особый случай (аналогичный закону полного ожидания ) гласит, что если $A_{1},\ldots ,A_{n}$ является разбиением всего пространства исходов, то есть эти события взаимоисключающие и исчерпывающие, то

$${\begin{aligned}\operatorname {Var} (X)={}&\sum _{i=1}^{n}\operatorname {Var} (X\mid A_{i})\Pr(A_{i})+\sum _{i=1}^{n}\operatorname {E} [X\mid A_{i}]^{2}(1-\Pr(A_{i}))\Pr(A_{i})\\[4pt]&{}-2\sum _{i=2}^{n}\sum _{j=1}^{i-1}\operatorname {E} [X\mid A_{i}]\Pr(A_{i})\operatorname {E} [X\mid A_{j}]\Pr(A_{j}).\end{aligned}}$$

В этой формуле первый компонент — это математическое ожидание условной дисперсии; два других компонента представляют собой дисперсию условного ожидания.

Доказательство

Конечный случай

Позволять $(x_{1},y_{1}),\ldots ,(x_{n},y_{n})$ наблюдаться значения $(X,Y)$, с повторами.

Набор ${\bar {y}}=\operatorname {E} [Y]$ и для каждого возможного значения $x$ из $X$, набор ${\bar {y}}_{x_{i}}=\operatorname {E} [Y|X=x_{i}]$.

Обратите внимание, что

$(y_{i}-{\bar {y}})^{2}=\left(y_{i}-{\bar {y}}_{x_{i}}+{\bar {y}}_{x_{i}}-{\bar {y}}\right)^{2}=(y_{i}-{\bar {y}}_{x_{i}})^{2}+({\bar {y}}_{x_{i}}-{\bar {y}})^{2}+2(y_{i}-{\bar {y}}_{x_{i}})({\bar {y}}_{x_{i}}-{\bar {y}}).$

Суммируя это для $1\leq i\leq n$, последняя посылка становится

$\sum _{i=1}^{n}2(y_{i}-{\bar {y}}_{x_{i}})({\bar {y}}_{x_{i}}-{\bar {y}})=2\sum _{x}\left(\sum _{\{1\leq i\leq n|x_{i}=x\}}(y_{i}-{\bar {y}}_{x})\right)({\bar {y}}_{x}-{\bar {y}})=2\sum _{x}0\cdot ({\bar {y}}_{x}-{\bar {y}})=0.$

Следовательно,

$\operatorname {Var} (Y)={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\bar {y}}_{x_{i}})^{2}+{\frac {1}{n}}\sum _{i=1}^{n}({\bar {y}}_{x_{i}}-{\bar {y}})^{2}=\operatorname {E} [\operatorname {Var} (Y\mid X)]+\operatorname {Var} (\operatorname {E} [Y\mid X]).$

Общий случай

Закон полной дисперсии можно доказать, используя закон полного ожидания . Первый,

$$\operatorname {Var} (Y)=\operatorname {E} \left[Y^{2}\right]-\operatorname {E} [Y]^{2}$$

из определения дисперсии. Опять же, исходя из определения дисперсии и применения закона полного ожидания, мы имеем

$$\operatorname {E} \left[Y^{2}\right]=\operatorname {E} \left[\operatorname {E} [Y^{2}\mid X]\right]=\operatorname {E} \left[\operatorname {Var} (Y\mid X)+\operatorname {E} [Y\mid X]^{2}\right].$$

Теперь перепишем условный второй момент $Y$ с точки зрения его дисперсии и первого момента и примените закон полного ожидания в правой части:

$$\operatorname {E} \left[Y^{2}\right]-\operatorname {E} [Y]^{2}=\operatorname {E} \left[\operatorname {Var} (Y\mid X)+\operatorname {E} [Y\mid X]^{2}\right]-\operatorname {E} [\operatorname {E} [Y\mid X]]^{2}.$$

Поскольку ожидание суммы является суммой ожиданий, теперь эти термины можно перегруппировать:

$$=\left(\operatorname {E} [\operatorname {Var} (Y\mid X)]\right)+\left(\operatorname {E} \left[\operatorname {E} [Y\mid X]^{2}\right]-\operatorname {E} [\operatorname {E} [Y\mid X]]^{2}\right).$$

Наконец, мы признаем члены во втором наборе круглых скобок как дисперсию условного ожидания $\operatorname {E} [Y\mid X]$:

$$=\operatorname {E} [\operatorname {Var} (Y\mid X)]+\operatorname {Var} (\operatorname {E} [Y\mid X]).$$

применимая к динамическим

Следующая формула показывает, как применять общую формулу разложения дисперсии, основанную на теории меры. стохастическим динамическим системам. Позволять $Y(t)$ быть значением системной переменной в момент времени $t.$ Предположим, у нас есть внутренние истории ( естественные фильтрации ) $H_{1t},H_{2t},\ldots ,H_{c-1,t}$, каждый из которых соответствует истории (траектории) другого набора системных переменных. Коллекции не обязательно должны быть непересекающимися. Дисперсия $Y(t)$ можно разложить на все времена $t,$ в $c\geq 2$ компоненты следующим образом:

$${\begin{aligned}\operatorname {Var} [Y(t)]={}&\operatorname {E} (\operatorname {Var} [Y(t)\mid H_{1t},H_{2t},\ldots ,H_{c-1,t}])\\[4pt]&{}+\sum _{j=2}^{c-1}\operatorname {E} (\operatorname {Var} [\operatorname {E} [Y(t)\mid H_{1t},H_{2t},\ldots ,H_{jt}]\mid H_{1t},H_{2t},\ldots ,H_{j-1,t}])\\[4pt]&{}+\operatorname {Var} (\operatorname {E} [Y(t)\mid H_{1t}]).\end{aligned}}$$

Разложение не уникально. Это зависит от порядка обусловленности при последовательном разложении.

Квадрат корреляции и объясненная (или

В случаях, когда $(Y,X)$ таковы, что условное математическое ожидание линейно; то есть в тех случаях, когда

$$\operatorname {E} (Y\mid X)=aX+b,$$

из билинейности ковариации следует, что

$$a={\operatorname {Cov} (Y,X) \over \operatorname {Var} (X)}$$

и

$$b=\operatorname {E} (Y)-{\operatorname {Cov} (Y,X) \over \operatorname {Var} (X)}\operatorname {E} (X)$$

а объясненный компонент дисперсии, разделенный на общую дисперсию, представляет собой просто квадрат корреляции между $Y$ и $X;$ то есть в таких случаях

$${\operatorname {Var} (\operatorname {E} (Y\mid X)) \over \operatorname {Var} (Y)}=\operatorname {Corr} (X,Y)^{2}.$$

Одним из примеров такой ситуации является ситуация, когда $(X,Y)$ имеют двумерное нормальное (гауссово) распределение.

В более общем смысле, когда условное ожидание $\operatorname {E} (Y\mid X)$ является нелинейной функцией $X$

$$\iota _{Y\mid X}={\operatorname {Var} (\operatorname {E} (Y\mid X)) \over \operatorname {Var} (Y)}=\operatorname {Corr} (\operatorname {E} (Y\mid X),Y)^{2},$$

который можно оценить как $R$ в квадрате из нелинейной регрессии $Y$ на $X,$ используя данные, полученные из совместного распределения $(X,Y).$ Когда $\operatorname {E} (Y\mid X)$ имеет распределение Гаусса (и является обратимой функцией $X$), или $Y$ сам по себе имеет (предельное) гауссово распределение, этот объясненный компонент вариации устанавливает нижнюю границу взаимной информации :

$$\operatorname {I} (Y;X)\geq \ln \left([1-\iota _{Y\mid X}]^{-1/2}\right).$$

Высшие моменты

Аналогичный закон для третьего центрального момента $\mu _{3}$ говорит

$$\mu _{3}(Y)=\operatorname {E} \left(\mu _{3}(Y\mid X)\right)+\mu _{3}(\operatorname {E} (Y\mid X))+3\operatorname {cov} (\operatorname {E} (Y\mid X),\operatorname {var} (Y\mid X)).$$

Для высших кумулянтов существует обобщение. См. закон полной кумулятивности .

См. также

• Закон полной ковариации - Формула теории вероятностей - обобщение
• Закон распространения ошибок – Влияние неопределенностей переменных на неопределенность основанной на них функции. Страницы с краткими описаниями целей перенаправления.

Ссылки

• Блицштейн, Джо. «Окончательный обзор Стата 110 (Закон Евы)» (PDF) . stat110.net . Гарвардский университет, факультет статистики . Проверено 9 июля 2014 г.
• Биллингсли, Патрик (1995). Вероятность и мера . Нью-Йорк, штат Нью-Йорк: ISBN John Wiley & Sons, Inc.  0-471-00710-2 . (Задача 34.10(б))