Дисперсия

Эта статья о математической концепции. Чтобы узнать о других значениях, см. «Отклонение (значения)» .

Пример выборок из двух популяций с одинаковым средним значением, но разными дисперсиями. Красная популяция имеет среднее значение 100 и дисперсию 100 (SD=10), тогда как синяя популяция имеет среднее значение 100 и дисперсию 2500 (SD=50), где SD означает стандартное отклонение.

В вероятностей и статистике теории дисперсия — это ожидаемое значение квадрата отклонения от среднего значения величины случайной . Стандартное отклонение (SD) получается как квадратный корень дисперсии. Дисперсия — это мера дисперсии , то есть мера того, насколько далеко набор чисел отклоняется от своего среднего значения. Это второй центральный момент распределения как и ковариация случайной величины сама с собой, и его часто представляют $\sigma ^{2}$, $s^{2}$, $\operatorname {Var} (X)$, $V(X)$, или $\mathbb {V} (X)$.

Преимущество дисперсии как меры дисперсии состоит в том, что она более поддается алгебраическим манипуляциям, чем другие меры дисперсии, такие как ожидаемое абсолютное отклонение ; например, дисперсия суммы некоррелированных случайных величин равна сумме их дисперсий. Недостаток дисперсии для практического применения заключается в том, что, в отличие от стандартного отклонения, ее единицы измерения отличаются от случайной величины, поэтому после завершения расчета стандартное отклонение чаще указывается как мера дисперсии. Еще одним недостатком является то, что дисперсия не является конечной для многих распределений.

Есть два различных понятия, каждое из которых называется «дисперсией». Один из них, как обсуждалось выше, является частью теоретического распределения вероятностей и определяется уравнением. Другая дисперсия является характеристикой набора наблюдений. Когда дисперсия рассчитывается на основе наблюдений, эти наблюдения обычно измеряются на основе реальной системы. Если присутствуют все возможные наблюдения системы, то рассчитанная дисперсия называется генеральной дисперсией. Однако обычно доступна только подгруппа, и рассчитанная на ее основе дисперсия называется выборочной дисперсией. Дисперсия, рассчитанная по выборке, считается оценкой полной дисперсии генеральной совокупности. Существует несколько способов расчета оценки дисперсии генеральной совокупности, как описано в разделе ниже.

Эти два вида дисперсии тесно связаны между собой. Чтобы увидеть, как это сделать, предположим, что теоретическое распределение вероятностей можно использовать в качестве генератора гипотетических наблюдений. Если с использованием распределения генерируется бесконечное количество наблюдений, то выборочная дисперсия, рассчитанная на основе этого бесконечного набора, будет соответствовать значению, рассчитанному с использованием уравнения распределения дисперсии. Дисперсия играет центральную роль в статистике, где некоторые идеи, которые ее используют, включают описательную статистику , статистический вывод , проверку гипотез , степень соответствия и выборку Монте-Карло .

Геометрическая визуализация дисперсии произвольного распределения (2, 4, 4, 4, 5, 5, 7, 9):

1. Построено частотное распределение.
2. Центроид распределения дает его среднее значение.
3. Для каждого значения формируется квадрат со сторонами, равными разнице каждого значения от среднего.
4. Расположение квадратов в прямоугольнике, одна сторона которого равна количеству значений n , приводит к тому, что другая сторона представляет собой дисперсию распределения σ . ² .

Определение

Дисперсия случайной величины $X$ — ожидаемое значение квадрата отклонения от среднего значения $X$, $\mu =\operatorname {E} [X]$:

$\operatorname {Var} (X)=\operatorname {E} \left[(X-\mu )^{2}\right].$

Это определение охватывает случайные величины, которые генерируются дискретными , непрерывными , нивелирующими или смешанными процессами. Дисперсию также можно рассматривать как ковариацию случайной величины самой с собой:

$\operatorname {Var} (X)=\operatorname {Cov} (X,X).$

Дисперсия также эквивалентна второму кумулянту распределения вероятностей, которое генерирует $X$. Отклонение обычно обозначается как $\operatorname {Var} (X)$или иногда как $V(X)$ или $\mathbb {V} (X)$или символически как $\sigma _{X}^{2}$ или просто $\sigma ^{2}$ (произносится как « сигма в квадрате»). Выражение для дисперсии можно расширить следующим образом:

${\begin{aligned}\operatorname {Var} (X)&=\operatorname {E} \left[(X-\operatorname {E} [X])^{2}\right]\\[4pt]&=\operatorname {E} \left[X^{2}-2X\operatorname {E} [X]+\operatorname {E} [X]^{2}\right]\\[4pt]&=\operatorname {E} \left[X^{2}\right]-2\operatorname {E} [X]\operatorname {E} [X]+\operatorname {E} [X]^{2}\\[4pt]&=\operatorname {E} \left[X^{2}\right]-2\operatorname {E} [X]^{2}+\operatorname {E} [X]^{2}\\[4pt]&=\operatorname {E} \left[X^{2}\right]-\operatorname {E} [X]^{2}\end{aligned}}$

Другими словами, дисперсия X равна среднему квадрату X среднего значения X. минус квадрат Это уравнение не следует использовать для вычислений с использованием арифметики с плавающей запятой , поскольку оно страдает от катастрофической отмены, если два компонента уравнения одинаковы по величине. Другие численно стабильные альтернативы см. в разделе «Алгоритмы расчета дисперсии» .

Дискретная случайная величина

Если генератор случайной величины $X$ дискретен с функцией массы вероятности $x_{1}\mapsto p_{1},x_{2}\mapsto p_{2},\ldots ,x_{n}\mapsto p_{n}$, затем

$\operatorname {Var} (X)=\sum _{i=1}^{n}p_{i}\cdot (x_{i}-\mu )^{2},$

где $\mu$ это ожидаемое значение. То есть,

$\mu =\sum _{i=1}^{n}p_{i}x_{i}.$

(Когда такая дискретная взвешенная дисперсия определяется весами, сумма которых не равна 1, тогда происходит деление на сумму весов.)

Дисперсия коллекции $n$ равновозможные значения можно записать как

$\operatorname {Var} (X)={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}$

где $\mu$ это среднее значение. То есть,

$\mu ={\frac {1}{n}}\sum _{i=1}^{n}x_{i}.$

Дисперсия набора $n$ равновозможные значения могут быть эквивалентно выражены, без прямой ссылки на среднее значение, через квадраты отклонений всех попарных квадратов расстояний точек друг от друга:

$\operatorname {Var} (X)={\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}{\frac {1}{2}}(x_{i}-x_{j})^{2}={\frac {1}{n^{2}}}\sum _{i}\sum _{j>i}(x_{i}-x_{j})^{2}.$

Абсолютно непрерывная случайная величина

Если случайная величина $X$ имеет функцию плотности вероятности $f(x)$, и $F(x)$ — соответствующая кумулятивная функция распределения , тогда

${\begin{aligned}\operatorname {Var} (X)=\sigma ^{2}&=\int _{\mathbb {R} }(x-\mu )^{2}f(x)\,dx\\[4pt]&=\int _{\mathbb {R} }x^{2}f(x)\,dx-2\mu \int _{\mathbb {R} }xf(x)\,dx+\mu ^{2}\int _{\mathbb {R} }f(x)\,dx\\[4pt]&=\int _{\mathbb {R} }x^{2}\,dF(x)-2\mu \int _{\mathbb {R} }x\,dF(x)+\mu ^{2}\int _{\mathbb {R} }\,dF(x)\\[4pt]&=\int _{\mathbb {R} }x^{2}\,dF(x)-2\mu \cdot \mu +\mu ^{2}\cdot 1\\[4pt]&=\int _{\mathbb {R} }x^{2}\,dF(x)-\mu ^{2},\end{aligned}}$

или эквивалентно,

$\operatorname {Var} (X)=\int _{\mathbb {R} }x^{2}f(x)\,dx-\mu ^{2},$

где $\mu$ ожидаемое значение $X$ данный

$\mu =\int _{\mathbb {R} }xf(x)\,dx=\int _{\mathbb {R} }x\,dF(x).$

В этих формулах интегралы по $dx$ и $dF(x)$– интегралы Лебега и Лебега–Стилтьеса соответственно.

Если функция $x^{2}f(x)$ интегрируема по Риману на любом конечном интервале $[a,b]\subset \mathbb {R} ,$ затем

$\operatorname {Var} (X)=\int _{-\infty }^{+\infty }x^{2}f(x)\,dx-\mu ^{2},$

где интеграл является несобственным интегралом Римана .

Примеры

Экспоненциальное распределение

Экспоненциальное распределение с параметром λ представляет собой непрерывное распределение, функция плотности вероятности которого определяется выражением

$f(x)=\lambda e^{-\lambda x}$

на интервале [0, ∞) . Можно показать, что его среднее значение равно

$\operatorname {E} [X]=\int _{0}^{\infty }x\lambda e^{-\lambda x}\,dx={\frac {1}{\lambda }}.$

Используя интегрирование по частям и используя уже вычисленное ожидаемое значение, мы имеем:

${\begin{aligned}\operatorname {E} \left[X^{2}\right]&=\int _{0}^{\infty }x^{2}\lambda e^{-\lambda x}\,dx\\&=\left[-x^{2}e^{-\lambda x}\right]_{0}^{\infty }+\int _{0}^{\infty }2xe^{-\lambda x}\,dx\\&=0+{\frac {2}{\lambda }}\operatorname {E} [X]\\&={\frac {2}{\lambda ^{2}}}.\end{aligned}}$

Таким образом, дисперсия X определяется выражением

$\operatorname {Var} (X)=\operatorname {E} \left[X^{2}\right]-\operatorname {E} [X]^{2}={\frac {2}{\lambda ^{2}}}-\left({\frac {1}{\lambda }}\right)^{2}={\frac {1}{\lambda ^{2}}}.$

Справедливо, что

Честный шестигранный кубик можно смоделировать как дискретную случайную величину X с исходами от 1 до 6, каждый из которых имеет равную вероятность 1/6. Ожидаемое значение X равно $(1+2+3+4+5+6)/6=7/2.$ Следовательно, дисперсия X равна

${\begin{aligned}\operatorname {Var} (X)&=\sum _{i=1}^{6}{\frac {1}{6}}\left(i-{\frac {7}{2}}\right)^{2}\\[5pt]&={\frac {1}{6}}\left((-5/2)^{2}+(-3/2)^{2}+(-1/2)^{2}+(1/2)^{2}+(3/2)^{2}+(5/2)^{2}\right)\\[5pt]&={\frac {35}{12}}\approx 2.92.\end{aligned}}$

Общая формула для дисперсии результата X игральной n -сторонней кости:

${\begin{aligned}\operatorname {Var} (X)&=\operatorname {E} \left(X^{2}\right)-(\operatorname {E} (X))^{2}\\[5pt]&={\frac {1}{n}}\sum _{i=1}^{n}i^{2}-\left({\frac {1}{n}}\sum _{i=1}^{n}i\right)^{2}\\[5pt]&={\frac {(n+1)(2n+1)}{6}}-\left({\frac {n+1}{2}}\right)^{2}\\[4pt]&={\frac {n^{2}-1}{12}}.\end{aligned}}$

Часто используемые распределения вероятностей

В следующей таблице перечислены дисперсии для некоторых часто используемых распределений вероятностей.

Название распределения вероятностей	Функция распределения вероятностей	Иметь в виду	Дисперсия
Биномиальное распределение	$\Pr \,(X=k)={\binom {n}{k}}p^{k}(1-p)^{n-k}$	$np$	$np(1-p)$
Геометрическое распределение	$\Pr \,(X=k)=(1-p)^{k-1}p$	${\frac {1}{p}}$	${\frac {(1-p)}{p^{2}}}$
Нормальное распределение	$f\left(x\mid \mu ,\sigma ^{2}\right)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}$	$\mu$	$\sigma ^{2}$
Равномерное распределение (непрерывное)	$f(x\mid a,b)={\begin{cases}{\frac {1}{b-a}}&{\text{for }}a\leq x\leq b,\\[3pt]0&{\text{for }}x<a{\text{ or }}x>b\end{cases}}$	${\frac {a+b}{2}}$	${\frac {(b-a)^{2}}{12}}$
Экспоненциальное распределение	$f(x\mid \lambda )=\lambda e^{-\lambda x}$	${\frac {1}{\lambda }}$	${\frac {1}{\lambda ^{2}}}$
Распределение Пуассона	$f(k\mid \lambda )={\frac {e^{-\lambda }\lambda ^{k}}{k!}}$	$\lambda$	$\lambda$

Характеристики

Основные свойства

Дисперсия неотрицательна, поскольку квадраты положительны или равны нулю:

$\operatorname {Var} (X)\geq 0.$

Дисперсия константы равна нулю.

$\operatorname {Var} (a)=0.$

И наоборот, если дисперсия случайной величины равна 0, то она почти наверняка является константой. То есть оно всегда имеет одно и то же значение:

$\operatorname {Var} (X)=0\iff \exists a:P(X=a)=1.$

Проблемы конечности

Если распределение не имеет конечного ожидаемого значения, как в случае распределения Коши , то дисперсия также не может быть конечной. Однако некоторые распределения могут не иметь конечной дисперсии, несмотря на то, что их ожидаемое значение конечно. Примером является распределение Парето которого , индекс $k$ удовлетворяет $1<k\leq 2.$

Разложение

Общая формула разложения дисперсии или закон полной дисперсии : Если $X$ и $Y$ две случайные величины, а дисперсия $X$ существует, то

$\operatorname {Var} [X]=\operatorname {E} (\operatorname {Var} [X\mid Y])+\operatorname {Var} (\operatorname {E} [X\mid Y]).$

Условное ожидание $\operatorname {E} (X\mid Y)$ из $X$ данный $Y$, и условная дисперсия $\operatorname {Var} (X\mid Y)$ можно понимать следующим образом. Учитывая любое конкретное значение y случайной величины Y , существует условное ожидание $\operatorname {E} (X\mid Y=y)$ учитывая событие Y = y . Эта величина зависит от конкретного значения y ; это функция $g(y)=\operatorname {E} (X\mid Y=y)$. Та же самая функция, оцениваемая по случайной величине Y, представляет собой условное математическое ожидание. $\operatorname {E} (X\mid Y)=g(Y).$

В частности, если $Y$ — дискретная случайная величина, принимающая возможные значения $y_{1},y_{2},y_{3}\ldots$ с соответствующими вероятностями $p_{1},p_{2},p_{3}\ldots ,$, то в формуле полной дисперсии первый член в правой части принимает вид

$\operatorname {E} (\operatorname {Var} [X\mid Y])=\sum _{i}p_{i}\sigma _{i}^{2},$

где $\sigma _{i}^{2}=\operatorname {Var} [X\mid Y=y_{i}]$. Аналогично, второй член в правой части становится

$\operatorname {Var} (\operatorname {E} [X\mid Y])=\sum _{i}p_{i}\mu _{i}^{2}-\left(\sum _{i}p_{i}\mu _{i}\right)^{2}=\sum _{i}p_{i}\mu _{i}^{2}-\mu ^{2},$

где $\mu _{i}=\operatorname {E} [X\mid Y=y_{i}]$ и $\mu =\sum _{i}p_{i}\mu _{i}$. Таким образом, общая дисперсия определяется выражением

$\operatorname {Var} [X]=\sum _{i}p_{i}\sigma _{i}^{2}+\left(\sum _{i}p_{i}\mu _{i}^{2}-\mu ^{2}\right).$

Аналогичная формула применяется при дисперсионном анализе , где соответствующая формула имеет вид

${\mathit {MS}}_{\text{total}}={\mathit {MS}}_{\text{between}}+{\mathit {MS}}_{\text{within}};$

здесь ${\mathit {MS}}$ относится к среднему квадрату. В линейном регрессионном анализе соответствующая формула:

${\mathit {MS}}_{\text{total}}={\mathit {MS}}_{\text{regression}}+{\mathit {MS}}_{\text{residual}}.$

Это также можно вывести из аддитивности дисперсий, поскольку общий (наблюдаемый) балл представляет собой сумму прогнозируемого балла и балла ошибки, причем последние два не коррелируют.

Аналогичные разложения возможны для суммы квадратов отклонений (суммы квадратов, ${\mathit {SS}}$):

${\mathit {SS}}_{\text{total}}={\mathit {SS}}_{\text{between}}+{\mathit {SS}}_{\text{within}},$

${\mathit {SS}}_{\text{total}}={\mathit {SS}}_{\text{regression}}+{\mathit {SS}}_{\text{residual}}.$

Расчет из CDF

Дисперсия генеральной совокупности для неотрицательной случайной величины может быть выражена через кумулятивную функцию распределения F, используя

$2\int _{0}^{\infty }u(1-F(u))\,du-\left(\int _{0}^{\infty }(1-F(u))\,du\right)^{2}.$

Это выражение можно использовать для расчета дисперсии в ситуациях, когда CDF, но не плотность удобно выразить .

Характерное свойство

Второй момент случайной величины достигает минимального значения, если брать его около первого момента (т. е. среднего) случайной величины, т. е. $\mathrm {argmin} _{m}\,\mathrm {E} \left(\left(X-m\right)^{2}\right)=\mathrm {E} (X)$. Обратно, если непрерывная функция $\varphi$ удовлетворяет $\mathrm {argmin} _{m}\,\mathrm {E} (\varphi (X-m))=\mathrm {E} (X)$ для всех случайных величин X то оно обязательно имеет вид $\varphi (x)=ax^{2}+b$, где а > 0 . Это справедливо и в многомерном случае.

Единицы измерения

В отличие от ожидаемого абсолютного отклонения , дисперсия переменной имеет единицы измерения, являющиеся квадратами единиц самой переменной. Например, переменная, измеряемая в метрах, будет иметь отклонение, измеряемое в метрах в квадрате. По этой причине описание наборов данных через их стандартное отклонение или среднеквадратичное отклонение часто предпочтительнее, чем использование дисперсии. В примере с игральными костями стандартное отклонение составляет √ 2,9 ≈ 1,7 , что немного превышает ожидаемое абсолютное отклонение 1,5.

Стандартное отклонение и ожидаемое абсолютное отклонение могут использоваться как индикатор «разброса» распределения. Стандартное отклонение более поддается алгебраическим манипуляциям, чем ожидаемое абсолютное отклонение, и вместе с дисперсией и ее обобщенной ковариацией часто используется в теоретической статистике; однако ожидаемое абсолютное отклонение имеет тенденцию быть более устойчивым, поскольку оно менее чувствительно к выбросам, возникающим из-за аномалий измерений или слишком тяжелого распределения .

Распространение

Сложение и умножение на константу

Дисперсия инвариантна по отношению к изменениям параметра местоположения . То есть, если ко всем значениям переменной добавить константу, дисперсия не изменится:

$\operatorname {Var} (X+a)=\operatorname {Var} (X).$

Если все значения масштабируются по константе, дисперсия масштабируется по квадрату этой константы:

$\operatorname {Var} (aX)=a^{2}\operatorname {Var} (X).$

Дисперсия суммы двух случайных величин определяется выражением

$\operatorname {Var} (aX+bY)=a^{2}\operatorname {Var} (X)+b^{2}\operatorname {Var} (Y)+2ab\,\operatorname {Cov} (X,Y)$

$\operatorname {Var} (aX-bY)=a^{2}\operatorname {Var} (X)+b^{2}\operatorname {Var} (Y)-2ab\,\operatorname {Cov} (X,Y)$

где $\operatorname {Cov} (X,Y)$ это ковариация .

Линейные комбинации

В целом на сумму $N$ случайные величины $\{X_{1},\dots ,X_{N}\}$, дисперсия становится:

$\operatorname {Var} \left(\sum _{i=1}^{N}X_{i}\right)=\sum _{i,j=1}^{N}\operatorname {Cov} (X_{i},X_{j})=\sum _{i=1}^{N}\operatorname {Var} (X_{i})+\sum _{i\neq j}\operatorname {Cov} (X_{i},X_{j}),$

см. также личность генерала Бьенеме .

Эти результаты приводят к дисперсии линейной комбинации как:

${\begin{aligned}\operatorname {Var} \left(\sum _{i=1}^{N}a_{i}X_{i}\right)&=\sum _{i,j=1}^{N}a_{i}a_{j}\operatorname {Cov} (X_{i},X_{j})\\&=\sum _{i=1}^{N}a_{i}^{2}\operatorname {Var} (X_{i})+\sum _{i\not =j}a_{i}a_{j}\operatorname {Cov} (X_{i},X_{j})\\&=\sum _{i=1}^{N}a_{i}^{2}\operatorname {Var} (X_{i})+2\sum _{1\leq i<j\leq N}a_{i}a_{j}\operatorname {Cov} (X_{i},X_{j}).\end{aligned}}$

Если случайные величины $X_{1},\dots ,X_{N}$ таковы, что

$\operatorname {Cov} (X_{i},X_{j})=0\ ,\ \forall \ (i\neq j),$

тогда они называются некоррелированными . Из приведенного ранее выражения сразу следует, что если случайные величины $X_{1},\dots ,X_{N}$ некоррелированы, то дисперсия их суммы равна сумме их дисперсий, или, выражаясь символически:

$\operatorname {Var} \left(\sum _{i=1}^{N}X_{i}\right)=\sum _{i=1}^{N}\operatorname {Var} (X_{i}).$

Поскольку независимые случайные величины всегда некоррелированы (см. Ковариация § Некоррелированность и независимость ), приведенное выше уравнение справедливо, в частности, когда случайные величины $X_{1},\dots ,X_{n}$ независимы. Таким образом, независимости достаточно, но не обязательно, чтобы дисперсия суммы равнялась сумме дисперсий.

Матричное обозначение дисперсии линейной комбинации

Определять $X$ как вектор-столбец $n$ случайные величины $X_{1},\ldots ,X_{n}$, и $c$ как вектор-столбец $n$ скаляры $c_{1},\ldots ,c_{n}$. Поэтому, $c^{\mathsf {T}}X$ представляет собой линейную комбинацию этих случайных величин, где $c^{\mathsf {T}}$ обозначает транспонирование ​ $c$. Также пусть $\Sigma$ быть матрицей ковариационной $X$. Дисперсия $c^{\mathsf {T}}X$ тогда дается:

$\operatorname {Var} \left(c^{\mathsf {T}}X\right)=c^{\mathsf {T}}\Sigma c.$

Это означает, что дисперсию среднего можно записать как (с вектор-столбцом из единиц)

$\operatorname {Var} \left({\bar {x}}\right)=\operatorname {Var} \left({\frac {1}{n}}1'X\right)={\frac {1}{n^{2}}}1'\Sigma 1.$

Сумма переменных

Сумма некоррелирующих переменных

Основная статья: Личность Бьенеме

См. Также: Сумма нормально распределенных случайных величин.

Одна из причин использования дисперсии вместо других мер дисперсии заключается в том, что дисперсия суммы (или разности) некоррелированных случайных величин представляет собой сумму их дисперсий:

$\operatorname {Var} \left(\sum _{i=1}^{n}X_{i}\right)=\sum _{i=1}^{n}\operatorname {Var} (X_{i}).$

Это утверждение называется Бьенеме . формулой и был открыт в 1853 г. переменных Часто это делается с более строгим условием независимости , но достаточно и того, что они не коррелируют. Итак, если все переменные имеют одинаковую дисперсию σ ² , то, поскольку деление на n является линейным преобразованием, из этой формулы сразу следует, что дисперсия их среднего значения равна

$\operatorname {Var} \left({\overline {X}}\right)=\operatorname {Var} \left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)={\frac {1}{n^{2}}}\sum _{i=1}^{n}\operatorname {Var} \left(X_{i}\right)={\frac {1}{n^{2}}}n\sigma ^{2}={\frac {\sigma ^{2}}{n}}.$

То есть дисперсия среднего значения уменьшается с увеличением n . Эта формула дисперсии среднего используется при определении стандартной ошибки выборочного среднего, которая используется в центральной предельной теореме .

Для доказательства исходного утверждения достаточно показать, что

$\operatorname {Var} (X+Y)=\operatorname {Var} (X)+\operatorname {Var} (Y).$

Общий результат затем следует по индукции. Начиная с определения,

${\begin{aligned}\operatorname {Var} (X+Y)&=\operatorname {E} \left[(X+Y)^{2}\right]-(\operatorname {E} [X+Y])^{2}\\[5pt]&=\operatorname {E} \left[X^{2}+2XY+Y^{2}\right]-(\operatorname {E} [X]+\operatorname {E} [Y])^{2}.\end{aligned}}$

Используя линейность оператора ожидания и предположение о независимости (или некоррелированности) X и Y , это еще больше упрощается следующим образом:

${\begin{aligned}\operatorname {Var} (X+Y)&=\operatorname {E} \left[X^{2}\right]+2\operatorname {E} [XY]+\operatorname {E} \left[Y^{2}\right]-\left(\operatorname {E} [X]^{2}+2\operatorname {E} [X]\operatorname {E} [Y]+\operatorname {E} [Y]^{2}\right)\\[5pt]&=\operatorname {E} \left[X^{2}\right]+\operatorname {E} \left[Y^{2}\right]-\operatorname {E} [X]^{2}-\operatorname {E} [Y]^{2}\\[5pt]&=\operatorname {Var} (X)+\operatorname {Var} (Y).\end{aligned}}$

Сумма коррелирующих переменных

Сумма коррелирующих переменных с фиксированным размером выборки

Основная статья: Личность Бьенеме

В общем, дисперсия суммы n переменных представляет собой сумму их ковариаций :

$\operatorname {Var} \left(\sum _{i=1}^{n}X_{i}\right)=\sum _{i=1}^{n}\sum _{j=1}^{n}\operatorname {Cov} \left(X_{i},X_{j}\right)=\sum _{i=1}^{n}\operatorname {Var} \left(X_{i}\right)+2\sum _{1\leq i<j\leq n}\operatorname {Cov} \left(X_{i},X_{j}\right).$

(Примечание: второе равенство вытекает из того факта, что Cov( X _i , X _i ) = Var( X _i ) .)

Здесь, $\operatorname {Cov} (\cdot ,\cdot )$ — ковариация , равная нулю для независимых случайных величин (если она существует). Формула утверждает, что дисперсия суммы равна сумме всех элементов ковариационной матрицы компонентов. Следующее выражение эквивалентно утверждает, что дисперсия суммы представляет собой сумму диагонали ковариационной матрицы плюс удвоенную сумму ее верхних треугольных элементов (или ее нижних треугольных элементов); это подчеркивает, что ковариационная матрица симметрична. Эта формула используется в теории альфа Кронбаха в классической теории тестов .

Итак, если переменные имеют одинаковую дисперсию σ ² и средняя корреляция различных переменных равна ρ , то дисперсия их среднего значения равна

$\operatorname {Var} \left({\overline {X}}\right)={\frac {\sigma ^{2}}{n}}+{\frac {n-1}{n}}\rho \sigma ^{2}.$

Это означает, что дисперсия среднего значения увеличивается вместе со средним значением корреляций. Другими словами, дополнительные коррелированные наблюдения не так эффективны для снижения неопределенности среднего значения, как дополнительные независимые наблюдения . Более того, если переменные имеют единичную дисперсию, например, если они стандартизированы, то это упрощается до

$\operatorname {Var} \left({\overline {X}}\right)={\frac {1}{n}}+{\frac {n-1}{n}}\rho .$

Эта формула используется в формуле прогнозирования Спирмена-Брауна классической теории тестов. Это сходится к ρ, если n стремится к бесконечности, при условии, что средняя корреляция остается постоянной или тоже сходится. Таким образом, для дисперсии среднего стандартизированных переменных с равными корреляциями или сходящейся средней корреляцией мы имеем

$\lim _{n\to \infty }\operatorname {Var} \left({\overline {X}}\right)=\rho .$

Следовательно, дисперсия среднего значения большого числа стандартизированных переменных примерно равна их средней корреляции. Это ясно показывает, что выборочное среднее коррелирующих переменных обычно не сходится к генеральному среднему, хотя закон больших чисел утверждает, что выборочное среднее сходится для независимых переменных.

Сумма некоррелирующих переменных со случайным размером выборки

Бывают случаи, когда выборку берут, не зная заранее, сколько наблюдений будет приемлемым по какому-либо критерию. В таких случаях размер выборки N представляет собой случайную величину, изменение которой добавляется к изменению X , так что:

$\operatorname {Var} \left(\sum _{i=1}^{N}X_{i}\right)=\operatorname {E} \left[N\right]\operatorname {Var} (X)+\operatorname {Var} (N)(\operatorname {E} \left[X\right])^{2}$

что следует из закона полной дисперсии .

Если N имеет распределение Пуассона , то $\operatorname {E} [N]=\operatorname {Var} (N)$ с оценкой n = N . Итак, оценщик $\operatorname {Var} \left(\sum _{i=1}^{n}X_{i}\right)$ становится $n{S_{x}}^{2}+n{\bar {X}}^{2}$, давая $\operatorname {SE} ({\bar {X}})={\sqrt {\frac {{S_{x}}^{2}+{\bar {X}}^{2}}{n}}}$(см. стандартную ошибку выборочного среднего ).

Взвешенная сумма переменных

См. Также: Дисперсия взвешенного среднего арифметического.

Не путать с взвешенной дисперсией .

Свойство масштабирования и формула Бьенеме, а также свойство ковариации Cov( aX , bY ) = ab Cov( X , Y ) совместно означают, что

$\operatorname {Var} (aX\pm bY)=a^{2}\operatorname {Var} (X)+b^{2}\operatorname {Var} (Y)\pm 2ab\,\operatorname {Cov} (X,Y).$

Это означает, что во взвешенной сумме переменных переменная с наибольшим весом будет иметь непропорционально большой вес в дисперсии суммы. Например, если X и Y некоррелированы и вес X два раза превышает вес Y , то вес дисперсии X будет в четыре раза больше веса дисперсии Y. в

Выражение выше можно расширить до взвешенной суммы нескольких переменных:

$\operatorname {Var} \left(\sum _{i}^{n}a_{i}X_{i}\right)=\sum _{i=1}^{n}a_{i}^{2}\operatorname {Var} (X_{i})+2\sum _{1\leq i}\sum _{<j\leq n}a_{i}a_{j}\operatorname {Cov} (X_{i},X_{j})$

Произведение переменных

Произведение независимых переменных

Если две переменные X и Y независимы , дисперсия их произведения определяется выражением

$\operatorname {Var} (XY)=[\operatorname {E} (X)]^{2}\operatorname {Var} (Y)+[\operatorname {E} (Y)]^{2}\operatorname {Var} (X)+\operatorname {Var} (X)\operatorname {Var} (Y).$

Эквивалентно, используя основные свойства ожидания, оно определяется выражением

$\operatorname {Var} (XY)=\operatorname {E} \left(X^{2}\right)\operatorname {E} \left(Y^{2}\right)-[\operatorname {E} (X)]^{2}[\operatorname {E} (Y)]^{2}.$

Произведение статистически зависимых переменных

В общем, если две переменные статистически зависимы, то дисперсия их произведения определяется выражением:

${\begin{aligned}\operatorname {Var} (XY)={}&\operatorname {E} \left[X^{2}Y^{2}\right]-[\operatorname {E} (XY)]^{2}\\[5pt]={}&\operatorname {Cov} \left(X^{2},Y^{2}\right)+\operatorname {E} (X^{2})\operatorname {E} \left(Y^{2}\right)-[\operatorname {E} (XY)]^{2}\\[5pt]={}&\operatorname {Cov} \left(X^{2},Y^{2}\right)+\left(\operatorname {Var} (X)+[\operatorname {E} (X)]^{2}\right)\left(\operatorname {Var} (Y)+[\operatorname {E} (Y)]^{2}\right)\\[5pt]&-[\operatorname {Cov} (X,Y)+\operatorname {E} (X)\operatorname {E} (Y)]^{2}\end{aligned}}$

Произвольные функции

Основная статья: Распространение неопределенности

Дельта -метод второго порядка использует разложения Тейлора для аппроксимации дисперсии функции одной или нескольких случайных величин: см. Разложения Тейлора для моментов функций случайных величин . Например, приблизительная дисперсия функции одной переменной определяется выражением

$\operatorname {Var} \left[f(X)\right]\approx \left(f'(\operatorname {E} \left[X\right])\right)^{2}\operatorname {Var} \left[X\right]$

при условии, что f дважды дифференцируема и что среднее значение и дисперсия X конечны.

Дисперсия генеральной совокупности и выборочная дисперсия

См. Также: Непредвзятая оценка стандартного отклонения.

Реальные наблюдения, такие как измерения вчерашнего дождя в течение дня, обычно не могут представлять собой полный набор всех возможных наблюдений. Таким образом, дисперсия, рассчитанная на основе конечного набора, в целом не будет соответствовать дисперсии, которая была бы рассчитана на основе полной совокупности возможных наблюдений. Это означает, что среднее значение и дисперсию оценивают на основе ограниченного набора наблюдений с помощью уравнения оценки . Оценщик является функцией выборки из n наблюдений , взятой без систематической ошибки наблюдения из всей совокупности потенциальных наблюдений. В этом примере выборкой будет набор фактических измерений вчерашних осадков, полученных с помощью доступных дождемеров в интересующей географии.

Простейшие оценки генерального среднего и генеральной дисперсии — это просто среднее значение и дисперсия выборки, выборочное среднее и (нескорректированная) выборочная дисперсия — это непротиворечивые оценки (они сходятся к значению всей совокупности по мере увеличения количества выборок). но можно улучшить. Проще всего, выборочная дисперсия вычисляется как сумма квадратов отклонений от среднего (выборочного), деленная на n как количество выборок . Однако использование значений, отличных от n, улучшает оценку различными способами. Четыре общих значения знаменателя: n, n - 1, n + 1 и n - 1,5: n - самое простое (дисперсия выборки), n - 1 устраняет систематическую ошибку, n + 1 минимизирует среднеквадратическую ошибку для нормального значения. распределение, а n - 1,5 в основном устраняет смещение при несмещенной оценке стандартного отклонения для нормального распределения.

Во-первых, если истинное среднее значение совокупности неизвестно, то выборочная дисперсия (которая использует выборочное среднее вместо истинного среднего) является смещенной оценкой : она занижает дисперсию в ( n - 1) / n ; коррекция этого фактора, приводящая к сумме квадратов отклонений от выборочного среднего, деленная на n -1 вместо n , называется коррекцией Бесселя . Полученная в результате оценка является несмещенной и называется (скорректированной) выборочной дисперсией или несмещенной выборочной дисперсией . Если среднее значение определяется каким-либо иным способом, кроме тех же выборок, которые использовались для оценки дисперсии, то эта погрешность не возникает, и дисперсию можно безопасно оценить как дисперсию выборок относительно (независимо известного) среднего значения.

Во-вторых, выборочная дисперсия обычно не минимизирует среднеквадратическую ошибку между выборочной дисперсией и генеральной дисперсией. Поправка на систематическую ошибку часто ухудшает ситуацию: всегда можно выбрать масштабный коэффициент, который работает лучше, чем скорректированная выборочная дисперсия, хотя оптимальный масштабный коэффициент зависит от избыточного эксцесса генеральной совокупности (см. Среднеквадратическая ошибка: дисперсия ) и вносит смещение. Это всегда состоит из уменьшения несмещенной оценки (деление на число, большее, чем n - 1) и является простым примером оценки сокращения : несмещенную оценку «сжимают» до нуля. Для нормального распределения деление на n + 1 (вместо n − 1 или n ) минимизирует среднеквадратическую ошибку. Однако полученная оценка является смещенной и известна как смещенная выборочная вариация .

Дисперсия населения

общем, дисперсия популяции конечной x размера N со значениями В _i определяется выражением $${\begin{aligned}\sigma ^{2}&={\frac {1}{N}}\sum _{i=1}^{N}\left(x_{i}-\mu \right)^{2}={\frac {1}{N}}\sum _{i=1}^{N}\left(x_{i}^{2}-2\mu x_{i}+\mu ^{2}\right)\\[5pt]&=\left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}^{2}\right)-2\mu \left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}\right)+\mu ^{2}\\[5pt]&=\operatorname {E} [x_{i}^{2}]-\mu ^{2}\end{aligned}}$$где среднее значение численности населения ${\textstyle \mu =\operatorname {E} [x_{i}]={\frac {1}{N}}\sum _{i=1}^{N}x_{i}}$ и ${\textstyle \operatorname {E} [x_{i}^{2}]=\left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}^{2}\right)}$, где ${\textstyle \operatorname {E} }$ — оператор ожидаемого значения .

Дисперсия генеральной совокупности также может быть вычислена с использованием

$\sigma ^{2}={\frac {1}{N^{2}}}\sum _{i<j}\left(x_{i}-x_{j}\right)^{2}={\frac {1}{2N^{2}}}\sum _{i,j=1}^{N}\left(x_{i}-x_{j}\right)^{2}.$

(Правая часть суммы содержит повторяющиеся члены, тогда как средняя часть суммирует только уникальные члены.) Это верно, потому что $${\begin{aligned}&{\frac {1}{2N^{2}}}\sum _{i,j=1}^{N}\left(x_{i}-x_{j}\right)^{2}\\[5pt]={}&{\frac {1}{2N^{2}}}\sum _{i,j=1}^{N}\left(x_{i}^{2}-2x_{i}x_{j}+x_{j}^{2}\right)\\[5pt]={}&{\frac {1}{2N}}\sum _{j=1}^{N}\left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}^{2}\right)-\left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}\right)\left({\frac {1}{N}}\sum _{j=1}^{N}x_{j}\right)+{\frac {1}{2N}}\sum _{i=1}^{N}\left({\frac {1}{N}}\sum _{j=1}^{N}x_{j}^{2}\right)\\[5pt]={}&{\frac {1}{2}}\left(\sigma ^{2}+\mu ^{2}\right)-\mu ^{2}+{\frac {1}{2}}\left(\sigma ^{2}+\mu ^{2}\right)\\[5pt]={}&\sigma ^{2}.\end{aligned}}$$Дисперсия совокупности соответствует дисперсии генерирующего распределения вероятностей. В этом смысле концепцию популяции можно распространить на непрерывные случайные величины с бесконечной популяцией.

Выборочная дисперсия

См. также: Выборочное стандартное отклонение.

Смещенная выборочная дисперсия

Во многих практических ситуациях истинная дисперсия совокупности неизвестна априори и должна быть каким-то образом вычислена. При работе с чрезвычайно большими популяциями невозможно подсчитать каждый объект в популяции, поэтому вычисления необходимо выполнять на выборке совокупности. Обычно это называется выборочной дисперсией или эмпирической дисперсией . Выборочная дисперсия также может применяться для оценки дисперсии непрерывного распределения по выборке этого распределения.

Берем выборку с заменой n значений Y 1 _, ..., Y _n из совокупности размером ${\textstyle N}$, где n < N , и оцените дисперсию на основе этой выборки. Непосредственное получение дисперсии выборочных данных дает среднее значение квадратов отклонений :

${\tilde {S}}_{Y}^{2}={\frac {1}{n}}\sum _{i=1}^{n}\left(Y_{i}-{\overline {Y}}\right)^{2}=\left({\frac {1}{n}}\sum _{i=1}^{n}Y_{i}^{2}\right)-{\overline {Y}}^{2}={\frac {1}{n^{2}}}\sum _{i,j\,:\,i<j}\left(Y_{i}-Y_{j}\right)^{2}.$

см. в разделе «Дисперсия генеральной совокупности» .) Здесь ( Вывод этой формулы ${\overline {Y}}$ обозначает выборочное среднее :

${\overline {Y}}={\frac {1}{n}}\sum _{i=1}^{n}Y_{i}.$

Поскольку Y _i выбираются случайным образом, оба ${\overline {Y}}$ и ${\tilde {S}}_{Y}^{2}$ являются случайными величинами . Их ожидаемые значения можно оценить путем усреднения по ансамблю всех возможных выборок { Y _i } размера n из совокупности. Для ${\tilde {S}}_{Y}^{2}$ это дает:

${\begin{aligned}\operatorname {E} [{\tilde {S}}_{Y}^{2}]&=\operatorname {E} \left[{\frac {1}{n}}\sum _{i=1}^{n}\left(Y_{i}-{\frac {1}{n}}\sum _{j=1}^{n}Y_{j}\right)^{2}\right]\\[5pt]&={\frac {1}{n}}\sum _{i=1}^{n}\operatorname {E} \left[Y_{i}^{2}-{\frac {2}{n}}Y_{i}\sum _{j=1}^{n}Y_{j}+{\frac {1}{n^{2}}}\sum _{j=1}^{n}Y_{j}\sum _{k=1}^{n}Y_{k}\right]\\[5pt]&={\frac {1}{n}}\sum _{i=1}^{n}\left(\operatorname {E} \left[Y_{i}^{2}\right]-{\frac {2}{n}}\left(\sum _{j\neq i}\operatorname {E} \left[Y_{i}Y_{j}\right]+\operatorname {E} \left[Y_{i}^{2}\right]\right)+{\frac {1}{n^{2}}}\sum _{j=1}^{n}\sum _{k\neq j}^{n}\operatorname {E} \left[Y_{j}Y_{k}\right]+{\frac {1}{n^{2}}}\sum _{j=1}^{n}\operatorname {E} \left[Y_{j}^{2}\right]\right)\\[5pt]&={\frac {1}{n}}\sum _{i=1}^{n}\left({\frac {n-2}{n}}\operatorname {E} \left[Y_{i}^{2}\right]-{\frac {2}{n}}\sum _{j\neq i}\operatorname {E} \left[Y_{i}Y_{j}\right]+{\frac {1}{n^{2}}}\sum _{j=1}^{n}\sum _{k\neq j}^{n}\operatorname {E} \left[Y_{j}Y_{k}\right]+{\frac {1}{n^{2}}}\sum _{j=1}^{n}\operatorname {E} \left[Y_{j}^{2}\right]\right)\\[5pt]&={\frac {1}{n}}\sum _{i=1}^{n}\left[{\frac {n-2}{n}}\left(\sigma ^{2}+\mu ^{2}\right)-{\frac {2}{n}}(n-1)\mu ^{2}+{\frac {1}{n^{2}}}n(n-1)\mu ^{2}+{\frac {1}{n}}\left(\sigma ^{2}+\mu ^{2}\right)\right]\\[5pt]&={\frac {n-1}{n}}\sigma ^{2}.\end{aligned}}$

Здесь ${\textstyle \sigma ^{2}=\operatorname {E} [Y_{i}^{2}]-\mu ^{2}}$ полученные в разделе Дисперсия генеральной совокупности и ${\textstyle \operatorname {E} [Y_{i}Y_{j}]=\operatorname {E} [Y_{i}]\operatorname {E} [Y_{j}]=\mu ^{2}}$ из-за независимости ${\textstyle Y_{i}}$ и ${\textstyle Y_{j}}$ используются.

Следовательно ${\textstyle {\tilde {S}}_{Y}^{2}}$ дает оценку дисперсии генеральной совокупности, которая смещена в коэффициент ${\textstyle {\frac {n-1}{n}}}$ как математическое ожидание ${\textstyle {\tilde {S}}_{Y}^{2}}$ на этот коэффициент меньше популяционной дисперсии (истинной дисперсии). По этой причине, ${\textstyle {\tilde {S}}_{Y}^{2}}$ называется смещенной выборочной дисперсией .

Непредвзятая выборочная дисперсия

Поправка на это смещение дает несмещенную выборочную дисперсию , обозначенную $S^{2}$:

$S^{2}={\frac {n}{n-1}}{\tilde {S}}_{Y}^{2}={\frac {n}{n-1}}\left[{\frac {1}{n}}\sum _{i=1}^{n}\left(Y_{i}-{\overline {Y}}\right)^{2}\right]={\frac {1}{n-1}}\sum _{i=1}^{n}\left(Y_{i}-{\overline {Y}}\right)^{2}$

Любой оценщик можно просто назвать выборочной дисперсией , если версию можно определить по контексту. То же доказательство применимо и для выборок, взятых из непрерывного распределения вероятностей.

Использование термина n - 1 называется поправкой Бесселя , а также используется в выборочной ковариации и выборочном стандартном отклонении (квадратном корне дисперсии). Квадратный корень является вогнутой функцией и, таким образом, вносит отрицательное смещение (по неравенству Йенсена ), которое зависит от распределения, и, таким образом, скорректированное стандартное отклонение выборки (с использованием поправки Бесселя) является смещенным. Несмещенная оценка стандартного отклонения является технически сложной проблемой, хотя для нормального распределения использование члена n - 1,5 дает почти несмещенную оценку.

Несмещенная выборочная дисперсия представляет собой U-статистику для функции ƒ ( y ₁ , y ₂ ) = ( y ₁ − y ₂ ) ² /2, что означает, что он получается путем усреднения статистики из двух выборок по подмножествам совокупности из двух элементов.

Пример

Для набора чисел {10, 15, 30, 45, 57, 52, 63, 72, 81, 93, 102, 105}, если этот набор представляет собой всю совокупность данных для некоторого измерения, то дисперсия представляет собой дисперсию совокупности 932,743 как сумма квадратов отклонений от среднего значения этого набора, деленная на 12 как количество членов набора. Если набор представляет собой выборку из всей генеральной совокупности, то несмещенную выборочную дисперсию можно рассчитать как 1017,538, то есть сумму квадратов отклонений от среднего значения выборки, разделенную на 11 вместо 12. Функция VAR.S в Microsoft Excel дает несмещенную выборочную дисперсию, а VAR.P — генеральную дисперсию.

Распределение выборочной дисперсии

Распределение и кумулятивное распределение S ² /п ² , для различных значений ν = n − 1, когда y _i независимы, нормально распределены.

Будучи функцией случайных величин , выборочная дисперсия сама по себе является случайной величиной, и естественно изучать ее распределение. В случае, когда Y _i являются независимыми наблюдениями из нормального распределения , теорема Кокрена показывает, что несмещенная выборочная дисперсия S ² следует масштабированному распределению хи-квадрат (см. также: асимптотические свойства и элементарное доказательство ):

$(n-1){\frac {S^{2}}{\sigma ^{2}}}\sim \chi _{n-1}^{2}$

где σ ² это популяционная дисперсия . Как прямое следствие, отсюда следует, что

$\operatorname {E} \left(S^{2}\right)=\operatorname {E} \left({\frac {\sigma ^{2}}{n-1}}\chi _{n-1}^{2}\right)=\sigma ^{2},$

и

$\operatorname {Var} \left[S^{2}\right]=\operatorname {Var} \left({\frac {\sigma ^{2}}{n-1}}\chi _{n-1}^{2}\right)={\frac {\sigma ^{4}}{(n-1)^{2}}}\operatorname {Var} \left(\chi _{n-1}^{2}\right)={\frac {2\sigma ^{4}}{n-1}}.$

Если Y _i независимы и одинаково распределены, но не обязательно нормально распределены, то

$\operatorname {E} \left[S^{2}\right]=\sigma ^{2},\quad \operatorname {Var} \left[S^{2}\right]={\frac {\sigma ^{4}}{n}}\left(\kappa -1+{\frac {2}{n-1}}\right)={\frac {1}{n}}\left(\mu _{4}-{\frac {n-3}{n-1}}\sigma ^{4}\right),$

где κ – эксцесс распределения, а µ ₄ – четвертый центральный момент .

условия закона больших чисел Если для квадратов наблюдений выполняются , S ² является оценкой σ состоятельной ² . Действительно, можно видеть, что дисперсия оценки асимптотически стремится к нулю. Асимптотически эквивалентная формула была дана Кенни и Кикингом (1951:164), Роузом и Смитом (2002:264) и Вайсстейном (nd).

Неравенство Самуэльсона

Неравенство Самуэльсона - это результат, который устанавливает границы значений, которые могут принимать отдельные наблюдения в выборке, при условии, что были рассчитаны выборочное среднее и (смещенная) дисперсия. Ценности должны лежать в пределах ${\bar {y}}\pm \sigma _{Y}(n-1)^{1/2}.$

Связь с гармоническими и арифметическими средними

Было показано что для выборки { y _i } положительных действительных чисел,

$\sigma _{y}^{2}\leq 2y_{\max }(A-H),$

где y _max — максимум выборки, A — среднее арифметическое, H — среднее гармоническое образца и $\sigma _{y}^{2}$ (смещенная) дисперсия выборки.

Эта граница была улучшена, и известно, что дисперсия ограничена

$\sigma _{y}^{2}\leq {\frac {y_{\max }(A-H)(y_{\max }-A)}{y_{\max }-H}},$

$\sigma _{y}^{2}\geq {\frac {y_{\min }(A-H)(A-y_{\min })}{H-y_{\min }}},$

где y _min — минимум выборки.

Критерии равенства дисперсий

F -критерий равенства дисперсий и тест хи-квадрат адекватны, когда выборка нормально распределена. Ненормальность затрудняет проверку равенства двух или более дисперсий.

Было предложено несколько непараметрических тестов: к ним относятся тест Бартона-Дэвида-Ансари-Фрейнда-Зигеля-Тьюки, тест Кейпона , тест настроения , тест Клотца и тест Сукхатме . Тест Сукхатме применяется к двум дисперсиям и требует, чтобы обе медианы были известны и были равны нулю. Критерии Настроения, Клотца, Кейпона и Бартона-Дэвида-Ансари-Фрейнда-Зигеля-Тьюки также применимы к двум дисперсиям. Они допускают, чтобы медиана была неизвестна, но требуют, чтобы две медианы были равны.

Тест Лемана представляет собой параметрический тест двух дисперсий. Известно несколько вариантов этого теста. Другие тесты равенства дисперсий включают тест Бокса , тест Бокса-Андерсона и тест Мозеса .

Методы повторной выборки, в том числе бутстрап и складной нож , могут использоваться для проверки равенства дисперсий.

Момент инерции

См. Также: Момент (физика) § Примеры.

Дисперсия распределения вероятностей аналогична моменту инерции в классической механике соответствующего распределения массы вдоль линии относительно вращения вокруг ее центра масс. Именно из-за этой аналогии такие вещи, как дисперсия, называются моментами вероятностных распределений . Ковариационная матрица связана с тензором момента инерции для многомерных распределений. Момент инерции облака из n точек с ковариационной матрицей $\Sigma$ дается

$I=n\left(\mathbf {1} _{3\times 3}\operatorname {tr} (\Sigma )-\Sigma \right).$

Эта разница между моментом инерции в физике и статистике очевидна для точек, расположенных вдоль линии. Предположим, что множество точек расположены близко к оси x и распределены вдоль нее. Ковариационная матрица может выглядеть так

$\Sigma ={\begin{bmatrix}10&0&0\\0&0.1&0\\0&0&0.1\end{bmatrix}}.$

То есть наибольшая дисперсия наблюдается в направлении x . Физики сочли бы, что это имеет низкий момент относительно оси x , поэтому тензор момента инерции равен

$I=n{\begin{bmatrix}0.2&0&0\\0&10.1&0\\0&0&10.1\end{bmatrix}}.$

Полувариантность

Полудисперсия : рассчитывается так же, как и дисперсия, но в расчет включаются только те наблюдения, которые находятся ниже среднего $${\text{Semivariance}}={1 \over {n}}\sum _{i:x_{i}<\mu }(x_{i}-\mu )^{2}$$Его также называют конкретной мерой в различных областях применения. Для асимметричных распределений полудисперсия может предоставить дополнительную информацию, которую не дает дисперсия.

О неравенствах, связанных с полувариантностью, см. неравенство Чебышева § Семивариантности .

Этимология

Термин «дисперсия» был впервые введен Рональдом Фишером в его статье 1918 года «Корреляция между родственниками на основании предположения о менделевском наследовании» :

Большой объем доступной статистики показывает нам, что отклонения человеческих измерений от их среднего значения очень точно подчиняются нормальному закону ошибок и, следовательно, изменчивость может быть единообразно измерена с помощью стандартного отклонения, соответствующего квадратному корню из среднего значения. квадратная ошибка . Когда существуют две независимые причины изменчивости, способные привести к равномерному распределению популяции со стандартными отклонениями. $\sigma _{1}$ и $\sigma _{2}$, обнаружено, что распределение, когда обе причины действуют вместе, имеет стандартное отклонение ${\sqrt {\sigma _{1}^{2}+\sigma _{2}^{2}}}$. Поэтому при анализе причин изменчивости желательно иметь дело с квадратом стандартного отклонения как мерой изменчивости. Мы назовем эту величину дисперсией...

Обобщения

Для комплексных переменных

Если $x$ представляет собой скалярную комплексную случайную величину со значениями в $\mathbb {C} ,$ тогда его дисперсия равна $\operatorname {E} \left[(x-\mu )(x-\mu )^{*}\right],$ где $x^{*}$ представляет собой сопряжение комплексное $x.$ Эта дисперсия является настоящей скалярной величиной.

Для векторных случайных величин

В качестве матрицы

Если $X$ представляет собой векторную случайную величину со значениями в $\mathbb {R} ^{n},$ и рассматриваться как вектор-столбец, то естественным обобщением дисперсии является $\operatorname {E} \left[(X-\mu )(X-\mu )^{\operatorname {T} }\right],$ где $\mu =\operatorname {E} (X)$ и $X^{\operatorname {T} }$ это транспонирование $X,$ и то же самое относится к вектору-строке. Результатом является положительная полуопределенная квадратная матрица , обычно называемая дисперсионно-ковариационной матрицей (или просто ковариационной матрицей ).

Если $X$ представляет собой векторную и комплексную случайную величину со значениями в $\mathbb {C} ^{n},$ тогда ковариационная матрица равна $\operatorname {E} \left[(X-\mu )(X-\mu )^{\dagger }\right],$ где $X^{\dagger }$ является транспонированием сопряженным $X.$ Эта матрица также является положительно полуопределенной и квадратной.

Как скаляр

Другое обобщение дисперсии для векторных случайных величин. $X$, что приводит к скалярному значению, а не к матрице, является обобщенной дисперсией $\det(C)$, определитель ковариационной матрицы. Можно показать, что обобщенная дисперсия связана с многомерным разбросом точек вокруг их среднего значения.

Другое обобщение получается при рассмотрении уравнения скалярной дисперсии: $\operatorname {Var} (X)=\operatorname {E} \left[(X-\mu )^{2}\right]$и переосмысление $(X-\mu )^{2}$ как квадрат евклидова расстояния между случайной величиной и ее средним значением или просто как скалярное произведение вектора $X-\mu$ с самим собой. Это приводит к $\operatorname {E} \left[(X-\mu )^{\operatorname {T} }(X-\mu )\right]=\operatorname {tr} (C),$ что является следом ковариационной матрицы.

См. также

• Неравенство Бхатиа – Дэвиса
• Коэффициент вариации
• гомоскедастичность
• Спектральный анализ методом наименьших квадратов для расчета частотного спектра со спектральными величинами в % дисперсии или в дБ.
• Современная теория портфеля
• Неравенство Поповичу о дисперсиях
• Меры статистической дисперсии
• Преобразование, стабилизирующее дисперсию

Виды дисперсии

• Корреляция
• Отклонение расстояния
• Объясненная дисперсия
• Объединенная дисперсия
• Псевдовариантность