Непредвзятая оценка стандартного отклонения

В статистике и, в частности, статистической теории , несмещенная оценка стандартного отклонения — это расчет на основе статистической выборки оценочного значения стандартного отклонения (меры статистической дисперсии ) совокупности значений таким образом, что ожидаемое значение расчета соответствует истинному значению. За исключением некоторых важных ситуаций, описанных ниже, эта задача не имеет большого отношения к приложениям статистики, поскольку ее необходимость устраняется с помощью стандартных процедур, таких как использование тестов значимости и доверительных интервалов или использование байесовского анализа .

Однако для статистической теории это представляет собой образцовую задачу в контексте теории оценивания , которую легко сформулировать и для которой результаты не могут быть получены в закрытой форме. Это также является примером того, как навязывание требования объективной оценки может рассматриваться как просто добавление неудобств, не приносящее реальной пользы.

Мотивация

В статистике стандартное отклонение совокупности чисел часто оценивается на основе случайной выборки, взятой из совокупности. Это выборочное стандартное отклонение, которое определяется формулой

$s={\sqrt {\frac {\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}{n-1}}},$

где $\{x_{1},x_{2},\ldots ,x_{n}\}$ — выборка (формально, реализации случайной величины X ) и ${\overline {x}}$ – это выборочное среднее .

Один из способов увидеть, что это смещенная оценка стандартного отклонения генеральной совокупности, — это начать с результата, который ² является оценкой дисперсии σ несмещенной ² базовой совокупности, если такая дисперсия существует, и значения выборки получаются независимо с заменой. Квадратный корень — нелинейная функция, и только линейные функции коммутируют с учетом математического ожидания. следует Поскольку квадратный корень является строго вогнутой функцией, из неравенства Йенсена , что квадратный корень выборочной дисперсии является заниженной оценкой.

Использование n - 1 вместо n в формуле выборочной дисперсии известно как поправка Бесселя , которая исправляет смещение при оценке генеральной дисперсии, а также некоторую, но не всю, смещение при оценке генерального стандарта . отклонение.

Невозможно найти оценку стандартного отклонения, которая была бы несмещенной для всех распределений населения, поскольку смещение зависит от конкретного распределения. Большая часть нижеследующего относится к оценкам, предполагающим нормальное распределение .

Коррекция смещения

нормального

Поправочный коэффициент $c_{4}$ в зависимости от размера выборки n .

Когда случайная величина имеет нормальное распределение , существует незначительная поправка для устранения систематической ошибки. Чтобы вывести поправку, обратите внимание, что для нормально распределенного X из теоремы Кокрена следует, что $(n-1)s^{2}/\sigma ^{2}$ имеет распределение хи-квадрат с $n-1$ степени свободы и, следовательно, его квадратный корень, ${\sqrt {n-1}}s/\sigma$ имеет распределение ци с $n-1$ степени свободы. Следовательно, вычислив математическое ожидание этого последнего выражения и переставив константы,

$\operatorname {E} [s]=c_{4}(n)\sigma$

где поправочный коэффициент $c_{4}(n)$ это среднее значение распределения ци с $n-1$ степени свободы, $\mu _{1}/{\sqrt {n-1}}$. Это зависит от размера выборки n и определяется следующим образом:

$c_{4}(n)={\sqrt {\frac {2}{n-1}}}{\frac {\Gamma \left({\frac {n}{2}}\right)}{\Gamma \left({\frac {n-1}{2}}\right)}}=1-{\frac {1}{4n}}-{\frac {7}{32n^{2}}}-{\frac {19}{128n^{3}}}+O(n^{-4})$

где Γ(·) – гамма-функция . Несмещенную оценку σ можно получить путем деления $s$ к $c_{4}(n)$. Как $n$ увеличивается и приближается к 1, и даже для меньших значений поправка незначительна. На рисунке изображен график $c_{4}(n)$ относительно размера выборки. В таблице ниже приведены числовые значения $c_{4}(n)$ и алгебраические выражения для некоторых значений $n$; более полные таблицы можно найти в большинстве учебников. по статистическому контролю качества .

Размер выборки	Выражение $c_{4}$	Числовое значение
2	${\sqrt {\frac {2}{\pi }}}$	0.7978845608
3	${\frac {\sqrt {\pi }}{2}}$	0.8862269255
4	$2{\sqrt {\frac {2}{3\pi }}}$	0.9213177319
5	${\frac {3}{4}}{\sqrt {\frac {\pi }{2}}}$	0.9399856030
6	${\frac {8}{3}}{\sqrt {\frac {2}{5\pi }}}$	0.9515328619
7	${\frac {5{\sqrt {3\pi }}}{16}}$	0.9593687891
8	${\frac {16}{5}}{\sqrt {\frac {2}{7\pi }}}$	0.9650304561
9	${\frac {35{\sqrt {\pi }}}{64}}$	0.9693106998
10	${\frac {128}{105}}{\sqrt {\frac {2}{\pi }}}$	0.9726592741
100		0.9974779761
1000		0.9997497811
10000		0.9999749978
2 тыс.	${\sqrt {\frac {2}{\pi (2k-1)}}}{\frac {2^{2k-2}(k-1)!^{2}}{(2k-2)!}}$
2к+1	${\sqrt {\frac {\pi }{k}}}{\frac {(2k-1)!}{2^{2k-1}(k-1)!^{2}}}$

Важно иметь в виду, что эта поправка дает только несмещенную оценку для нормально и независимо X. распределенного Когда это условие выполнено, другой результат о s, включающий $c_{4}(n)$ заключается в том, что ошибка s стандартная равна $\sigma {\sqrt {1-c_{4}^{2}}}$, а стандартная ошибка несмещенной оценки равна $\sigma {\sqrt {c_{4}^{-2}-1}}.$

Эмпирическое правило

Если вычисление функции c ₄ ( n ) кажется слишком сложным, есть простое эмпирическое правило: взять оценщика

${\hat {\sigma }}={\sqrt {{\frac {1}{n-1.5}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}$

Формула отличается от привычного выражения для s ² только если будет n − 1,5 вместо n − 1 в знаменателе . Это выражение является лишь приблизительным; фактически,

$\operatorname {E} \left[{\hat {\sigma }}\right]=\sigma \cdot \left(1+{\frac {1}{16n^{2}}}+{\frac {3}{16n^{3}}}+O(n^{-4})\right).$

Смещение относительно невелико: скажем, для $n=3$ она равна 2,3%, а для $n=9$ смещение уже составляет 0,1%.

Другие дистрибутивы

В тех случаях, когда статистически независимые данные моделируются параметрическим семейством распределений, отличных от нормального распределения , стандартное отклонение генеральной совокупности, если оно существует, будет функцией параметров модели. Одним из общих подходов к оценке является метод максимального правдоподобия . В качестве альтернативы можно использовать теорему Рао-Блэквелла как способ найти хорошую оценку стандартного отклонения. Ни в том, ни в другом случае полученные оценки обычно не будут несмещенными. Теоретически можно было бы получить теоретические поправки, которые привели бы к несмещенным оценкам, но, в отличие от оценок для нормального распределения, они обычно будут зависеть от оцениваемых параметров.

Если требуется просто уменьшить погрешность оценки стандартного отклонения, а не полностью устранить ее, то доступны два практических подхода, оба в контексте повторной выборки . Это складной нож и бутстрэппинг . Оба могут применяться либо к параметрическим оценкам стандартного отклонения, либо к выборочному стандартному отклонению.

Для ненормальных распределений приближенное (с точностью до O ( n ⁻¹ ) члены) формула для несмещенной оценки стандартного отклонения:

${\hat {\sigma }}={\sqrt {{\frac {1}{n-1.5-{\tfrac {1}{4}}\gamma _{2}}}\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}},$

где γ ₂ популяции обозначает избыточный эксцесс . Избыточный эксцесс может быть либо известен заранее для определенных распределений, либо оценен на основе данных.

Эффект автокорреляции (серийной корреляции)

Приведенный выше материал, чтобы еще раз подчеркнуть эту мысль, применим только к независимым данным. Однако реальные данные часто не отвечают этому требованию; это автокорреляция (также известная как серийная корреляция). Например, последовательные показания измерительного прибора, который включает в себя некоторую форму процесса «сглаживания» (вернее, фильтрации нижних частот), будут автокоррелированы, поскольку любое конкретное значение рассчитывается на основе некоторой комбинации более ранних и поздних показаний.

Оценки дисперсии и стандартного отклонения автокоррелированных данных будут смещены. Ожидаемое значение выборочной дисперсии равно

${\rm {E}}\left[s^{2}\right]=\sigma ^{2}\left[1-{\frac {2}{n-1}}\sum _{k=1}^{n-1}\left(1-{\frac {k}{n}}\right)\rho _{k}\right]$

где n — размер выборки (количество измерений) и $\rho _{k}$ — автокорреляционная функция (ACF) данных. (Обратите внимание, что выражение в скобках представляет собой просто единицу минус среднее ожидаемое значение автокорреляции для показаний.) Если АКФ состоит из положительных значений, то оценка дисперсии (и ее квадратного корня, стандартного отклонения) будет иметь низкое смещение. То есть фактическая изменчивость данных будет больше, чем та, на которую указывает расчет неисправленной дисперсии или стандартного отклонения. Важно понимать, что если это выражение будет использоваться для поправки на погрешность, то путем деления оценки $s^{2}$ величиной в скобках выше, то АКФ должен быть известен аналитически , а не путем оценки на основе данных. Это связано с тем, что расчетная АКФ сама по себе будет смещенной.

смещения

Чтобы проиллюстрировать величину систематической ошибки стандартного отклонения, рассмотрим набор данных, состоящий из последовательных показаний прибора, использующего определенный цифровой фильтр, АКФ которого, как известно, определяется выражением

$\rho _{k}=(1-\alpha )^{k}$

где α — параметр фильтра, принимающий значения от нуля до единицы. Таким образом, АКФ положителен и геометрически убывает.

Смещение стандартного отклонения для автокоррелированных данных.

На рисунке показано отношение оцененного стандартного отклонения к его известному значению (которое может быть рассчитано аналитически для этого цифрового фильтра) для нескольких настроек α в зависимости от размера выборки n . Изменение α изменяет коэффициент уменьшения дисперсии фильтра, который, как известно,

${\rm {VRR}}={\frac {\alpha }{2-\alpha }}$

так что меньшие значения α приводят к большему уменьшению дисперсии или «сглаживанию». Смещение обозначается значениями на вертикальной оси, отличными от единицы; то есть, если бы не было систематической ошибки, отношение оцененного к известному стандартному отклонению было бы единицей. Очевидно, что при небольших размерах выборки может иметь место значительная погрешность (в два и более раз).

Отклонение среднего

Часто представляет интерес оценить дисперсию или стандартное отклонение предполагаемого среднего значения, а не дисперсию генеральной совокупности. Когда данные автокоррелированы, это оказывает прямое влияние на теоретическую дисперсию выборочного среднего значения, которая составляет

${\rm {Var}}\left[{\overline {x}}\right]={\frac {\sigma ^{2}}{n}}\left[1+2\sum _{k=1}^{n-1}{\left(1-{\frac {k}{n}}\right)\rho _{k}}\right].$

Затем дисперсию выборочного среднего можно оценить, подставив оценку σ ² . Одну такую ​​оценку можно получить из уравнения для E[s ² ] приведено выше. Сначала определите следующие константы, предполагая, опять же, известную АКФ:

$\gamma _{1}\equiv 1-{\frac {2}{n-1}}\sum _{k=1}^{n-1}{\left(1-{\frac {k}{n}}\right)}\rho _{k}$

$\gamma _{2}\equiv 1+2\sum _{k=1}^{n-1}{\left(1-{\frac {k}{n}}\right)}\rho _{k}$

так что

${\rm {E}}\left[s^{2}\right]=\sigma ^{2}\gamma _{1}\Rightarrow {\rm {E}}\left[{\frac {s^{2}}{\gamma _{1}}}\right]=\sigma ^{2}$

Это говорит о том, что ожидаемое значение величины, полученное путем деления наблюдаемой выборочной дисперсии на поправочный коэффициент $\gamma _{1}$ дает несмещенную оценку дисперсии. Аналогично, переписав приведенное выше выражение для дисперсии среднего значения:

${\rm {Var}}\left[{\overline {x}}\right]={\frac {\sigma ^{2}}{n}}\gamma _{2}$

и подставив оценку на $\sigma ^{2}$ дает

${\rm {Var}}\left[{\overline {x}}\right]={\rm {E}}\left[{\frac {s^{2}}{\gamma _{1}}}\left({\frac {\gamma _{2}}{n}}\right)\right]={\rm {E}}\left[{\frac {s^{2}}{n}}\left\{{\frac {n-1}{{\frac {n}{\gamma _{2}}}-1}}\right\}\right]$

который представляет собой несмещенную оценку дисперсии среднего значения с точки зрения наблюдаемой выборочной дисперсии и известных величин. Если автокорреляции $\rho _{k}$ тождественно равны нулю, это выражение сводится к хорошо известному результату для дисперсии среднего значения для независимых данных. Эффект оператора ожидания в этих выражениях заключается в том, что равенство сохраняется в среднем (т. е. в среднем).

совокупности

Имея приведенные выше выражения, включающие дисперсию совокупности и оценку среднего значения этой совокупности, казалось бы логичным просто извлечь квадратный корень из этих выражений, чтобы получить несмещенные оценки соответствующих стандартных отклонений. Однако дело в том, что, поскольку ожидания являются интегралами,

${\rm {E}}[s]\neq {\sqrt {{\rm {E}}\left[s^{2}\right]}}\neq \sigma {\sqrt {\gamma _{1}}}$

Вместо этого предположим, что существует функция θ такая, что несмещенную оценку стандартного отклонения можно записать

${\rm {E}}[s]=\sigma \theta {\sqrt {\gamma _{1}}}\Rightarrow {\hat {\sigma }}={\frac {s}{\theta {\sqrt {\gamma _{1}}}}}$

и θ зависит от размера выборки n и АКФ. В случае данных NID (нормально и независимо распределенных) подкоренное выражение равно единице, а θ — это просто функция c _4, указанная в первом разделе выше. Как и в случае с c ₄ , θ приближается к единице по мере увеличения размера выборки (как и γ ₁ ).

С помощью имитационного моделирования можно продемонстрировать, что игнорирование θ (то есть принимая его за единицу) и использование

${\rm {E}}[s]\approx \sigma {\sqrt {\gamma _{1}}}\Rightarrow {\hat {\sigma }}\approx {\frac {s}{\sqrt {\gamma _{1}}}}$

удаляет все смещения, вызванные автокорреляцией, кроме нескольких процентов, что делает эту оценку уменьшенной -смещенной, а не несмещенной оценкой. В практических ситуациях измерения такое снижение погрешности может быть значительным и полезным, даже если остается некоторая относительно небольшая погрешность. Рисунок выше, показывающий пример смещения стандартного отклонения в зависимости от размера выборки, основан на этом приближении; фактическое смещение будет несколько больше, чем указано на этих графиках, поскольку смещение преобразования θ туда не включено.

Оценка стандартного отклонения выборочного среднего

Несмещенная дисперсия среднего значения с точки зрения генеральной дисперсии и АКФ определяется выражением

${\rm {Var}}\left[{\overline {x}}\right]={\frac {\sigma ^{2}}{n}}\gamma _{2}$

и поскольку здесь нет ожидаемых значений, в этом случае можно извлечь квадратный корень, так что

$\sigma _{\overline {x}}={\frac {\sigma }{\sqrt {n}}}{\sqrt {\gamma _{2}}}$

Используя приведенное выше выражение несмещенной оценки для σ , оценка стандартного отклонения среднего значения будет тогда

${\hat {\sigma }}_{\overline {x}}={\frac {s}{\theta {\sqrt {n}}}}{\frac {\sqrt {\gamma _{2}}}{\sqrt {\gamma _{1}}}}$

Если данные являются NID, так что ACF исчезает, это сводится к

${\hat {\sigma }}_{\overline {x}}={\frac {s}{c_{4}{\sqrt {n}}}}$

При наличии ненулевой АКФ игнорирование функции θ, как и раньше, приводит к уменьшенной оценке -смещения

${\hat {\sigma }}_{\overline {x}}\approx {\frac {s}{\sqrt {n}}}{\frac {\sqrt {\gamma _{2}}}{\sqrt {\gamma _{1}}}}={\frac {s}{\sqrt {n}}}{\sqrt {\frac {n-1}{{\frac {n}{\gamma _{2}}}-1}}}$

что опять-таки можно продемонстрировать, что оно устраняет большую часть предвзятости.

См. также

• Поправка Бесселя

• Выборочное среднее и выборочная ковариация

Ссылки

• Дуглас К. Монтгомери и Джордж К. Рангер, Прикладная статистика и теория вероятностей для инженеров , 3-е издание, Wiley and sons, 2003. (см. разделы)

Внешние ссылки

• Интерактивная графика Java , показывающая PDF-файл Helmert, из которого получены коэффициенты коррекции смещения.
• Демонстрация моделирования Монте-Карло для объективной оценки стандартного отклонения.
• http://www.itl.nist.gov/div898/handbook/pmc/section3/pmc32.htm Что такое диаграммы управления переменными?

Эта статья включает общедоступные материалы Национального института стандартов и технологий.