Надежные меры масштаба

В статистике надежные меры масштаба — это методы, которые количественно определяют статистическую дисперсию в выборке числовых данных , не допуская при этом выбросов . Наиболее распространенными такими надежными статистическими данными являются межквартильный размах (IQR) и медианное абсолютное отклонение (MAD). Они контрастируют с традиционными или ненадежными показателями масштаба, такими как стандартное отклонение выборки , на которые сильно влияют выбросы.

Эти надежные статистические данные особенно используются в качестве оценок параметра масштаба и имеют преимущества как надежности, так и превосходной эффективности на загрязненных данных за счет низкой эффективности на чистых данных из таких распределений, как нормальное распределение. Чтобы проиллюстрировать надежность, стандартное отклонение можно сделать сколь угодно большим, увеличив ровно одно наблюдение (оно имеет точку разбивки 0, поскольку оно может быть испорчено одной точкой), дефект, который не свойственен надежной статистике.

IQR и MAD

Одним из наиболее распространенных надежных показателей масштаба является интерквартильный размах (IQR), разница между 75 -м и 25-м процентилем выборки; это обрезанный диапазон на 25 % , пример L-оценки . другие усеченные диапазоны, такие как междецильный диапазон Также можно использовать (диапазон усечения 10%). Для распределения Гаусса IQR связан с $\sigma$ как: ^[1]

\sigma \approx 0.7413\operatorname {IQR} =\operatorname {IQR} /1.349

Еще одной знакомой надежной мерой масштаба является медианное абсолютное отклонение (MAD), медиана абсолютных значений различий между значениями данных и общей медианой набора данных; для распределения Гаусса MAD связан с $\sigma$ как:

\sigma \approx 1.4826\operatorname {MAD} \approx \operatorname {MAD} /0.6745

см. в разделе «Медианное абсолютное отклонение № Отношение к стандартному отклонению» Подробности .

Оценка

Робастные меры масштаба могут использоваться в качестве оценок свойств совокупности либо для оценки параметров , либо в качестве оценок их собственного ожидаемого значения .

Например, надежные оценки масштаба используются для оценки стандартного отклонения генеральной совокупности , обычно путем умножения на масштабный коэффициент , чтобы сделать его несмещенной последовательной оценкой ; см. параметр масштаба: оценка . Например, разделив IQR на 2 √ 2 erf ⁻¹(1/2) (приблизительно 1,349), что делает его несмещенной, последовательной оценкой стандартного отклонения генеральной совокупности, если данные соответствуют нормальному распределению .

В других ситуациях имеет смысл думать о надежной мере масштаба как об оценке собственного ожидаемого значения , интерпретируемой как альтернатива стандартному отклонению совокупности как мере масштаба. Например, MAD выборки из стандартного распределения Коши является оценкой MAD генеральной совокупности, которая в данном случае равна 1, тогда как генеральная дисперсия не существует.

Эффективность

Эти надежные оценщики обычно имеют меньшую статистическую эффективность по сравнению с традиционными оценщиками для данных, полученных из распределения без выбросов (например, нормального распределения), но имеют более высокую эффективность для данных, полученных из смешанного распределения или из распределения с тяжелым хвостом , для которого не - не следует использовать робастные меры, такие как стандартное отклонение.

Например, для данных, полученных из нормального распределения, MAD на 37% столь же эффективен, как стандартное отклонение выборки, в то время как оценка Руссиу-Кру Q _n на 88% столь же эффективна, как и стандартное отклонение выборки.

Абсолютные попарные различия

Руссеу и Кру ^[2] предложить альтернативы MAD, мотивированные двумя его недостатками:

Он неэффективен (эффективность 37%) при гауссовом распределении .
он вычисляет симметричную статистику относительно оценки местоположения, таким образом не имея дело с асимметрией .

Они предлагают две альтернативные статистики, основанные на парных различиях: S _n и Q _n , определяемые как:

{\begin{aligned}S_{n}&:=1.1926\,\operatorname {med} _{i}\left(\operatorname {med} _{j}(\,\left|x_{i}-x_{j}\right|\,)\right),\\Q_{n}&:=c_{n}{\text{first quartile of}}\left(\left|x_{i}-x_{j}\right|:i<j\right),\end{aligned}}

где $c_{n}$ является константой, зависящей от $n$ .

Их можно вычислить за время O ( n log n ) и пространство за O ( n ).

Ни один из этих методов не требует оценки местоположения , поскольку они основаны только на различиях между значениями. Оба они более эффективны, чем MAD при распределении Гаусса: эффективность Sn _{составляет} 58%, а Q _n эффективность — 82%.

Для выборки с нормальным распределением Sn _n несмещен для стандартного отклонения генеральной совокупности даже до очень скромных размеров выборки (смещение <1% для приблизительно = 10).

Для большой выборки с нормальным распределением 2,22 Q _n приблизительно несмещено для стандартного отклонения генеральной совокупности. Для небольших или умеренных выборок ожидаемое значение Q _n при нормальном распределении заметно зависит от размера выборки, поэтому поправочные коэффициенты конечной выборки (полученные из таблицы или в результате моделирования) используются для калибровки шкалы Q _n .

Двухвесовая средняя дисперсия

Подобно S _n и Q _n , двухвесовая средняя дисперсия стремится быть устойчивой, не жертвуя при этом слишком большой эффективностью. Это определяется как

{\frac {n\sum _{i=1}^{n}(x_{i}-Q)^{2}(1-u_{i}^{2})^{4}I(|u_{i}|<1)}{\left(\sum _{i}(1-u_{i}^{2})(1-5u_{i}^{2})I(|u_{i}|<1)\right)^{2}}},

где I — индикаторная функция , Q — выборочная медиана X _i , и

u_{i}={\frac {x_{i}-Q}{9\cdot {\rm {MAD}}}}.

Его квадратный корень является надежной оценкой масштаба, поскольку точки данных уменьшаются по мере увеличения их расстояния от медианы, при этом точки, находящиеся на расстоянии более 9 единиц MAD от медианы, вообще не оказывают никакого влияния.

Расширения

Мизера и Мюллер (2004) предлагают надежную систему оценки местоположения и масштаба на основе глубины. Они предлагают новую меру, названную медианой Стьюдента. ^[3]

Доверительные интервалы

Устойчивый доверительный интервал — это робастная модификация доверительных интервалов , что означает, что неробастные расчеты доверительного интервала модифицируются таким образом, чтобы на них не сильно влияли выдающиеся или аберрантные наблюдения в наборе данных.

Пример

В практических условиях в процессе взвешивания 1000 предметов легко поверить, что оператор может допустить ошибку в процедуре и сообщить неправильную массу (тем самым допустив один тип систематической ошибки ). Предположим, имеется 100 объектов, и оператор взвешивает их все по одному и повторяет весь процесс десять раз. Затем оператор может рассчитать выборочное стандартное отклонение для каждого объекта и поискать выбросы . Любой объект с необычно большим стандартным отклонением, вероятно, имеет выброс в своих данных. Их можно удалить различными непараметрическими методами. Если бы оператор повторил процесс только три раза, просто взяв медиану трех измерений и используя σ, можно было бы получить доверительный интервал. 200 дополнительных взвешиваний служили только для обнаружения и исправления ошибок оператора и не улучшили доверительный интервал. При большем количестве повторений можно было бы использовать усеченное среднее , отбрасывая самые большие и наименьшие значения и усредняя остальные. А Бутстрап- вычисление можно использовать для определения доверительного интервала, более узкого, чем рассчитанный на основе σ, и таким образом получить некоторую выгоду от большого объема дополнительной работы.

Эти процедуры устойчивы к процедурным ошибкам, которые не моделируются в предположении, что весы имеют фиксированное известное стандартное отклонение σ. В практических приложениях, где может произойти случайная ошибка оператора или неисправность весов, предположения, лежащие в основе простых статистических расчетов, не могут считаться само собой разумеющимися. Прежде чем доверять результатам 100 объектов, каждый из которых взвешивался всего три раза, чтобы иметь доверительные интервалы, рассчитанные по σ, необходимо проверить и удалить разумное количество выбросов (проверяя предположение о том, что оператор осторожен, и корректируя тот факт, что он не идеально), а также проверить предположение о том, что данные действительно имеют нормальное распределение со стандартным отклонением σ.

Компьютерное моделирование

Теоретический анализ такого эксперимента сложен, но легко создать электронную таблицу , которая извлекает случайные числа из нормального распределения со стандартным отклонением σ для моделирования ситуации; это можно сделать в Microsoft Excel, используя =NORMINV(RAND(),0,σ)), как обсуждалось в ^[4] и те же методы можно использовать в других программах работы с электронными таблицами, таких как OpenOffice.org Calc и gnumeric .

После удаления очевидных выбросов можно было бы вычесть медиану из двух других значений для каждого объекта и изучить распределение 200 полученных чисел. Оно должно быть нормальным, со средним значением, близким к нулю, и стандартным отклонением, немного превышающим σ. Простой расчет в электронной таблице Монте-Карло покажет типичные значения стандартного отклонения (около 105–115% от σ). Или можно вычесть среднее значение каждого триплета из значений и изучить распределение 300 значений. Среднее значение точно равно нулю, но стандартное отклонение должно быть несколько меньше (около 75–85% от σ).

См. также

Ссылки

^ «Межквартильный размах» . НИСТ . Проверено 30 марта 2022 г.
^ Руссиу, Питер Дж .; Кру, Кристоф (декабрь 1993 г.), «Альтернативы медианному абсолютному отклонению», Журнал Американской статистической ассоциации , 88 (424), Американская статистическая ассоциация: 1273–1283, doi : 10.2307/2291267 , JSTOR 2291267
^ Мизера, И.; Мюллер, CH (2004), «Глубина в масштабе местоположения», Журнал Американской статистической ассоциации , 99 (468): 949–966, doi : 10.1198/016214504000001312 .
^ Виттвер, Дж.В., «Моделирование Монте-Карло в Excel: Практическое руководство» , 1 июня 2004 г.

[1] «Межквартильный размах» . НИСТ . Проверено 30 марта 2022 г.

[2] Руссиу, Питер Дж .; Кру, Кристоф (декабрь 1993 г.), «Альтернативы медианному абсолютному отклонению», Журнал Американской статистической ассоциации , 88 (424), Американская статистическая ассоциация: 1273–1283, doi : 10.2307/2291267 , JSTOR 2291267

[3] Мизера, И.; Мюллер, CH (2004), «Глубина в масштабе местоположения», Журнал Американской статистической ассоциации , 99 (468): 949–966, doi : 10.1198/016214504000001312 .

[4] Виттвер, Дж.В., «Моделирование Монте-Карло в Excel: Практическое руководство» , 1 июня 2004 г.

[1]

[2]

[3]

[4]