Надежная статистика

Надежная статистика — это статистика , которая сохраняет свои свойства, даже если лежащие в ее основе предположения о распределении неверны. надежные статистические , были разработаны Для многих распространенных задач, таких как оценка местоположения , масштаба и параметров регрессии методы . Одной из причин является разработка статистических методов , на которые не оказывают чрезмерного влияния выбросы . Другая мотивация — предоставить методы с хорошей производительностью при небольших отклонениях от параметрического распределения . Например, робастные методы хорошо работают для смесей двух нормальных распределений с разными стандартными отклонениями ; в рамках этой модели неробастные методы, такие как t-тест, работают плохо.

Введение

Надежная статистика стремится предоставить методы, которые имитируют популярные статистические методы, но на которые не оказывают чрезмерного влияния выбросы или другие небольшие отклонения от предположений модели . В статистике классические методы оценки в значительной степени полагаются на предположения, которые часто не выполняются на практике. В частности, часто предполагается, что ошибки данных нормально распределены, по крайней мере приблизительно, или что на центральную предельную теорему можно положиться для получения нормально распределенных оценок. К сожалению, когда в данных есть выбросы, классические оценки часто дают очень низкую производительность, если оценивать их с использованием точки разбивки и функции влияния, описанной ниже.

Практический эффект проблем, наблюдаемых в функции влияния, можно изучить эмпирически, исследуя выборочное распределение предлагаемых оценок в рамках модели смеси , где смешивается небольшое количество (часто достаточно 1–5%) примесей. Например, можно использовать смесь 95% нормального распределения и 5% нормального распределения с тем же средним, но значительно более высоким стандартным отклонением (представляющим выбросы).

Робастная параметрическая статистика может действовать двумя способами:

• путем разработки оценщиков таким образом, чтобы достигалось заранее выбранное поведение функции влияния
• путем замены оценок, которые оптимальны в предположении нормального распределения, оценками, которые оптимальны или, по крайней мере, получены для других распределений; например, используя t -распределение с низкими степенями свободы (высокий эксцесс) или со смесью двух или более распределений.

Робастные оценки изучались для следующих задач:

• оценка параметров местоположения
• оценка параметров масштаба
• оценка коэффициентов регрессии
• оценка состояний модели в моделях, выраженных в форме пространства состояний , для которой стандартный метод эквивалентен фильтру Калмана .

Определение

Существуют различные определения «надежной статистики ». Строго говоря, робастная статистика устойчива к ошибкам в результатах, вызванным отклонениями от предположений. (например, нормальности). Это означает, что если предположения выполняются лишь приблизительно, робастная оценка все равно будет иметь разумную эффективность и достаточно небольшое смещение , а также будет асимптотически несмещенной , то есть иметь смещение, стремящееся к 0, поскольку размер выборки стремится к бесконечности.

Обычно наиболее важным случаем является устойчивость распределения – устойчивость к нарушению предположений об основном распределении данных. Классические статистические процедуры обычно чувствительны к «длиннохвостости» (например, когда распределение данных имеет более длинные хвосты, чем предполагаемое нормальное распределение). Это означает, что на них будет сильно влиять наличие выбросов в данных, а получаемые ими оценки могут быть сильно искажены, если в данных присутствуют экстремальные выбросы, по сравнению с тем, какими они были бы, если бы выбросы не были включены в данные. .

Напротив, более надежные оценки, которые не так чувствительны к искажениям распределения, таким как длиннохвостость, также устойчивы к присутствию выбросов. Таким образом, в контексте надежной статистики понятия «устойчивость к распределению» и «устойчивость к выбросам» фактически являются синонимами. О перспективах исследований в области надежной статистики до 2000 года см. Portnoy & He (2000) .

Некоторые эксперты предпочитают термин « устойчивая статистика» для обозначения распределительной устойчивости и оставляют «устойчивость» для нераспределительной устойчивости, например, устойчивость к нарушению предположений о вероятностной модели или оценщике, но это используется меньшинством. Обычное слово «надежность» означает «устойчивость распределения».

При рассмотрении вопроса о том, насколько устойчива оценка к наличию выбросов, полезно проверить, что происходит, когда экстремальный выброс добавляется в набор данных, и проверить, что происходит, когда экстремальный выброс заменяет одну из существующих точек данных, а затем рассмотреть эффект множественных дополнений или замен.

Примеры

Среднее значение не является надежным показателем центральной тенденции . Если набор данных представляет собой, например, значения {2,3,5,6,9}, то если мы добавим к данным еще одну точку данных со значением -1000 или +1000, полученное среднее значение будет сильно отличаться от среднего значения исходные данные. Аналогично, если мы заменим одно из значений точкой данных со значением -1000 или +1000, то полученное среднее значение будет сильно отличаться от среднего значения исходных данных.

Медиана является надежным показателем центральной тенденции . Взяв тот же набор данных {2,3,5,6,9}, если мы добавим еще одну точку данных со значением -1000 или +1000, то медиана немного изменится, но она все равно будет похожа на медиану исходных данных. Если мы заменим одно из значений точкой данных со значением -1000 или +1000, то результирующая медиана все равно будет аналогична медиане исходных данных.

Описанная с точки зрения точек разбивки , медиана имеет точку разбивки 50 %, что означает, что половина точек должна быть выбросами, прежде чем медиану можно будет вывести за пределы диапазона невыпадающих значений, в то время как среднее значение имеет точку разбивки 0, поскольку одно большое наблюдение может сбить его с толку.

Медианное абсолютное отклонение и межквартильный размах являются надежными показателями статистической дисперсии , а стандартное отклонение и диапазон — нет.

Обрезанные оценки и оценки Winsorized — это общие методы повышения надежности статистики. L-оценщики представляют собой общий класс простых статистических данных, часто надежных, в то время как M-оценки представляют собой общий класс робастных статистических данных и в настоящее время являются предпочтительным решением, хотя их вычисления могут быть весьма сложными.

Данные о скорости света

Гельман и др. в «Анализ байесовских данных» (2004) рассмотрим набор данных, относящийся к измерениям скорости света, сделанный Саймоном Ньюкомбом . Наборы данных для этой книги можно найти на странице классических наборов данных , а на веб-сайте книги содержится дополнительная информация о данных.

Хотя основная часть данных выглядит более или менее нормально распределенной, есть два очевидных отклонения. Эти выбросы оказывают большое влияние на среднее значение, перетаскивая его к себе и от центра основной массы данных. Таким образом, если среднее значение предназначено для измерения местоположения центра данных, оно в некотором смысле является смещенным при наличии выбросов.

Кроме того, известно, что распределение среднего асимптотически нормально в силу центральной предельной теоремы. Однако выбросы могут сделать распределение среднего значения ненормальным даже для довольно больших наборов данных. Помимо этой ненормальности, среднее значение также неэффективно при наличии выбросов и доступных менее изменчивых показателей местоположения.

Оценка местоположения

На графике ниже показан график плотности данных о скорости света вместе с графиком коврика (панель (а)). Также показан нормальный график Q–Q (панель (b)). На этих графиках видны выбросы.

Панели (c) и (d) графика показывают бутстреп-распределение среднего значения (c) и 10%-ного усеченного среднего значения (d). Обрезанное среднее — это простой и надежный инструмент оценки местоположения, который удаляет определенный процент наблюдений (здесь 10%) с каждого конца данных, а затем вычисляет среднее значение обычным способом. Анализ проводился в R , и 10 000 бутстреп- для каждого исходного и обрезанного среднего использовалось образцов.

Распределение среднего значения явно намного шире, чем распределение среднего значения, усеченного на 10% (графики имеют один и тот же масштаб). Кроме того, хотя распределение усеченного среднего значения кажется близким к нормальному, распределение необработанного среднего сильно смещено влево. Итак, в этой выборке из 66 наблюдений только 2 выброса делают центральную предельную теорему неприменимой.

Робастные статистические методы, простым примером которых является усеченное среднее, стремятся превзойти классические статистические методы при наличии выбросов или, в более общем смысле, когда основные параметрические предположения не совсем верны.

Хотя усеченное среднее работает лучше среднего в этом примере, доступны более надежные оценки. Фактически, среднее, медиана и усеченное среднее — все это частные случаи М-оценок . Подробности представлены в разделах ниже.

Оценка масштаба

Основная статья: Надежные меры масштаба

Выбросы в данных о скорости света оказывают не только негативное влияние на среднее значение; обычной оценкой масштаба является стандартное отклонение, и на эту величину выбросы влияют еще сильнее, поскольку в расчет включаются квадраты отклонений от среднего значения, поэтому эффекты выбросов усугубляются.

На графиках ниже показаны бутстреп-распределения стандартного отклонения, медианного абсолютного отклонения Русси-Кру (Qn) . (MAD) и оценки масштаба Графики основаны на 10 000 бутстреп-выборках для каждого средства оценки с добавлением некоторого гауссовского шума к повторно дискретизированным данным ( сглаженная бутстрап ). На панели (а) показано распределение стандартного отклонения, (б) MAD и (в) Qn.

Распределение стандартного отклонения хаотично и широко из-за выбросов. MAD ведет себя лучше, а Qn немного более эффективен, чем MAD. Этот простой пример демонстрирует, что при наличии выбросов стандартное отклонение не может быть рекомендовано в качестве оценки масштаба.

Ручной отбор выбросов

Традиционно статистики вручную проверяли данные на наличие выбросов и удаляли их, обычно проверяя источник данных, чтобы увидеть, были ли выбросы записаны ошибочно. Действительно, в приведенном выше примере скорости света легко увидеть и удалить два выброса, прежде чем приступить к дальнейшему анализу. Однако в наше время наборы данных часто состоят из большого количества переменных, измеряемых на большом количестве экспериментальных единиц. Поэтому ручной поиск отклонений часто нецелесообразен.

Выбросы часто могут взаимодействовать таким образом, что маскируют друг друга. В качестве простого примера рассмотрим небольшой одномерный набор данных, содержащий один скромный и один большой выброс. Оценочное стандартное отклонение будет сильно завышено из-за большого выброса. В результате скромный выброс выглядит относительно нормальным. Как только большой выброс удаляется, расчетное стандартное отклонение уменьшается, и скромный выброс теперь выглядит необычно.

Проблема маскировки усугубляется по мере увеличения сложности данных. Например, в задачах регрессии диагностические графики используются для выявления выбросов. Однако обычно после удаления нескольких выбросов становятся видимыми другие. Проблема еще хуже в более высоких измерениях.

Надежные методы обеспечивают автоматические способы обнаружения, уменьшения (или удаления) и маркировки выбросов, что в значительной степени устраняет необходимость в ручном скрининге. Необходимо соблюдать осторожность; первоначальные данные, показывающие, что озоновая дыра впервые появилась над Антарктидой, были отклонены как выходящие за пределы при проверке без участия человека.

Разнообразие приложений

Хотя в этой статье рассматриваются общие принципы одномерных статистических методов, существуют также надежные методы для задач регрессии, обобщенных линейных моделей и оценки параметров различных распределений.

устойчивости

Основными инструментами, используемыми для описания и измерения устойчивости, являются точка пробоя , функция влияния и кривая чувствительности .

Точка прорыва

Интуитивно понятно, что критическая точка оценщика — это доля неверных наблюдений (например, произвольно больших наблюдений), которые оценщик может обработать, прежде чем выдаст неправильный (например, произвольно большой) результат. Обычно асимптотический предел (бесконечная выборка) указывается как точка пробоя, хотя точка пробоя с конечной выборкой может быть более полезной. Например, учитывая $n$ независимые случайные величины $(X_{1},\dots ,X_{n})$ и соответствующие реализации $x_{1},\dots ,x_{n}$, мы можем использовать ${\overline {X_{n}}}:={\frac {X_{1}+\cdots +X_{n}}{n}}$ чтобы оценить среднее значение. Такая оценка имеет точку пробоя 0 (или точку пробоя конечной выборки $1/n$), потому что мы можем сделать ${\overline {x}}$ сколь угодно большим, просто изменив любой из $x_{1},\dots ,x_{n}$.

Чем выше точка пробоя оценщика, тем он более устойчив. Интуитивно мы можем понять, что точка разбивки не может превышать 50%, потому что, если более половины наблюдений загрязнены, невозможно отличить основное распределение от загрязняющего распределения Rousseeuw & Leroy (1987) . Следовательно, максимальная точка пробоя равна 0,5, и существуют оценки, которые достигают такой точки пробоя. Например, медиана имеет точку пробоя 0,5. Обрезанное среднее значение X% имеет точку разбивки X% для выбранного уровня X. Huber (1981) и Maronna et al. (2019) содержат более подробную информацию. Уровень и точки срыва мощности испытаний исследованы в He, Simpson & Portnoy (1990) .

Статистику с высокими точками пробоя иногда называют устойчивой статистикой.

Пример: данные о скорости света

В примере со скоростью света удаление двух самых низких наблюдений приводит к изменению среднего значения с 26,2 до 27,75, т.е. на 1,55. Оценка масштаба, полученная методом Qn, равна 6,3. Мы можем разделить это значение на квадратный корень из размера выборки, чтобы получить надежную стандартную ошибку, и мы находим эту величину равной 0,78. Таким образом, изменение среднего значения в результате удаления двух выбросов примерно в два раза превышает робастную стандартную ошибку.

Обрезанное на 10% среднее значение данных о скорости света составляет 27,43. Удаление двух самых низких наблюдений и повторный расчет дают 27,67. Обрезанное среднее меньше подвержено влиянию выбросов и имеет более высокую точку пробоя.

Если мы заменим самое низкое наблюдение, -44, на -1000, среднее значение станет 11,73, тогда как усеченное на 10% среднее значение по-прежнему будет 27,43. Во многих областях прикладной статистики данные обычно подвергаются логарифмическому преобразованию, чтобы сделать их почти симметричными. Очень маленькие значения становятся большими отрицательными при логарифмическом преобразовании, а нули становятся отрицательно бесконечными. Поэтому данный пример представляет практический интерес.

влияния

См. Также: Расстояние Кука

Двухвесовая функция Тьюки

Эмпирическая функция влияния — это мера зависимости оценщика от значения любой из точек выборки. Это немодельная мера в том смысле, что она просто основана на повторном вычислении оценщика с другой выборкой. Справа находится двухвесовая функция Тьюки, которая, как мы позже увидим, является примером того, как должна выглядеть «хорошая» (в смысле, определенном позже) эмпирическая функция влияния.

С математической точки зрения функция влияния определяется как вектор в пространстве оценщика, который, в свою очередь, определяется для выборки, которая является подмножеством генеральной совокупности:

1. $(\Omega ,{\mathcal {A}},P)$ это вероятностное пространство,
2. $({\mathcal {X}},\Sigma )$ - измеримое пространство (пространство состояний),
3. $\Theta$ представляет собой пространство параметров размерности $p\in \mathbb {N} ^{*}$,
4. $(\Gamma ,S)$ это измеримое пространство,

Например,

1. $(\Omega ,{\mathcal {A}},P)$ любое вероятностное пространство,
2. $({\mathcal {X}},\Sigma )=(\mathbb {R} ,{\mathcal {B}})$,
3. $\Theta =\mathbb {R} \times \mathbb {R} ^{+}$
4. $(\Gamma ,S)=(\mathbb {R} ,{\mathcal {B}})$,

Эмпирическая функция влияния определяется следующим образом.

Позволять $n\in \mathbb {N} ^{*}$ и $X_{1},\dots ,X_{n}:(\Omega ,{\mathcal {A}})\rightarrow ({\mathcal {X}},\Sigma )$ являются идентификаторами и $(x_{1},\dots ,x_{n})$ представляет собой выборку из этих переменных. $T_{n}:({\mathcal {X}}^{n},\Sigma ^{n})\rightarrow (\Gamma ,S)$ является оценщиком. Позволять $i\in \{1,\dots ,n\}$. Эмпирическая функция влияния $EIF_{i}$ при наблюдении $i$ определяется:

$EIF_{i}:x\in {\mathcal {X}}\mapsto n\cdot (T_{n}(x_{1},\dots ,x_{i-1},x,x_{i+1},\dots ,x_{n})-T_{n}(x_{1},\dots ,x_{i-1},x_{i},x_{i+1},\dots ,x_{n}))$

Это означает, что мы заменяем i -е значение в выборке произвольным значением и смотрим на выходные данные оценщика. Альтернативно, EIF определяется как эффект, масштабированный по n+1 вместо n, на оценщик добавления точки $x$ к образцу.

Функция влияния и кривая чувствительности

Вместо того, чтобы полагаться исключительно на данные, мы могли бы использовать распределение случайных величин. Подход существенно отличается от подхода, описанного в предыдущем пункте. Сейчас мы пытаемся увидеть, что происходит с оценщиком, когда мы немного изменяем распределение данных: он предполагает распределение и измеряет чувствительность к изменениям в этом распределении. Напротив, эмпирическое влияние предполагает набор выборок и измеряет чувствительность к изменениям в выборках.

Позволять $A$ — выпуклое подмножество множества всех конечных знаковых мер на $\Sigma$. Мы хотим оценить параметр $\theta \in \Theta$ распределения $F$ в $A$. Пусть функционал $T:A\rightarrow \Gamma$ быть асимптотическим значением некоторой последовательности оценок $(T_{n})_{n\in \mathbb {N} }$. Будем предполагать, что этот функционал согласован по Фишеру , т.е. $\forall \theta \in \Theta ,T(F_{\theta })=\theta$. Это означает, что в модели $F$, последовательность оценщиков асимптотически измеряет правильную величину.

Позволять $G$ быть некоторым распределением в $A$. Что происходит, когда данные не соответствуют модели $F$ именно, но другой, немного другой, "идущий навстречу" $G$?

Мы смотрим на:

$dT_{G-F}(F)=\lim _{t\rightarrow 0^{+}}{\frac {T(tG+(1-t)F)-T(F)}{t}}$,

которая является односторонней производной Гато от $T$ в $F$, в направлении $G-F$.

Позволять $x\in {\mathcal {X}}$. $\Delta _{x}$ - вероятностная мера, которая дает массу 1 $\{x\}$. Мы выбираем $G=\Delta _{x}$. Тогда функция влияния определяется следующим образом:

$IF(x;T;F):=\lim _{t\rightarrow 0^{+}}{\frac {T(t\Delta _{x}+(1-t)F)-T(F)}{t}}.$

Он описывает эффект бесконечно малого загрязнения в точке $x$ от искомой оценки, стандартизированной по массе $t$ загрязнения (асимптотическая погрешность, вызванная загрязнением наблюдений). Для надежной оценки нам нужна ограниченная функция влияния, то есть такая, которая не стремится к бесконечности, когда x становится сколь угодно большим.

Желаемые свойства

Свойства функции влияния, которые придают ей желаемую производительность:

1. Конечная точка отклонения $\rho ^{*}$,
2. Малая чувствительность к грубым ошибкам $\gamma ^{*}$,
3. Небольшая чувствительность к локальному сдвигу $\lambda ^{*}$.

Точка отклонения

$\rho ^{*}:=\inf _{r>0}\{r:IF(x;T;F)=0,|x|>r\}$

Чувствительность к грубым ошибкам

$\gamma ^{*}(T;F):=\sup _{x\in {\mathcal {X}}}|IF(x;T;F)|$

Чувствительность к локальному сдвигу

$\lambda ^{*}(T;F):=\sup _{(x,y)\in {\mathcal {X}}^{2} \atop x\neq y}\left\|{\frac {IF(y;T;F)-IF(x;T;F)}{y-x}}\right\|$

Это значение, которое очень похоже на константу Липшица , представляет собой эффект небольшого смещения наблюдения от $x$ в соседнюю точку $y$, т. е. добавить наблюдение в $y$ и удалите один в $x$.

M-оценщики

Основная статья: M-оценщик

(Математический контекст этого параграфа дан в разделе об эмпирических функциях влияния.)

Исторически было предложено несколько подходов к устойчивой оценке, включая R-оценки и L-оценки . Однако в настоящее время М-оценщики, похоже, доминируют в этой области из-за их универсальности, их потенциала для высоких точек отказа и сравнительно высокой эффективности. См. Хубер (1981) .

М-оценки по своей сути не являются устойчивыми. Однако их можно спроектировать для достижения благоприятных свойств, включая надежность. M-оценщик представляет собой обобщение оценок максимального правдоподобия (MLE), которое определяется путем максимизации ${\textstyle \prod _{i=1}^{n}f(x_{i})}$ или, что то же самое, минимизация ${\textstyle \sum _{i=1}^{n}-\log f(x_{i})}$. В 1964 году Хубер предложил обобщить это до минимизации ${\textstyle \sum _{i=1}^{n}\rho (x_{i})}$, где $\rho$ это некоторая функция. Таким образом, MLE являются особым случаем M-оценок (отсюда и название: оценки « типа максимального правдоподобия»).

Минимизация ${\textstyle \sum _{i=1}^{n}\rho (x_{i})}$ часто можно сделать, дифференцируя $\rho$ и решение ${\textstyle \sum _{i=1}^{n}\psi (x_{i})=0}$, где ${\textstyle \psi (x)={\frac {d\rho (x)}{dx}}}$ (если $\rho$ имеет производную).

Несколько вариантов $\rho$ и $\psi$ были предложены. На двух рисунках ниже показаны четыре $\rho$ функции и соответствующие им $\psi$ функции.

Для квадратичных ошибок $\rho (x)$ увеличивается с возрастающей скоростью, в то время как для абсолютных ошибок она увеличивается с постоянной скоростью. При использовании Winsorizing вводится смесь этих двух эффектов: для малых значений x $\rho$ увеличивается в квадрате, но как только выбранный порог достигается (1,5 в этом примере), скорость увеличения становится постоянной. Эта функция оценки Winsorized также известна как функция потерь Хубера .

Двухвесовая функция Тьюки (также известная как биквадратная) поначалу ведет себя аналогично функции квадрата ошибки, но при больших ошибках функция сужается.

Свойства M-оценщиков

M-оценки не обязательно относятся к функции плотности вероятности. Поэтому готовые подходы к выводам, возникающие из теории правдоподобия, в целом не могут быть использованы.

Можно показать, что M-оценки асимптотически нормально распределены, так что, пока можно вычислить их стандартные ошибки, доступен приближенный подход к выводу.

Поскольку М-оценки являются нормальными только асимптотически, для небольших размеров выборки может быть целесообразным использовать альтернативный подход к выводу, такой как бутстрап. Однако М-оценки не обязательно уникальны (т. е. может существовать более одного решения, удовлетворяющего уравнениям). Кроме того, возможно, что любая конкретная выборка начальной загрузки может содержать больше выбросов, чем точка разбивки оценщика. Поэтому при разработке схем начальной загрузки необходима определенная осторожность.

Конечно, как мы видели на примере скорости света, среднее значение нормально распределяется только асимптотически, а при наличии выбросов аппроксимация может быть очень плохой даже для довольно больших выборок. Однако классические статистические тесты, в том числе основанные на среднем значении, обычно ограничиваются сверху номинальным размером теста. Этого нельзя сказать о М-оценках, и частота ошибок типа I может существенно превышать номинальный уровень.

Эти соображения никоим образом не «делают недействительной» M-оценку. Они просто ясно дают понять, что при их использовании необходима определенная осторожность, как и в случае с любым другим методом оценки.

Функция влияния M-оценки

Можно показать, что функция влияния M-оценки $T$ пропорционально $\psi$, это означает, что мы можем получить свойства такой оценки (такие как ее точка отклонения, чувствительность к грубым ошибкам или чувствительность к локальному сдвигу), когда мы знаем ее $\psi$ функция.

$IF(x;T,F)=M^{-1}\psi (x,T(F))$

с $p\times p$ предоставлено:

$M=-\int _{\mathcal {X}}\left({\frac {\partial \psi (x,\theta )}{\partial \theta }}\right)_{T(F)}\,dF(x).$

Выбор ψ и ρ

Во многих практических ситуациях выбор $\psi$ Функция не имеет решающего значения для получения хорошей устойчивой оценки, и многие варианты выбора дадут схожие результаты, которые обеспечивают значительные улучшения с точки зрения эффективности и систематической ошибки по сравнению с классическими оценками при наличии выбросов.

Теоретически, $\psi$ функции должны быть предпочтительными, и бивесовая функция Тьюки (также известная как биквадратная) является популярным выбором. Маронна и др. (2019) рекомендуют использовать двухвесовую функцию с эффективностью при нормальном значении 85%.

подходы

M-оценки не обязательно связаны с функцией плотности и поэтому не являются полностью параметрическими. -распределение Стьюдента Полностью параметрические подходы к надежному моделированию и выводам, как байесовские, так и правдоподобные, обычно имеют дело с распределениями с тяжелыми хвостами, такими как t .

Для t -распределения с $\nu$ степеней свободы, можно показать, что

$\psi (x)={\frac {x}{x^{2}+\nu }}.$

Для $\nu =1$, t -распределение эквивалентно распределению Коши. Степени свободы иногда называют параметром эксцесса . Это параметр, который определяет, насколько тяжелы хвосты. В принципе, $\nu$ можно оценить по данным так же, как и любой другой параметр. На практике обычно бывает несколько локальных максимумов, когда $\nu$ допускается варьировать. Таким образом, обычно исправляют $\nu$ на значении около 4 или 6. На рисунке ниже показано $\psi$-функция для 4 различных значений $\nu$.

Пример: данные о скорости света

Для данных о скорости света, допуская изменение параметра эксцесса и максимизируя правдоподобие, мы получаем

${\hat {\mu }}=27.40,\quad {\hat {\sigma }}=3.81,\quad {\hat {\nu }}=2.13.$

Исправление $\nu =4$ и максимизация вероятности дает

${\hat {\mu }}=27.49,\quad {\hat {\sigma }}=4.51.$

Связанные понятия

Основная величина — это функция данных, основное распределение населения которой является членом параметрического семейства, которое не зависит от значений параметров. Вспомогательная статистика — это такая функция, которая также является статистикой, то есть рассчитывается только на основе данных. Такие функции устойчивы к параметрам в том смысле, что они независимы от значений параметров, но не устойчивы к модели в том смысле, что они предполагают базовую модель (параметрическое семейство), и фактически такие функции часто очень чувствительны. к нарушениям модельных предположений. Таким образом, тестовые статистики , которые часто строятся таким образом, чтобы не быть чувствительными к предположениям о параметрах, по-прежнему очень чувствительны к предположениям модели.

Замена выбросов и пропущенных значений

Основная статья: Вменение (статистика)

Замена недостающих данных называется вменением . Если пропущенных точек относительно мало, есть некоторые модели, которые можно использовать для оценки значений для завершения ряда, например, замена пропущенных значений средним или медианным значением данных. Простую линейную регрессию также можно использовать для оценки пропущенных значений. Кроме того, выбросы иногда можно учесть в данных за счет использования усеченных средних и других средств оценки масштаба, помимо стандартного отклонения (например, MAD) и винсоризации. При расчете усеченного среднего фиксированный процент данных удаляется с каждого конца упорядоченных данных, тем самым устраняя выбросы. Затем вычисляется среднее значение с использованием оставшихся данных. Винсоризация включает в себя адаптацию выброса путем замены его следующим по величине или следующим по наименьшему значению, в зависимости от ситуации.

Однако использование этих типов моделей для прогнозирования пропущенных значений или выбросов в длинных временных рядах сложно и часто ненадежно, особенно если количество значений, которые необходимо заполнить, относительно велико по сравнению с общей длиной записи. Точность оценки зависит от того, насколько хороша и репрезентативна модель и как долго длится период отсутствия значений. Когда в ряду предполагается динамическая эволюция, проблема недостающих точек данных становится упражнением в многомерном анализе (а не одномерном подходе большинства традиционных методов оценки отсутствующих значений и выбросов). В таких случаях многомерная модель будет более репрезентативной, чем одномерная, для прогнозирования пропущенных значений. ( Самоорганизующаяся карта Кохонена KSOM) предлагает простую и надежную многомерную модель для анализа данных, обеспечивая тем самым хорошие возможности для оценки недостающих значений, принимая во внимание их взаимосвязь или корреляцию с другими соответствующими переменными в записи данных.

Стандартные фильтры Калмана не устойчивы к выбросам. С этой целью Тинг, Теодору и Шаал (2007) недавно показали, что модификация теоремы Масрелье может иметь дело с выбросами.

Один из распространенных подходов к обработке выбросов при анализе данных состоит в том, чтобы сначала выполнить обнаружение выбросов, а затем использовать эффективный метод оценки (например, метод наименьших квадратов). Хотя этот подход часто бывает полезным, следует помнить о двух проблемах. Во-первых, метод обнаружения выбросов, основанный на неустойчивой начальной подгонке, может пострадать от эффекта маскировки, то есть группа выбросов может маскировать друг друга и избежать обнаружения. Во-вторых, если для обнаружения выбросов используется первоначальная аппроксимация с высокой степенью разбивки, последующий анализ может унаследовать некоторые неэффективности первоначальной оценки.

См. также

• Надежные доверительные интервалы
• Устойчивая регрессия
• Единично-взвешенная регрессия

Ссылки

• Фаркомени, А.; Греко, Л. (2013), Надежные методы сокращения данных , Бока-Ратон, Флорида: Chapman & Hall/CRC Press, ISBN  978-1-4665-9062-5 .
• Хэмпель, Фрэнк Р .; Ронкетти, Эльвезио М.; Руссиу, Питер Дж .; Стахел, Вернер А. (1986), Надежная статистика , Серия Уайли по вероятностям и математической статистике: Вероятность и математическая статистика, Нью-Йорк: John Wiley & Sons, Inc., ISBN  0-471-82921-8 , МР   0829458 . Переиздано в мягкой обложке, 2005 г.
• Харви, AC; Фернандес, К. (октябрь 1989 г.), «Модели временных рядов для подсчета или качественных наблюдений», Журнал деловой и экономической статистики , 7 (4), Тейлор и Фрэнсис: 407–417, JSTOR   1391639
• Он, Сюмин ; Портной, Стивен (1992), «Перевзвешенные оценки LS сходятся с той же скоростью, что и первоначальная оценка», Annals ofStatistics , 20 (4): 2161–2167, doi : 10.1214/aos/1176348910 , MR   1193333 .
• Он, Сюмин ; Симпсон, Дуглас Г.; Портной, Стивен Л. (1990), «Надежность тестов», Журнал Американской статистической ассоциации , 85 (410): 446–452, doi : 10.2307/2289782 , JSTOR   2289782 , MR   1141746 .
• Хеттманспергер, ТП; Маккин, Дж.В. (1998), Надежные непараметрические статистические методы , Статистическая библиотека Кендалла, том. 5, Нью-Йорк: John Wiley & Sons, Inc., ISBN.  0-340-54937-8 , МР   1604954 . 2-е изд., CRC Press, 2011.
• Хубер, Питер Дж. (1981), Надежная статистика , Нью-Йорк: John Wiley & Sons, Inc., ISBN  0-471-41805-6 , МР   0606374 . Переиздано в мягкой обложке, 2004 г. 2-е изд., Wiley, 2009 г.
• Макдональд, Иэн Л.; Цуккини, Уолтер (1997), Скрытый Марков и другие модели для временных рядов с дискретными значениями , Тейлор и Фрэнсис, ISBN  9780412558504
• Маронна, Рикардо А.; Мартин, Р. Дуглас; Йохай, Виктор Дж.; Салибиан-Баррера, Матиас (2019) [2006], Робастная статистика: теория и методы (с R) , Ряды Уайли по вероятности и статистике (2-е изд.), Чичестер: John Wiley & Sons, Ltd., doi : 10.1002/9781119214656 , ISBN  978-1-119-21468-7 .
• МакБин, Эдвард А.; Роверс, Фрэнк (1998), Статистические процедуры для анализа данных и оценки экологического мониторинга , Прентис-Холл .
• Портной, Стивен; Хэ, Сюмин (2000), «Надежное путешествие в новое тысячелетие», Журнал Американской статистической ассоциации , 95 (452): 1331–1335, doi : 10.2307/2669782 , JSTOR   2669782 , MR   1825288 .
• Пресс, Уильям Х .; Теукольский, Саул А. ; Веттерлинг, Уильям Т.; Фланнери, Брайан П. (2007), «Раздел 15.7. Робастная оценка» , Численные рецепты: искусство научных вычислений (3-е изд.), Cambridge University Press, ISBN  978-0-521-88068-8 , МР   2371990 .
• Розен, К.; Леннокс, Дж. А. (октябрь 2001 г.), «Многомерный и многомасштабный мониторинг операций по очистке сточных вод», Water Research , 35 (14): 3402–3410, doi : 10.1016/s0043-1354(01)00069-0 , PMID   11547861 .
• Руссиу, Питер Дж .; Кру, Кристоф (1993), «Альтернативы медианному абсолютному отклонению», Журнал Американской статистической ассоциации , 88 (424): 1273–1283, doi : 10.2307/2291267 , JSTOR   2291267 , MR   1245360 .
• Руссиу, Питер Дж .; Лерой, Анник М. (1987), Надежная регрессия и обнаружение выбросов , Серия Уайли по вероятностям и математической статистике: прикладная теория вероятностей и статистика , Нью-Йорк: John Wiley & Sons, Inc., doi : 10.1002/0471725382 , ISBN  0-471-85233-3 , МР   0914792 . Переиздано в мягкой обложке, 2003 г.
• Руссиу, Питер Дж .; Хьюберт, Миа (2011), «Надежная статистика для обнаружения выбросов», Междисциплинарные обзоры Wiley: Data Mining and Knowledge Discovery , 1 (1): 73–79, doi : 10.1002/widm.2 , S2CID   17448982 . Препринт
• Рустум, Раби; Аделой, Адебайо Дж. (сентябрь 2007 г.), «Замена выбросов и пропущенных значений из данных об активном иле с использованием самоорганизующейся карты Кохонена», Journal of Environmental Engineering , 133 (9): 909–916, doi : 10.1061/(asce)0733 -9372(2007)133:9(909) .
• Стиглер, Стивен М. (2010), «Изменяющаяся история надежности», The American Statistician , 64 (4): 277–281, doi : 10.1198/tast.2010.10159 , MR   2758558 , S2CID   10728417 .
• Тинг, Джо-Энн; Теодору, Евангелос; Шаал, Стефан (2007), «Фильтр Калмана для надежного обнаружения выбросов», Международная конференция по интеллектуальным роботам и системам – IROS , стр. 1514–1519 .
• фон Мизес, Р. (1947), «Об асимптотическом распределении дифференцируемых статистических функций», Анналы математической статистики , 18 (3): 309–348, doi : 10.1214/aoms/1177730385 , MR   0022330 .
• Уилкокс, Рэнд (2012), Введение в робастную оценку и проверку гипотез , Статистическое моделирование и наука о принятии решений (3-е изд.), Амстердам: Elsevier/Academic Press, стр. 1–22, номер документа : 10.1016/B978-0-12-386983 -8.00001-9 , ISBN  978-0-12-386983-8 , МР   3286430 .

Внешние ссылки

• Конспекты курса Брайана Рипли по надежной статистике.
• В заметках Ника Филлера по статистическому моделированию и вычислениям содержится материал по устойчивой регрессии.
• Сайт Дэвида Оливера содержит конспекты курса по надежной статистике и некоторым наборам данных.
• Онлайн-эксперименты с использованием R и JSXGraph