М-оценщик

В статистике , М-оценки представляют собой широкий класс экстремальных оценок для которых целевой функцией является выборочное среднее значение. И нелинейный метод наименьших квадратов , и оценка максимального правдоподобия являются частными случаями M-оценок. Определение М-оценок было мотивировано надежной статистикой , которая способствовала появлению новых типов М-оценок. Однако М-оценки не являются по своей сути надежными, что ясно из того факта, что они включают в себя оценки максимального правдоподобия, которые, как правило, не являются надежными. Статистическая процедура оценки M-оценки набора данных называется M-оценкой .

В более общем смысле, M-оценщик может быть определен как ноль оценочной функции . Эта оценочная функция часто является производной другой статистической функции. Например, оценка максимального правдоподобия — это точка, в которой производная функции правдоподобия по параметру равна нулю; оценка максимального правдоподобия является критической точкой оценочной таким образом , функции. Во многих приложениях такие M-оценщики можно рассматривать как оценивающие характеристики совокупности.

Историческая мотивация

Метод наименьших квадратов является прототипом М-оценки, поскольку оценка определяется как минимум суммы квадратов остатков.

Еще один популярный метод M-оценки — оценка максимального правдоподобия. Для семейства функций плотности вероятности f, параметризованных θ , максимального правдоподобия оценка θ вычисляется для каждого набора данных путем максимизации функции правдоподобия в пространстве параметров { θ }. Когда наблюдения независимы и одинаково распределены, ML-оценка ${\hat {\theta }}$ удовлетворяет

${\widehat {\theta }}=\arg \max _{\displaystyle \theta }{\left(\prod _{i=1}^{n}f(x_{i},\theta )\right)}\,\!$

или, что то же самое,

${\widehat {\theta }}=\arg \min _{\displaystyle \theta }{\left(\sum _{i=1}^{n}-\log {(f(x_{i},\theta ))}\right)}.\,\!$

Оценки максимального правдоподобия обладают оптимальными свойствами в пределе бесконечного числа наблюдений при довольно общих условиях, но могут быть смещенными и не самыми эффективными оценками для конечных выборок.

Определение

В 1964 году Питер Дж. Хубер предложил обобщить оценку максимального правдоподобия до минимизации

$\sum _{i=1}^{n}\rho (x_{i},\theta ),\,\!$

где ρ — функция с определенными свойствами (см. ниже). Решения

${\hat {\theta }}=\arg \min _{\displaystyle \theta }\left(\sum _{i=1}^{n}\rho (x_{i},\theta )\right)\,\!$

называются М-оценками («М» означает «тип максимального правдоподобия» (Huber, 1981, стр. 43)); другие типы робастных оценок включают L-оценки , R-оценки и S-оценки . Таким образом, оценки максимального правдоподобия (MLE) являются особым случаем M-оценок. При соответствующем масштабировании M-оценки представляют собой частные случаи оценок экстремума (в которых можно использовать более общие функции наблюдений).

Функция ρ или ее производная ψ могут быть выбраны таким образом, чтобы обеспечить желательные свойства оценщика (с точки зрения смещения и эффективности), когда данные действительно соответствуют предполагаемому распределению, и «неплохое» поведение, когда данные генерируются на основе модели, которая в некотором смысле близка к предполагаемому распределению.

Типы

M-оценщики — это решения θ , которые минимизируют

$\sum _{i=1}^{n}\rho (x_{i},\theta ).\,\!$

Эту минимизацию всегда можно выполнить напрямую. Часто проще дифференцировать по θ и найти корень производной. Когда такое дифференцирование возможно, говорят, что M-оценщик имеет ψ-тип . В противном случае говорят, что M-оценка имеет ρ-тип .

В большинстве практических случаев М-оценки имеют ψ-тип.

p-тип

Для положительного целого числа r пусть $({\mathcal {X}},\Sigma )$ и $(\Theta \subset \mathbb {R} ^{r},S)$ быть мерными пространствами. $\theta \in \Theta$ представляет собой вектор параметров. M-оценка ρ-типа $T$ определяется через измеримую функцию $\rho :{\mathcal {X}}\times \Theta \rightarrow \mathbb {R}$. Он отображает распределение вероятностей $F$ на ${\mathcal {X}}$ к значению $T(F)\in \Theta$ (если он существует), что минимизирует $\int _{\mathcal {X}}\rho (x,\theta )dF(x)$:

$T(F):=\arg \min _{\theta \in \Theta }\int _{\mathcal {X}}\rho (x,\theta )dF(x)$

Например, для оценки максимального правдоподобия : $\rho (x,\theta )=-\log(f(x,\theta ))$, где $f(x,\theta )={\frac {\partial F(x,\theta )}{\partial x}}$.

ψ-тип

Если $\rho$ является дифференцируемым относительно $\theta$, вычисление ${\widehat {\theta }}$ обычно гораздо проще. M-оценка ψ-типа T определяется через измеримую функцию $\psi :{\mathcal {X}}\times \Theta \rightarrow \mathbb {R} ^{r}$. Он отображает распределение вероятностей F на ${\mathcal {X}}$ к значению $T(F)\in \Theta$ (если оно существует), которое решает векторное уравнение:

$\int _{\mathcal {X}}\psi (x,\theta )\,dF(x)=0$

$\int _{\mathcal {X}}\psi (x,T(F))\,dF(x)=0$

Например, для оценки максимального правдоподобия : $\psi (x,\theta )=\left({\frac {\partial \log(f(x,\theta ))}{\partial \theta ^{1}}},\dots ,{\frac {\partial \log(f(x,\theta ))}{\partial \theta ^{p}}}\right)^{\mathrm {T} }$, где $u^{\mathrm {T} }$ обозначает транспонирование вектора u и $f(x,\theta )={\frac {\partial F(x,\theta )}{\partial x}}$.

Такая оценка не обязательно является M-оценкой ρ-типа, но если ρ имеет непрерывную первую производную по $\theta$, то необходимым условием того, чтобы M-оценка ψ-типа была M-оценкой ρ-типа, является $\psi (x,\theta )=\nabla _{\theta }\rho (x,\theta )$. Предыдущие определения можно легко распространить на конечные выборки.

Если функция ψ убывает до нуля как $x\rightarrow \pm \infty$, оценка называется нисходящей . Такие оценки обладают некоторыми дополнительными желательными свойствами, например, полным отказом от грубых выбросов.

Вычисление

Для многих вариантов выбора ρ или ψ не существует решения в замкнутой форме, и требуется итерационный подход к вычислениям. Можно использовать стандартные алгоритмы оптимизации функций, такие как Ньютон-Рафсон . Однако в большинстве случаев методом наименьших квадратов с итеративным перевзвешиванием можно выполнить алгоритм аппроксимации ; обычно это предпочтительный метод.

Для некоторых вариантов выбора ψ, в частности, для повторно нисходящих функций, решение может быть неединственным. Этот вопрос особенно актуален в многомерных и регрессионных задачах. Таким образом, необходима определенная осторожность, чтобы гарантировать выбор хороших отправных точек. Надежные отправные точки, такие как медиана как оценка местоположения и медианное абсолютное отклонение как одномерная оценка масштаба, являются общими.

Концентрирующие параметры

При вычислении M-оценок иногда полезно переписать целевую функцию , чтобы уменьшить размерность параметров. Процедура называется «концентрацией» или «профилированием». Примеры, в которых концентрация параметров увеличивает скорость вычислений, включают, казалось бы, несвязанные модели регрессии (SUR). Рассмотрим следующую задачу M-оценки:

$({\hat {\beta }}_{n},{\hat {\gamma }}_{n}):=\arg \max _{\beta ,\gamma }\textstyle \sum _{i=1}^{N}\displaystyle q(w_{i},\beta ,\gamma )$

Предполагая дифференцируемость функции q , M-оценщик решает условия первого порядка:

$\sum _{i=1}^{N}\triangledown _{\beta }\,q(w_{i},\beta ,\gamma )=0$

$\sum _{i=1}^{N}\triangledown _{\gamma }\,q(w_{i},\beta ,\gamma )=0$

Теперь, если мы сможем решить второе уравнение для γ в терминах $W:=(w_{1},w_{2},..,w_{N})$и $\beta$, второе уравнение принимает вид:

$\sum _{i=1}^{N}\triangledown _{\gamma }\,q(w_{i},\beta ,g(W,\beta ))=0$

где g, нужно найти некоторую функцию. Теперь мы можем переписать исходную целевую функцию исключительно через β, подставив функцию g вместо $\gamma$. В результате происходит сокращение количества параметров.

Можно ли выполнить эту процедуру, зависит от конкретных проблем. Однако, когда это возможно, концентрация параметров может в значительной степени облегчить вычисления. Например, при оценке модели SUR из 6 уравнений с 5 объясняющими переменными в каждом уравнении по максимальному правдоподобию количество параметров уменьшается с 51 до 30.

Несмотря на свою привлекательную особенность в вычислениях, концентрация параметров имеет ограниченное применение при выводе асимптотических свойств M-оценки. Наличие W в каждом слагаемом целевой функции затрудняет применение закона больших чисел и центральной предельной теоремы .

Характеристики

Распределение

Можно показать, что M-оценки асимптотически нормально распределены. Таким образом, подходы типа Вальда можно использовать к построению доверительных интервалов и проверке гипотез. Однако, поскольку теория является асимптотической, часто имеет смысл проверить распределение, возможно, исследуя распределение перестановок или бутстреп- распределение.

Функция влияния

Функция влияния M-оценки $\psi$-тип пропорционален его определению $\psi$ функция.

Пусть T — M-оценка ψ-типа, а G — распределение вероятностей, для которого $T(G)$ определяется. Его функция влияния IF равна

$\operatorname {IF} (x;T,G)=-{\frac {\psi (x,T(G))}{\int \left[{\frac {\partial \psi (y,\theta )}{\partial \theta }}\right]f(y)\mathrm {d} y}}$

предполагая, что функция плотности $f(y)$ существует. Доказательство этого свойства М-оценок можно найти у Хубера (1981, раздел 3.2).

Приложения

M-оценщики могут быть построены для параметров местоположения и параметров масштаба в одномерных и многомерных настройках, а также использоваться в устойчивой регрессии.

Примеры

Иметь в виду

Пусть ( X ₁ , ..., X _n ) — набор независимых одинаково распределенных случайных величин с распределением F .

Если мы определим

$\rho (x,\theta )={\frac {(x-\theta )^{2}}{2}},\,\!$

отметим, что это минимизируется, когда является средним значением X θ s. Таким образом, среднее значение является M-оценкой ρ-типа с этой функцией ρ.

Поскольку эта функция ρ непрерывно дифференцируема по θ , среднее значение, таким образом, также является M-оценкой ψ-типа для ψ( x , θ ) = θ − x .

медиана

Вместо этого для медианной оценки ( X ₁ , ..., X _n ) мы можем определить функцию ρ как

$\rho (x,\theta )=|x-\theta |$

и аналогично функция ρ минимизируется, когда является медианой X s θ .

Хотя эта функция ρ не дифференцируема по θ , M-оценка ψ-типа, которая является субградиентом функции ρ, может быть выражена как

$\psi (x,\theta )=\operatorname {sgn}(x-\theta )$

и

$\psi (x,\theta )={\begin{cases}\{-1\},&{\mbox{if }}x-\theta <0\\\{1\},&{\mbox{if }}x-\theta >0\\\left[-1,1\right],&{\mbox{if }}x-\theta =0\end{cases}}$

Достаточные условия статистической согласованности

M-оценки согласованы при различных условиях. Типичный набор предположений состоит в том, что класс функций удовлетворяет равномерному закону больших чисел и что максимум хорошо разделен. В частности, с учетом эмпирической и популяционной цели $M_{n},M:\Theta \rightarrow \mathbb {R}$соответственно, как $n\rightarrow \infty$:

$$\sup _{\theta \in \Theta }|M_{n}(\theta )-M(\theta )|{\stackrel {p}{\rightarrow }}0$$и для каждого $\epsilon >0$: $$\sup _{\theta :d(\theta ,\theta ^{*})\geq \epsilon }M(\theta )<M(\theta ^{*})$$

где $d:\Theta \times \Theta \rightarrow \mathbb {R}$ является функцией расстояния и $\theta ^{*}$ является оптимальным, то M-оценка непротиворечива.

Ограничение равномерной сходимости не обязательно требуется; альтернативный набор предположений состоит в том, чтобы вместо этого рассмотреть поточечную сходимость ( по вероятности ) целевых функций. Кроме того, предположим, что каждый из $M_{n}$ имеет непрерывную производную ровно с одним нулем или имеет неубывающую производную и асимптотически порядок $o_{p}(1)$. Наконец, предположим, что максимум $\theta ^{*}$ хорошо разделен. Тогда M-оценка непротиворечива.

См. также

• Двухшаговая M-оценка
• Надежная статистика
• Устойчивая регрессия
• Спускающаяся M-оценка
• S-оценщик
• Фреше означает

Дальнейшее чтение

• Андерсен, Роберт (2008). Современные методы устойчивой регрессии . Количественные приложения в социальных науках. Том. 152. Лос-Анджелес, Калифорния: Публикации Sage. ISBN  978-1-4129-4072-6 .
• Годамбе, вице-президент (1991). Оценочные функции . Оксфордская серия статистических наук. Том. 7. Нью-Йорк: Кларендон Пресс. ISBN  978-0-19-852228-7 .
• Хейде, Кристофер К. (1997). Хейде, Кристофер С. (ред.). Квазиправдоподобие и его применение: общий подход к оценке оптимальных параметров . Серия Спрингера по статистике. Нью-Йорк: Спрингер. дои : 10.1007/b98823 . ISBN  978-0-387-98225-0 .
• Хубер, Питер Дж. (2009). Надежная статистика (2-е изд.). John Wiley & Sons Inc. Хобокен, Нью-Джерси: ISBN  978-0-470-12990-6 .
• Хоглин, Дэвид К.; Фредерик Мостеллер; Джон В. Тьюки (1983). Понимание надежного и исследовательского анализа данных . John Wiley & Sons Inc. Хобокен, Нью-Джерси: ISBN  0-471-09777-2 .
• Маклиш, Д.Л.; Кристофер Г. Смолл (1989). Теория и приложения статистических функций вывода . Конспект лекций по статистике. Том. 44. Нью-Йорк: Спрингер. ISBN  978-0-387-96720-2 .
• Мукхопадьяй, Паримал (2004). Введение в оценивание функций . Харроу, Великобритания: Alpha Science International, Ltd. ISBN  978-1-84265-163-6 .
• Пресс, WH; Теукольский, С.А.; Феттерлинг, WT; Фланнери, BP (2007), «Раздел 15.7. Робастная оценка» , Численные рецепты: искусство научных вычислений (3-е изд.), Нью-Йорк: Cambridge University Press, ISBN  978-0-521-88068-8
• Серфлинг, Роберт Дж. (2002). Аппроксимационные теоремы математической статистики . Ряд Уайли по вероятности и математической статистике. John Wiley & Sons Inc. Хобокен, Нью-Джерси: ISBN  978-0-471-21927-9 .
• Шапиро, Александр (2000). «Об асимптотике локальных M -оценок с ограничениями». Анналы статистики . 28 (3): 948–960. CiteSeerX   10.1.1.69.2288 . дои : 10.1214/aos/1015952006 . JSTOR   2674061 . МР   1792795 .
• Смолл, Кристофер Г.; Цзиньфан Ван (2003). Численные методы решения нелинейных уравнений . Оксфордская серия статистических наук. Том. 29. Нью-Йорк: Издательство Оксфордского университета. ISBN  978-0-19-850688-1 .
• ван де Гир, Сара А. (2000). Эмпирические процессы в M-оценке: приложения теории эмпирических процессов . Кембриджская серия по статистической и вероятностной математике. Том. 6. Кембридж, Великобритания: Издательство Кембриджского университета. ISBN  978-0-521-65002-1 .
• Уилкокс, Р.Р. (2003). Применение современных статистических методов . Сан-Диего, Калифорния: Academic Press. стр. 55–79.
• Уилкокс, Р.Р. (2012). Введение в робастную оценку и проверку гипотез, 3-е изд . Сан-Диего, Калифорния: Academic Press.

Внешние ссылки

• М-оценщики — введение в тему Чжэнъю Чжана