Оценщик Джеймса – Штейна

Оценка Джеймса -Стейна представляет собой смещенную оценку среднего значения . ${\boldsymbol {\theta }}$, (возможно) коррелированных гауссовых распределенных случайных величин $Y=\{Y_{1},Y_{2},...,Y_{m}\}$ неизвестными средствами $\{{\boldsymbol {\theta }}_{1},{\boldsymbol {\theta }}_{2},...,{\boldsymbol {\theta }}_{m}\}$.

Оно возникло последовательно в двух основных опубликованных работах. Более ранняя версия оценщика была разработана в 1956 году. когда Чарльз Стайн пришел к относительно шокирующему выводу, что, хотя обычная в то время оценка среднего значения, выборочное среднее , допустимо когда $m\leq 2$, недопустимо , когда $m\geq 3$. Штейн предложил возможное улучшение средства оценки, которое сокращает выборочные средние значения. ${{\boldsymbol {\theta }}_{i}}$ к более центральному среднему вектору ${\boldsymbol {\nu }}$ (который может быть выбран априори или обычно как «среднее среднее» выборочных средних, при условии, что все выборки имеют одинаковый размер). Это наблюдение обычно называют примером или парадоксом Штейна . В 1961 году Уиллард Джеймс и Чарльз Стайн упростили первоначальный процесс.

Можно показать, что оценщик Джеймса – Стейна доминирует над «обычным» методом наименьших квадратов , а это означает, что оценщик Джеймса – Стейна имеет меньшую или равную среднеквадратичную ошибку , чем «обычный» оценщик наименьших квадратов.

Подобно оценке Ходжеса , оценка Джеймса-Стейна является сверхэффективной и нерегулярной при $\theta =0$.

Параметр

Позволять ${\mathbf {Y} }\sim N_{m}({\boldsymbol {\theta }},\sigma ^{2}I),\,$где вектор ${\boldsymbol {\theta }}$ это неизвестное среднее значение ${\mathbf {Y} }$, что $m$-переменная нормально распределена и с известной ковариационной матрицей $\sigma ^{2}I$.

Мы заинтересованы в получении оценки, ${\widehat {\boldsymbol {\theta }}}$, из ${\boldsymbol {\theta }}$на основе одного наблюдения, ${\mathbf {y} }$, из ${\mathbf {Y} }$.

В реальных приложениях это обычная ситуация, когда происходит выборка набора параметров, и выборки искажаются независимым гауссовским шумом . Поскольку среднее значение этого шума равно нулю, может быть разумно использовать сами выборки в качестве оценки параметров. Этот подход представляет собой оценку методом наименьших квадратов , которая ${\widehat {\boldsymbol {\theta }}}_{LS}={\mathbf {y} }$.

Штейн продемонстрировал, что с точки зрения среднеквадратической ошибки $\operatorname {E} \left[\left\|{\boldsymbol {\theta }}-{\widehat {\boldsymbol {\theta }}}\right\|^{2}\right]$, оценка методом наименьших квадратов, ${\widehat {\boldsymbol {\theta }}}_{LS}$, неоптимален для оценщиков на основе усадки, таких как оценщик Джеймса – Стейна , ${\widehat {\boldsymbol {\theta }}}_{JS}$. Парадоксальный результат состоит в том, что существует (возможно) лучшая и никогда не худшая оценка ${\boldsymbol {\theta }}$ Среднеквадратическая ошибка по сравнению со средним значением выборки стала известна как пример Штейна .

Оценка Джеймса – Стейна

MSE (R) оценки наименьших квадратов (ML) по сравнению с оценкой Джеймса – Штейна (JS). Оценка Джеймса – Стейна дает наилучшую оценку, когда норма фактического вектора параметров θ близка к нулю.

Если $\sigma ^{2}$ известна, оценка Джеймса – Стейна имеет вид

${\widehat {\boldsymbol {\theta }}}_{JS}=\left(1-{\frac {(m-2)\sigma ^{2}}{\|{\mathbf {y} }\|^{2}}}\right){\mathbf {y} }.$

Джеймс и Стейн показали, что приведенная выше оценка доминирует. ${\widehat {\boldsymbol {\theta }}}_{LS}$ для любого $m\geq 3$, что означает, что оценщик Джеймса – Стейна всегда обеспечивает меньшую среднеквадратическую ошибку (MSE), чем оценщик максимального правдоподобия . По определению это делает оценку методом наименьших квадратов неприемлемой , когда $m\geq 3$.

Обратите внимание, что если $(m-2)\sigma ^{2}<\|{\mathbf {y} }\|^{2}$ тогда эта оценка просто принимает естественную оценку $\mathbf {y}$ и сжимает его к началу координат 0 . На самом деле это не единственное направление усадки работающее . Пусть ν — произвольный фиксированный вектор размерности $m$. Тогда существует оценка типа Джеймса–Стейна, сжимающаяся к ν , а именно

${\widehat {\boldsymbol {\theta }}}_{JS}=\left(1-{\frac {(m-2)\sigma ^{2}}{\|{\mathbf {y} }-{\boldsymbol {\nu }}\|^{2}}}\right)({\mathbf {y} }-{\boldsymbol {\nu }})+{\boldsymbol {\nu }},\qquad m\geq 3.$

Оценка Джеймса–Стейна доминирует над обычной оценкой для любого ν . Естественный вопрос: независимо ли улучшение по сравнению с обычной оценкой от выбора ν . Ответ — нет. Улучшение незначительно, если $\|{{\boldsymbol {\theta }}-{\boldsymbol {\nu }}}\|$ большой. некоторое знание местоположения θ Таким образом, чтобы получить очень большое улучшение , необходимо . Конечно, именно эту величину мы пытаемся оценить, поэтому у нас нет этих знаний априори . Но мы можем иметь некоторое представление о том, что такое средний вектор. Это можно считать недостатком оценщика: выбор не объективен, поскольку может зависеть от убеждений исследователя. Тем не менее, результат Джеймса и Стайна состоит в том, что любое конечное предположение ν улучшает ожидаемую СКО по сравнению с оценщиком максимального правдоподобия, что равносильно использованию бесконечного ν , что, безусловно, является плохим предположением.

Интерпретация

Рассмотрение оценки Джеймса – Стейна как эмпирического метода Байеса дает некоторое представление об этом результате: предполагается, что θ сама по себе является случайной величиной с априорным распределением. $\sim N(0,A)$, где A оценивается на основе самих данных. Оценка A дает преимущество по сравнению с оценкой максимального правдоподобия только тогда, когда размерность $m$ достаточно велик; следовательно, это не работает для $m\leq 2$. Оценка Джеймса – Стейна является членом класса байесовских оценок, которые доминируют над оценкой максимального правдоподобия.

Следствием приведенного выше обсуждения является следующий противоречивый результат: когда измеряются три или более несвязанных параметров, их общее MSE можно уменьшить с помощью комбинированного средства оценки, такого как средство оценки Джеймса – Стейна; тогда как когда каждый параметр оценивается отдельно, допустима оценка методом наименьших квадратов (LS) . Причудливым примером может служить оценка скорости света, потребления чая на Тайване и веса свиней в Монтане, вместе взятых. Оценка Джеймса – Стейна всегда улучшает общую MSE, т. е. сумму ожидаемых квадратов ошибок каждого компонента. Следовательно, общая MSE при измерении скорости света, потребления чая и веса свиньи улучшится при использовании оценщика Джеймса – Штейна. Однако любой конкретный компонент (например, скорость света) улучшится для некоторых значений параметра и ухудшится для других. Таким образом, хотя оценка Джеймса – Стейна доминирует над оценкой LS при оценке трех или более параметров, ни один отдельный компонент не доминирует над соответствующим компонентом оценки LS.

Вывод из этого гипотетического примера заключается в том, что измерения следует комбинировать, если кто-то заинтересован в минимизации их общей MSE. Например, в телекоммуникационных условиях разумно объединить измерения отводов каналов в сценарии оценки канала , поскольку цель состоит в том, чтобы минимизировать общую ошибку оценки канала.

Оценка Джеймса-Стейна также нашла применение в фундаментальной квантовой теории, где оценка использовалась для улучшения теоретических границ энтропийного принципа неопределенности для более чем трех измерений.

Интуитивный вывод и интерпретация даются гальтонианским подходом. Согласно этой интерпретации, мы стремимся предсказать средние значения совокупности, используя несовершенно измеренные средние выборочные значения . Уравнение оценщика МНК в гипотетической регрессии средних значений генеральной совокупности к выборочным средним дает оценку либо оценщика Джеймса – Стейна (когда мы заставляем пересечение МНК равным 0), либо оценщика Эфрона-Морриса ( когда мы позволяем отрезку изменяться).

Улучшения

Несмотря на интуицию, что оценка Джеймса – Стейна уменьшает оценку максимального правдоподобия ${\mathbf {y} }$ к ${\boldsymbol {\nu }}$, оценка фактически удаляется от ${\boldsymbol {\nu }}$ для небольших значений $\|{\mathbf {y} }-{\boldsymbol {\nu }}\|,$ как множитель на ${\mathbf {y} }-{\boldsymbol {\nu }}$ тогда отрицательный. Это можно легко исправить, заменив этот множитель нулем, когда он отрицательный. Полученная оценка называется оценкой Джеймса – Стейна с положительной частью и определяется выражением

${\widehat {\boldsymbol {\theta }}}_{JS+}=\left(1-{\frac {(m-3)\sigma ^{2}}{\|{\mathbf {y} }-{\boldsymbol {\nu }}\|^{2}}}\right)^{+}({\mathbf {y} }-{\boldsymbol {\nu }})+{\boldsymbol {\nu }},m\geq 4.$

Эта оценка имеет меньший риск, чем базовая оценка Джеймса – Стейна. Отсюда следует, что основная оценка Джеймса–Стейна сама по себе недопустима .

Однако оказывается, что оценка с положительной частью также недопустима. Это следует из общего результата, требующего, чтобы допустимые оценки были гладкими.

Расширения

На первый взгляд может показаться, что оценка Джеймса–Стейна является результатом некоторой особенности постановки задачи. Фактически, оценщик демонстрирует очень широкий эффект; а именно, тот факт, что «обычная» оценка или метод наименьших квадратов часто неприемлема для одновременной оценки нескольких параметров. Этот эффект получил название феномена Штейна и был продемонстрирован для нескольких различных задач, некоторые из которых кратко описаны ниже.

• Джеймс и Стейн продемонстрировали, что представленную выше оценку все еще можно использовать, когда дисперсия $\sigma ^{2}$ неизвестно, заменив его стандартной оценкой дисперсии, ${\widehat {\sigma }}^{2}={\frac {1}{m}}\sum (y_{i}-{\overline {y}})^{2}$. Результат доминирования остается справедливым при том же условии, а именно: $m>2$.
• Результаты в этой статье относятся к случаю, когда только один вектор наблюдения y доступен . Для более общего случая, когда $n$ векторы доступны, результаты аналогичны:

${\widehat {\boldsymbol {\theta }}}_{JS}=\left(1-{\frac {(m-2){\frac {\sigma ^{2}}{n}}}{\|{\overline {\mathbf {y} }}\|^{2}}}\right){\overline {\mathbf {y} }},$

где ${\overline {\mathbf {y} }}$ это $m$-средняя длина $n$ наблюдения.

• Работа Джеймса и Стайна была распространена на случай общей ковариационной матрицы измерений, т. е. когда измерения могут быть статистически зависимыми и иметь различные дисперсии. Можно построить аналогичную доминирующую оценку с соответствующим образом обобщенным условием доминирования. Это можно использовать для построения метода линейной регрессии , который превосходит стандартное применение оценщика LS.
• Результат Штейна был распространен на широкий класс распределений и функций потерь. Однако эта теория дает только результат существования, поскольку явные доминирующие оценки фактически не выявлялись. Получить явные оценки, улучшающие обычную оценку, без конкретных ограничений на лежащие в ее основе распределения довольно сложно.

См. также

• Допустимое решающее правило
• Оценщик Ходжеса
• Оценщик усадки
• Обычный оценщик

Дальнейшее чтение

• Судья Джордж Г.; Бок, Мэн (1978). Статистическое значение претестовых оценок и оценок по правилам Штейна в эконометрике . Нью-Йорк: Северная Голландия. стр. 229–257. ISBN  0-7204-0729-Х .