Пример Штейна

В теории принятия решений и оценки теории пример Штейна (также известный как феномен Штейна или парадокс Штейна ) представляет собой наблюдение, что, когда три или более параметров оцениваются одновременно, существуют комбинированные оценки, более точные в среднем (то есть имеющие более низкую ожидаемую среднеквадратическую ошибку). ), чем любой метод, который обрабатывает параметры отдельно. Он назван в честь Чарльза Стайна из Стэнфордского университета , открывшего это явление в 1955 году.

Интуитивное объяснение состоит в том, что оптимизация среднеквадратической ошибки комбинированной оценки — это не то же самое, что оптимизация ошибок отдельных оценок отдельных параметров. С практической точки зрения, если комбинированная ошибка действительно представляет интерес, то следует использовать комбинированную оценку, даже если основные параметры независимы. Если вместо этого вас интересует оценка отдельного параметра, то использование комбинированной оценки не поможет и даже хуже.

Официальное заявление

Ниже приводится простейшая форма парадокса, частный случай, когда количество наблюдений равно количеству оцениваемых параметров. Позволять ${\boldsymbol {\theta }}$ быть вектором, состоящим из $n\geq 3$ неизвестные параметры. Для оценки этих параметров необходимо одно измерение $X_{i}$ выполняется для каждого параметра $\theta _{i}$, в результате чего получается вектор $\mathbf {X}$ длины $n$. измерения, как известно, являются независимыми гауссовыми Предположим, что случайными величинами со средним значением ${\boldsymbol {\theta }}$ и дисперсия 1, т.е. $\mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\theta }},\mathbf {I} _{n})$. Таким образом, каждый параметр оценивается с использованием одного зашумленного измерения, и каждое измерение одинаково неточно.

В этих условиях интуитивно и общепринято использовать каждое измерение как оценку соответствующего ему параметра. Это так называемое «обычное» решающее правило можно записать как ${\hat {\boldsymbol {\theta }}}=\mathbf {X}$, который является оценкой максимального правдоподобия (MLE). Качество такой оценки измеряется ее функцией риска . Обычно используемой функцией риска является среднеквадратическая ошибка , определяемая как $\mathbb {E} [\|{\boldsymbol {\theta }}-{\hat {\boldsymbol {\theta }}}\|^{2}]$. Удивительно, но оказывается, что «обычное» решающее правило субоптимально ( недопустимо ) с точки зрения среднеквадратической ошибки, когда $n\geq 3$. Другими словами, в обсуждаемой здесь ситуации существуют альтернативные оценки, которые всегда достигают более низкой среднеквадратической ошибки, независимо от значения ${\boldsymbol {\theta }}$ является. Для данного ${\boldsymbol {\theta }}$ очевидно, можно определить идеальную «оценку», которая всегда справедлива. ${\boldsymbol {\theta }}$, но эта оценка была бы плохой для других значений ${\boldsymbol {\theta }}$.

Оценки парадокса Штейна для данного ${\boldsymbol {\theta }}$, лучше, чем «обычное» решающее правило $\mathbf {X}$ для некоторых $\mathbf {X}$ но обязательно хуже для других. Только в среднем они лучше. Точнее, оценщик ${\hat {\boldsymbol {\theta }}}_{1}$ говорят, что он доминирует над другой оценкой ${\hat {\boldsymbol {\theta }}}_{2}$ если для всех значений ${\boldsymbol {\theta }}$, риск ${\hat {\boldsymbol {\theta }}}_{1}$ ниже или равен риску ${\hat {\boldsymbol {\theta }}}_{2}$, и если неравенство строгое для некоторого ${\boldsymbol {\theta }}$. Оценка называется допустимой, если ни одна другая оценка не доминирует над ней, в противном случае она недопустима . Таким образом, пример Штейна можно просто сформулировать следующим образом: «Обычное» решающее правило среднего многомерного гауссовского распределения недопустимо при риске среднеквадратической ошибки.

Многие простые и практичные средства оценки обеспечивают лучшую производительность, чем «обычное» решающее правило. Самый известный пример — оценка Джеймса–Стейна , которая сжимает $\mathbf {X}$ к определенной точке (например, к началу координат) на величину, обратно пропорциональную расстоянию $\mathbf {X}$ с этого момента. Набросок доказательства этого результата см. в разделе « Доказательство примера Стейна» . Альтернативное доказательство принадлежит Ларри Брауну: он доказал, что обычная оценка для $n$-мерный многомерный нормальный средний вектор допустим тогда и только тогда, когда $n$ -мерное броуновское движение рекуррентно. Поскольку броуновское движение не является рекуррентным для $n\geq 3$, MLE не допускается для $n\geq 3$.

Интуитивное объяснение

Для любого конкретного значения ${\boldsymbol {\theta }}$ новый оценщик улучшит хотя бы одну из отдельных среднеквадратических ошибок $\mathbb {E} [(\theta _{i}-{\hat {\theta }}_{i})^{2}].$ Это несложно – например, если ${\boldsymbol {\theta }}$ находится между −1 и 1, и $\sigma =1$, то оценка, которая линейно сжимается $\mathbf {X}$ в сторону 0 на 0,5 (т.е. $\operatorname {sign} (X_{i})\max(|X_{i}|-0.5,0)$, мягкая установка порога с порогом $0.5$) будет иметь меньшую среднеквадратическую ошибку, чем $\mathbf {X}$ сам. Но есть и другие ценности ${\boldsymbol {\theta }}$ для которого эта оценка хуже, чем $\mathbf {X}$ сам. Хитрость оценщика Штейна и других, приводящих к парадоксу Штейна, заключается в том, что они корректируют сдвиг таким образом, что всегда (для любого ${\boldsymbol {\theta }}$ вектор) хотя бы один $X_{i}$ чья среднеквадратическая ошибка улучшена, и ее улучшение более чем компенсирует любое ухудшение среднеквадратической ошибки, которое может произойти для другого ${\hat {\theta }}_{i}$. Беда в том, что, не зная ${\boldsymbol {\theta }}$, вы не знаете, какой из $n$ Среднеквадратические ошибки улучшены, поэтому вы не можете использовать оценщик Штейна только для этих параметров.

Пример приведенной выше настройки встречается при оценке канала , например, в телекоммуникациях, поскольку на общую производительность канала влияют различные факторы.

Подразумеваемое

Пример Штейна удивителен, поскольку «обычное» правило принятия решений интуитивно понятно и широко используется. Фактически, многочисленные методы построения оценщика, включая оценку максимального правдоподобия , наилучшую линейную несмещенную оценку , оценку методом наименьших квадратов и оптимальную эквивариантную оценку , все приводят к «обычному» оценщику. Однако, как обсуждалось выше, эта оценка неоптимальна.

Пример

Чтобы продемонстрировать неинтуитивную природу примера Штейна, рассмотрим следующий пример из реальной жизни. Предположим, нам нужно оценить три несвязанных параметра, таких как урожай пшеницы в США в 1993 году, количество зрителей на теннисном турнире Уимблдона в 2001 году и вес случайно выбранного шоколадного батончика из супермаркета. Предположим, у нас есть независимые гауссовы измерения каждой из этих величин. Пример Штейна теперь говорит нам, что мы можем получить лучшую оценку (в среднем) вектора трех параметров, одновременно используя три несвязанных измерения.

На первый взгляд кажется, что каким-то образом мы получаем лучшую оценку урожайности пшеницы в США, измеряя некоторые другие несвязанные статистические данные, такие как количество зрителей на Уимблдоне и вес шоколадного батончика. Однако мы не получили лучшую оценку урожайности пшеницы в США как таковую, но мы создали оценку для вектора средних всех трех случайных величин, которая имеет уменьшенный общий риск. Это происходит потому, что стоимость плохой оценки в одном компоненте вектора компенсируется лучшей оценкой в ​​другом компоненте. Кроме того, конкретный набор из трех оцененных средних значений, полученных с помощью нового оценщика, не обязательно будет лучше, чем обычный набор (измеренные значения). Новая оценка лучше только в среднем.

Набросанное доказательство

Функция риска решающего правила $d(\mathbf {x} )=\mathbf {x}$ является

$R(\theta ,d)=\operatorname {E} _{\theta }[|{\boldsymbol {\theta }}-\mathbf {X} |^{2}]$

$=\int ({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{(-1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}dx$

$=n.$

Теперь рассмотрим решающее правило

$d'(\mathbf {x} )=\mathbf {x} -{\frac {\alpha }{|\mathbf {x} |^{2}}}\mathbf {x} ,$

где $\alpha =n-2$. Мы покажем это $d'$ является лучшим правилом принятия решения, чем $d$. Функция риска – это

$R(\theta ,d')=\operatorname {E} _{\theta }\left[\left|\mathbf {\theta -X} +{\frac {\alpha }{|\mathbf {X} |^{2}}}\mathbf {X} \right|^{2}\right]$

$=\operatorname {E} _{\theta }\left[|\mathbf {\theta -X} |^{2}+2(\mathbf {\theta -X} )^{T}{\frac {\alpha }{|\mathbf {X} |^{2}}}\mathbf {X} +{\frac {\alpha ^{2}}{|\mathbf {X} |^{4}}}|\mathbf {X} |^{2}\right]$

$=\operatorname {E} _{\theta }\left[|\mathbf {\theta -X} |^{2}\right]+2\alpha \operatorname {E} _{\theta }\left[{\frac {\mathbf {(\theta -X)} ^{T}\mathbf {X} }{|\mathbf {X} |^{2}}}\right]+\alpha ^{2}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right]$

— квадратичное по $\alpha$. Мы можем упростить средний термин, рассматривая общую функцию «хорошего поведения». $h:\mathbf {x} \mapsto h(\mathbf {x} )\in \mathbb {R}$ и используя интегрирование по частям . Для $1\leq i\leq n$, для любого непрерывно дифференцируемого $h$ растет достаточно медленно для больших $x_{i}$ у нас есть:

$\operatorname {E} _{\theta }[(\theta _{i}-X_{i})h(\mathbf {X} )\mid X_{j}=x_{j}(j\neq i)]=\int (\theta _{i}-x_{i})h(\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{-(1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}dx_{i}$

$=\left[h(\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{-(1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}\right]_{x_{i}=-\infty }^{\infty }-\int {\frac {\partial h}{\partial x_{i}}}(\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{-(1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}dx_{i}$

$=-\operatorname {E} _{\theta }\left[{\frac {\partial h}{\partial x_{i}}}(\mathbf {X} )\mid X_{j}=x_{j}(j\neq i)\right].$

Поэтому,

$\operatorname {E} _{\theta }[(\theta _{i}-X_{i})h(\mathbf {X} )]=-\operatorname {E} _{\theta }\left[{\frac {\partial h}{\partial x_{i}}}(\mathbf {X} )\right].$

(Этот результат известен как лемма Штейна .) Теперь выбираем

$h(\mathbf {x} )={\frac {x_{i}}{|\mathbf {x} |^{2}}}.$

Если $h$ удовлетворяли условию «хорошего поведения» (это не так, но это можно исправить — см. ниже), мы бы

${\frac {\partial h}{\partial x_{i}}}={\frac {1}{|\mathbf {x} |^{2}}}-{\frac {2x_{i}^{2}}{|\mathbf {x} |^{4}}}$

и так

$\operatorname {E} _{\theta }\left[{\frac {({\boldsymbol {\theta }}-\mathbf {X} )^{T}\mathbf {X} }{|\mathbf {X} |^{2}}}\right]=\sum _{i=1}^{n}\operatorname {E} _{\theta }\left[(\theta _{i}-X_{i}){\frac {X_{i}}{|\mathbf {X} |^{2}}}\right]$

$=-\sum _{i=1}^{n}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}-{\frac {2X_{i}^{2}}{|\mathbf {X} |^{4}}}\right]$

$=-(n-2)\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right].$

Затем вернемся к функции риска $d'$:

$R(\theta ,d')=n-2\alpha (n-2)\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right]+\alpha ^{2}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right].$

Этот квадратичный в $\alpha$ минимизируется при $\alpha =n-2$, давая

$R(\theta ,d')=R(\theta ,d)-(n-2)^{2}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right]$

что, конечно, удовлетворяет $R(\theta ,d')<R(\theta ,d).$ изготовление $d$ недопустимое решающее правило.

Осталось обосновать использование

$h(\mathbf {X} )={\frac {\mathbf {X} }{|\mathbf {X} |^{2}}}.$

Эта функция не является непрерывно дифференцируемой, так как она сингулярна при $\mathbf {x} =0$. Однако функция

$h(\mathbf {X} )={\frac {\mathbf {X} }{\varepsilon +|\mathbf {X} |^{2}}}$

непрерывно дифференцируема, и после прохождения алгебры и пропуска $\varepsilon \to 0$, получаем тот же результат.

См. также

• Оценщик Джеймса – Штейна

Ссылки

• Леманн, Эль ; Казелла, Г. (1998), «гл.5», Теория точечной оценки (2-е изд.), ISBN  0-471-05849-1
• Штейн, К. (1956). «Недопустимость обычной оценки среднего многомерного распределения» . Труды третьего симпозиума в Беркли по математической статистике и теории вероятностей . Том. 1. стр. 197–206. МР   0084922 .
• Сэмворт, Р.Дж. (2012), «Парадокс Штейна» (PDF) , Эврика , 62 : 38–41