Смещение оценщика

Для более широкого освещения этой темы см. «Смещение (статистика)» .

В статистике смещение оценщика (или функции смещения ) — это разница между оценщика этого ожидаемым значением и истинным значением оцениваемого параметра. Оценщик или правило принятия решения с нулевым смещением называется несмещенным . В статистике «предвзятость» — это объективное свойство оценщика. Смещение - это понятие, отличное от последовательности : непротиворечивые оценки сходятся по вероятности к истинному значению параметра, но могут быть смещенными или несмещенными; см . предвзятость и последовательность подробнее .

При прочих равных условиях несмещенная оценка предпочтительнее, чем смещенная, хотя на практике часто используются смещенные оценки (как правило, с небольшой погрешностью). При использовании смещенной оценки вычисляются границы смещения. Смещенная оценка может использоваться по разным причинам: потому что несмещенная оценка не существует без дополнительных предположений о совокупности; потому что оценку сложно вычислить (как при несмещенной оценке стандартного отклонения ); потому что смещенная оценка может быть несмещенной по отношению к различным мерам центральной тенденции ; потому что смещенная оценка дает более низкое значение некоторой функции потерь (особенно среднеквадратичной ошибки ) по сравнению с несмещенными оценками (особенно в оценках усадки ); или потому, что в некоторых случаях несмещенность является слишком строгим условием, и единственные несмещенные оценки бесполезны.

Смещение также можно измерить по отношению к медиане , а не к среднему (ожидаемому значению), и в этом случае можно отличить медианное несмещенное от обычного свойства средней несмещенной. Несмещенность к среднему не сохраняется при нелинейных преобразованиях , хотя несмещенность к среднему сохраняется (см. § Эффект преобразований ); например, выборочная дисперсия является смещенной оценкой генеральной дисперсии. Все это проиллюстрировано ниже.

Непредвзятая оценка параметра не всегда должна существовать. Например, не существует несмещенной оценки обратной величины параметра биномиальной случайной величины.

Определение

Предположим, у нас есть статистическая модель , параметризованная действительным числом θ , что приводит к распределению вероятностей для наблюдаемых данных: $P_{\theta }(x)=P(x\mid \theta )$и статистика ${\hat {\theta }}$ который служит оценкой θ данных на основе любых наблюдаемых $x$. То есть мы предполагаем, что наши данные подчиняются некоторому неизвестному распределению. $P(x\mid \theta )$ (где θ — фиксированная неизвестная константа, являющаяся частью этого распределения), а затем мы строим некоторую оценку ${\hat {\theta }}$ который сопоставляет наблюдаемые данные со значениями, которые, как мы надеемся, близки к θ . Предвзятость ​ ​ ${\hat {\theta }}$ относительно $\theta$ определяется как

$\operatorname {Bias} ({\hat {\theta }},\theta )=\operatorname {Bias} _{\theta }[\,{\hat {\theta }}\,]=\operatorname {E} _{x\mid \theta }[\,{\hat {\theta }}\,]-\theta =\operatorname {E} _{x\mid \theta }[\,{\hat {\theta }}-\theta \,],$

где $\operatorname {E} _{x\mid \theta }$ обозначает ожидаемое значение по распределению $P(x\mid \theta )$ (т.е. усреднение по всем возможным наблюдениям $x$). Второе уравнение следует из того, что θ измеримо относительно условного распределения $P(x\mid \theta )$.

Оценщик считается несмещенным , если его смещение равно нулю для всех значений параметра θ или, что то же самое, если ожидаемое значение средства оценки соответствует ожидаемому значению параметра. Непредвзятость не гарантирована. Например, если ${\hat {\theta }}$ является несмещенной оценкой параметра θ , не гарантируется, что g( ${\hat {\theta }}$) является несмещенной оценкой g( θ).

В моделирующем эксперименте, касающемся свойств оценщика, смещение оценщика можно оценить, используя среднюю знаковую разность .

Примеры

Выборочная дисперсия

Основная статья: Выборочная дисперсия

Выборочная дисперсия случайной величины демонстрирует два аспекта систематической ошибки оценки: во-первых, наивная оценка является смещенной, что можно исправить с помощью масштабного коэффициента; во-вторых, несмещенная оценка не является оптимальной с точки зрения среднеквадратической ошибки (MSE), которую можно минимизировать, используя другой масштабный коэффициент, что приводит к смещенной оценке с более низким MSE, чем у несмещенной оценки. Конкретно, наивная оценка суммирует квадраты отклонений и делит их на n, что является смещением. Вместо этого деление на n - 1 дает несмещенную оценку. И наоборот, MSE можно минимизировать путем деления на другое число (в зависимости от распределения), но это приводит к смещенной оценке. Это число всегда больше, чем n - 1, поэтому оно известно как оценка сокращения , поскольку оно «сжимает» несмещенную оценку к нулю; для нормального распределения оптимальное значение равно n + 1.

Предположим, что X ₁ , ..., X _n — независимые и одинаково распределенные (iid) случайные величины с математическим ожиданием µ и дисперсией σ. ² . Если выборочное среднее и неисправленная выборочная дисперсия определяются как

${\overline {X}}\,={\frac {1}{n}}\sum _{i=1}^{n}X_{i}\qquad S^{2}={\frac {1}{n}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}\,{\big )}^{2}\qquad$

тогда С ² является смещенной оценкой σ ² , потому что

${\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} \left[{\frac {1}{n}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}{\big )}^{2}\right]=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}{\bigg (}(X_{i}-\mu )-({\overline {X}}-\mu ){\bigg )}^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}{\bigg (}(X_{i}-\mu )^{2}-2({\overline {X}}-\mu )(X_{i}-\mu )+({\overline {X}}-\mu )^{2}{\bigg )}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+{\frac {1}{n}}({\overline {X}}-\mu )^{2}\sum _{i=1}^{n}1{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+{\frac {1}{n}}({\overline {X}}-\mu )^{2}\cdot n{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]\end{aligned}}$

В продолжение заметим, что вычитая $\mu$ с обеих сторон ${\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}$, мы получаем

${\begin{aligned}{\overline {X}}-\mu ={\frac {1}{n}}\sum _{i=1}^{n}X_{i}-\mu ={\frac {1}{n}}\sum _{i=1}^{n}X_{i}-{\frac {1}{n}}\sum _{i=1}^{n}\mu \ ={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu ).\\[8pt]\end{aligned}}$

Значение (путем перекрестного умножения) $n\cdot ({\overline {X}}-\mu )=\sum _{i=1}^{n}(X_{i}-\mu )$. Тогда предыдущее становится:

${\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\cdot n\cdot ({\overline {X}}-\mu )+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-2({\overline {X}}-\mu )^{2}+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}{\bigg ]}-\operatorname {E} {\bigg [}({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\sigma ^{2}-\operatorname {E} {\bigg [}({\overline {X}}-\mu )^{2}{\bigg ]}=\left(1-{\frac {1}{n}}\right)\sigma ^{2}<\sigma ^{2}.\end{aligned}}$

В этом можно убедиться, обратив внимание на следующую формулу, которая следует из формулы Бьенеме для члена неравенства для ожидания неисправленной выборочной дисперсии выше: $\operatorname {E} {\big [}({\overline {X}}-\mu )^{2}{\big ]}={\frac {1}{n}}\sigma ^{2}$.

Другими словами, ожидаемое значение неисправленной выборочной дисперсии не равно популяционной дисперсии σ. ² , если не умножено на коэффициент нормализации. С другой стороны, выборочное среднее является несмещенным. оценщик среднего значения совокупности μ .

Обратите внимание, что обычное определение выборочной дисперсии таково: $S^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\overline {X}}\,)^{2}$, и это несмещенная оценка дисперсии генеральной совокупности.

Алгебраически говоря, $\operatorname {E} [S^{2}]$ является объективным, потому что:

${\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} \left[{\frac {1}{n-1}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}{\big )}^{2}\right]={\frac {n}{n-1}}\operatorname {E} \left[{\frac {1}{n}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}{\big )}^{2}\right]\\[8pt]&={\frac {n}{n-1}}\left(1-{\frac {1}{n}}\right)\sigma ^{2}=\sigma ^{2},\\[8pt]\end{aligned}}$

где переход ко второй строке использует результат, полученный выше для смещенной оценки. Таким образом $\operatorname {E} [S^{2}]=\sigma ^{2}$, и поэтому $S^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\overline {X}}\,)^{2}$ - несмещенная оценка генеральной дисперсии, σ ² . Отношение между смещенной (нескорректированной) и несмещенной оценками дисперсии известно как поправка Бесселя .

Причина того, что неисправленная выборочная дисперсия S ² , является смещенным, связано с тем, что выборочное среднее представляет собой обычную оценку методом наименьших квадратов (OLS) для µ : ${\overline {X}}$ это число, которое составляет сумму $\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}$ как можно меньше. То есть, когда в эту сумму подставляется любое другое число, сумма может только увеличиваться. В частности, выбор $\mu \neq {\overline {X}}$ дает,

${\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}<{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2},$

а потом

${\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}{\bigg ]}<\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}{\bigg ]}=\sigma ^{2}.\end{aligned}}$

Приведенное выше обсуждение можно понять в геометрических терминах: вектор ${\vec {C}}=(X_{1}-\mu ,\ldots ,X_{n}-\mu )$ можно разложить на «среднюю часть» и «дисперсионную часть», проецируя в направлении ${\vec {u}}=(1,\ldots ,1)$ и к ортогональной дополнительной гиперплоскости этого направления. Получаешь ${\vec {A}}=({\overline {X}}-\mu ,\ldots ,{\overline {X}}-\mu )$ для части вместе ${\vec {u}}$ и ${\vec {B}}=(X_{1}-{\overline {X}},\ldots ,X_{n}-{\overline {X}})$ для дополнительной части. Поскольку это ортогональное разложение, теорема Пифагора гласит: $|{\vec {C}}|^{2}=|{\vec {A}}|^{2}+|{\vec {B}}|^{2}$, и приняв ожидания, получим $n\sigma ^{2}=n\operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]+n\operatorname {E} [S^{2}]$, как указано выше (но раз $n$).Если распределение ${\vec {C}}$ является вращательно-симметричным, как и в случае, когда $X_{i}$ выбираются из гауссова, то в среднем размерность вдоль ${\vec {u}}$ способствует $|{\vec {C}}|^{2}$ в равной степени, как $n-1$ направления, перпендикулярные ${\vec {u}}$, так что $\operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]={\frac {\sigma ^{2}}{n}}$ и $\operatorname {E} [S^{2}]={\frac {(n-1)\sigma ^{2}}{n}}$. В целом это действительно так, как объяснялось выше.

Оценка вероятности Пуассона

Гораздо более крайний случай, когда смещенная оценка лучше, чем любая несмещенная оценка, возникает из распределения Пуассона . Предположим, что X имеет распределение Пуассона с математическим ожиданием λ . Предположим, что требуется оценить

$\operatorname {P} (X=0)^{2}=e^{-2\lambda }\quad$

с выборкой размером 1. (Например, если входящие вызовы на телефонном коммутаторе моделируются как процесс Пуассона, а λ — среднее количество вызовов в минуту, то e ^{−2 мин.} — вероятность того, что в течение следующих двух минут не поступит ни одного звонка.)

Так как математическое ожидание несмещенной оценки δ ( X ) равно оценке , т.е.

$\operatorname {E} (\delta (X))=\sum _{x=0}^{\infty }\delta (x){\frac {\lambda ^{x}e^{-\lambda }}{x!}}=e^{-2\lambda },$

единственная функция данных, составляющих несмещенную оценку, - это

$\delta (x)=(-1)^{x}.\,$

Чтобы убедиться в этом, заметим, что при разложении e ^{− л} из приведенного выше выражения для ожидания оставшаяся сумма представляет собой ряд Тейлора разложение e в ^{− л} а также, что дает e ^{− л} и ^{− л} = и ^{−2 мин.} (см. Характеристики показательной функции ).

Если наблюдаемое значение X равно 100, то оценка равна 1, хотя истинное значение оцениваемой величины, скорее всего, будет около 0, что является противоположным крайним значением. А если X равен 101, то оценка становится еще более абсурдной: она равна -1, хотя оцениваемая величина должна быть положительной.

(Смещенная) оценка максимального правдоподобия

$e^{-2{X}}\quad$

намного лучше, чем эта несмещенная оценка. Его значение не только всегда положительно, но и более точно в том смысле, что его среднеквадратическая ошибка

$e^{-4\lambda }-2e^{\lambda (1/e^{2}-3)}+e^{\lambda (1/e^{4}-1)}\,$

меньше; сравнить СКО несмещенной оценки

$1-e^{-4\lambda }.\,$

СКО являются функциями истинного значения λ . Смещение оценки максимального правдоподобия:

$e^{-2\lambda }-e^{\lambda (1/e^{2}-1)}.\,$

Максимум дискретного равномерного распределения

Основная статья: Максимум дискретного равномерного распределения

Смещение оценок максимального правдоподобия может быть существенным. Рассмотрим случай, когда n билетов с номерами от 1 до n помещены в коробку, и один из них выбирается случайным образом, что дает X. значение Если n неизвестно, то оценкой максимального правдоподобия n является X , даже если математическое ожидание X при заданном n равно только ( n + 1)/2; мы можем быть уверены только в том, что n не меньше X , а возможно, и больше. В этом случае естественная несмещенная оценка равна 2 X − 1.

Медианно-несмещенные оценки

Теория медианно -несмещенных оценок была возрождена Джорджем Брауном в 1947 году:

Оценка одномерного параметра θ будет называться несмещенной по медиане, если при фиксированном θ медиана распределения оценки равна значению θ; т. е. оценка занижается так же часто, как и переоценивается. Кажется, что для большинства целей это требование удовлетворяет тем же требованиям, что и требование несмещенности по среднему, и обладает дополнительным свойством, состоящим в том, что оно инвариантно относительно взаимно однозначного преобразования.

Дополнительные свойства несмещенных по медиане оценок были отмечены Леманном, Бирнбаумом, ван дер Ваартом и Пфанзаглем. В частности, несмещенные по медиане оценки существуют в тех случаях, когда несмещенные по среднему значению и оценки максимального правдоподобия не существуют оценки, . Они инвариантны относительно взаимно однозначных преобразований .

Существуют методы построения несмещенных по медиане оценок для распределений вероятностей, которые имеют монотонные функции правдоподобия , такие как однопараметрические экспоненциальные семейства, чтобы гарантировать, что они оптимальны (в смысле, аналогичном свойству минимальной дисперсии, рассматриваемому для несмещенных к среднему оценок). . Одна из таких процедур является аналогом процедуры Рао-Блэквелла для несмещенных в среднее оценок: эта процедура справедлива для меньшего класса распределений вероятностей, чем процедура Рао-Блэквелла для несмещенной в среднем оценки, но для более широкого класса функций потерь.

Смещение по отношению к другим функциям потерь

с минимальной дисперсией Любая несмещенная в среднем оценка минимизирует риск ( ожидаемые потери квадратичной ошибки ) по отношению к функции потерь (среди несмещенных в среднем оценок), как заметил Гаусс . -несмещенная оценка с минимальным средним абсолютным отклонением Медианно минимизирует риск в отношении функции абсолютных потерь (среди медианно-несмещенных оценок), как заметил Лаплас . Другие функции потерь используются в статистике, особенно в робастной статистике .

Эффект преобразований

Для одномерных параметров несмещенные по медиане оценки остаются несмещенными по медиане при преобразованиях , которые сохраняют порядок (или обратный порядок).Обратите внимание, что когда преобразование применяется к несмещенной к среднему оценке, результат не обязательно должен быть несмещенной к среднему оценке соответствующей статистики населения. Согласно неравенству Йенсена , выпуклая функция при преобразовании будет вносить положительное смещение, тогда как вогнутая функция будет вносить отрицательное смещение, а функция смешанной выпуклости может вносить смещение в любом направлении, в зависимости от конкретной функции и распределения. То есть для нелинейной функции f и несмещенной в среднем оценки U параметра p составная оценка f ( U ) не обязательно должна быть несмещенной в среднем оценкой f ( p ). Например, квадратный корень из несмещенной оценки дисперсии генеральной совокупности не несмещенной является оценкой стандартного отклонения генеральной совокупности : квадратный корень из несмещенной дисперсии выборки , скорректированное стандартное отклонение выборки , является смещенным. Смещение зависит как от выборочного распределения оценщика, так и от преобразования, и его расчет может быть весьма сложным - см. несмещенная оценка стандартного отклонения для обсуждения в этом случае.

Смещение, дисперсия и среднеквадратическая ошибка

Основная статья: Компромисс смещения и дисперсии

См. Также: Точность (правдивость и точность).

Выборочные распределения двух альтернативных оценок параметра β ₀ . Хотя β ₁ ^{^} несмещен, то он явно уступает смещенному β ₂ ^{^} .

Ридж-регрессия является одним из примеров метода, в котором допущение небольшой систематической ошибки может привести к значительному уменьшению дисперсии и повышению надежности оценок в целом.

Хотя смещение количественно определяет среднюю ожидаемую разницу между оценщиком и базовым параметром, можно дополнительно ожидать, что оценщик, основанный на конечной выборке, будет отличаться от параметра из-за случайности в выборке.Оценщик, который минимизирует смещение, не обязательно минимизирует среднеквадратическую ошибку.Одной из мер, которая используется для отражения обоих типов различий, является среднеквадратическая ошибка .

$\operatorname {MSE} ({\hat {\theta }})=\operatorname {E} {\big [}({\hat {\theta }}-\theta )^{2}{\big ]}.$

Можно показать, что оно равно квадрату смещения плюс дисперсия:

${\begin{aligned}\operatorname {MSE} ({\hat {\theta }})=&(\operatorname {E} [{\hat {\theta }}]-\theta )^{2}+\operatorname {E} [\,({\hat {\theta }}-\operatorname {E} [\,{\hat {\theta }}\,])^{2}\,]\\=&(\operatorname {Bias} ({\hat {\theta }},\theta ))^{2}+\operatorname {Var} ({\hat {\theta }})\end{aligned}}$

Если параметр является вектором, применяется аналогичное разложение:

$\operatorname {MSE} ({\hat {\theta }})=\operatorname {trace} (\operatorname {Cov} ({\hat {\theta }}))+\left\Vert \operatorname {Bias} ({\hat {\theta }},\theta )\right\Vert ^{2}$

где $\operatorname {trace} (\operatorname {Cov} ({\hat {\theta }}))$ - след (диагональная сумма) ковариационной матрицы средства оценки и $\left\Vert \operatorname {Bias} ({\hat {\theta }},\theta )\right\Vert ^{2}$ – норма квадратного вектора .

Пример: оценка дисперсии генеральной совокупности.

Например, предположим, что имеется оценка формы

$T^{2}=c\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}=cnS^{2}$

ищется дисперсия генеральной совокупности, как указано выше, но на этот раз для минимизации MSE:

${\begin{aligned}\operatorname {MSE} =&\operatorname {E} \left[(T^{2}-\sigma ^{2})^{2}\right]\\=&\left(\operatorname {E} \left[T^{2}-\sigma ^{2}\right]\right)^{2}+\operatorname {Var} (T^{2})\end{aligned}}$

Если переменные X ₁ ... X _n имеют нормальное распределение, то nS ² /п ² имеет распределение хи-квадрат с n - 1 степенями свободы, что дает:

$\operatorname {E} [nS^{2}]=(n-1)\sigma ^{2}{\text{ and }}\operatorname {Var} (nS^{2})=2(n-1)\sigma ^{4}.$

и так

$\operatorname {MSE} =(c(n-1)-1)^{2}\sigma ^{4}+2c^{2}(n-1)\sigma ^{4}$

С помощью небольшой алгебры можно подтвердить, что именно c = 1/( n + 1) минимизирует эту объединенную функцию потерь, а не c = 1/( n - 1), которая минимизирует только квадрат смещения.

В более общем плане только в ограниченных классах задач будет существовать средство оценки, которое минимизирует MSE независимо от значений параметров.

Однако очень часто можно предположить, что существует компромисс между смещением и дисперсией , когда небольшое увеличение смещения можно обменять на большее уменьшение дисперсии, что в целом приводит к более желательной оценке.

Байесовский взгляд

Большинство байесовцев совершенно не беспокоится о несмещенности (по крайней мере, в формальном смысле теории выборки, изложенном выше) своих оценок. Например, Гельман и соавторы (1995) пишут: «С байесовской точки зрения принцип несмещенности разумен в пределах больших выборок, но в остальном он потенциально вводит в заблуждение».

По сути, разница между байесовским подходом и описанным выше подходом теории выборки заключается в том, что в подходе теории выборки параметр считается фиксированным, а затем рассматриваются вероятностные распределения статистики на основе прогнозируемого выборочного распределения данных. Однако для байесовского подхода это данные , которые известны и фиксированы, и это неизвестный параметр, для которого делается попытка построить распределение вероятностей, используя теорему Байеса :

$p(\theta \mid D,I)\propto p(\theta \mid I)p(D\mid \theta ,I)$

Здесь второй член — вероятность данных при неизвестном значении параметра θ — зависит только от полученных данных и моделирования процесса генерации данных. Однако байесовский расчет также включает в себя первый член, априорную вероятность для θ, которая учитывает все, что аналитик может знать или подозревать о θ до того, как поступят данные. Эта информация не играет никакой роли в подходе теории выборки; действительно, любая попытка включить его будет рассматриваться как «отклонение» от того, на что указывают исключительно данные. Поскольку байесовские расчеты включают в себя априорную информацию, поэтому практически неизбежно, что их результаты не будут «несмещенными» с точки зрения теории выборки.

Но результаты байесовского подхода могут отличаться от подхода теории выборки, даже если байесовский подход пытается принять «неинформативный» априор.

Например, рассмотрим еще раз оценку неизвестной генеральной дисперсии σ ² нормального распределения с неизвестным средним значением, где желательно оптимизировать c в функции ожидаемых потерь

$\operatorname {ExpectedLoss} =\operatorname {E} \left[\left(cnS^{2}-\sigma ^{2}\right)^{2}\right]=\operatorname {E} \left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]$

Стандартным выбором неинформативного априора для этой задачи является априор Джеффриса , $\scriptstyle {p(\sigma ^{2})\;\propto \;1/\sigma ^{2}}$, что эквивалентно принятию априорной плоскости, инвариантной к масштабированию, для ln(σ ² ) .

Одним из последствий принятия этого априора является то, что S ² /п ² остается ключевой величиной , т.е. распределением вероятностей S ² /п ² зависит только от S ² /п ² , независимо от значения S ² или σ ² :

$p\left({\tfrac {S^{2}}{\sigma ^{2}}}\mid S^{2}\right)=p\left({\tfrac {S^{2}}{\sigma ^{2}}}\mid \sigma ^{2}\right)=g\left({\tfrac {S^{2}}{\sigma ^{2}}}\right)$

Однако в то время как

$\operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]=\sigma ^{4}\operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]$

в отличие

$\operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]\neq \sigma ^{4}\operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]$

- когда ожидание принимается за распределение вероятностей σ ² учитывая S ² , как в байесовском случае, а не S ² учитывая σ ² , уже нельзя брать σ ⁴ как константу и вынесите ее на множитель. Следствием этого является то, что по сравнению с расчетом по теории выборки байесовский расчет придает больший вес большим значениям σ. ² , правильно принимая во внимание (чего не могут сделать вычисления по теории выборки), что при этой функции квадрата потерь следствие недооценки больших значений σ ² с точки зрения квадрата потерь обходится дороже, чем переоценка малых значений σ. ² .

Разработанный байесовский расчет дает масштабированное обратное распределение хи-квадрат с n - 1 степенями свободы для апостериорного распределения вероятностей σ. ² . Ожидаемые потери минимизируются, когда cnS ² = <σ ² >; это происходит, когда c = 1/( n − 3).

Таким образом, даже при неинформативном априорном подходе байесовский расчет может не дать такого же результата по минимизации ожидаемых потерь, как соответствующий расчет по теории выборки.

См. также

• Последовательная оценка
• Эффективный оценщик
• Теория оценки
• Ожидаемый убыток
• Ожидаемая стоимость
• Функция потерь
• Несмещенная оценка с минимальной дисперсией
• Смещение пропущенной переменной
• Предвзятость оптимизма
• Оценщик соотношения
• Статистическая теория принятия решений

Ссылки

• Браун, Джордж В. «Об оценке малой выборки». Анналы математической статистики , вып. 18, нет. 4 (декабрь 1947 г.), стр. 582–585. JSTOR   2236236 .
• Леманн, Э.Л. (декабрь 1951 г.). «Общая концепция беспристрастности». Анналы математической статистики . 22 (4): 587–592. JSTOR   2236928 .
• Бирнбаум, Аллан (март 1961 г.). «Единая теория оценки, I». Анналы математической статистики . 32 (1): 112–135. {{cite journal}}: CS1 maint: дата и год ( ссылка )
• Ван дер Ваарт, HR (июнь 1961 г.). «Некоторые расширения идеи предвзятости» . Анналы математической статистики . 32 (2): 436–447. {{cite journal}}: CS1 maint: дата и год ( ссылка )
• Пфанзагль, Иоганн (1994). Параметрическая статистическая теория . Вальтер де Грюйтер.
• Стюарт, Алан; Орд, Кейт; Арнольд, Стивен [Ф.] (2010). Классический вывод и линейная модель . Продвинутая теория статистики Кендалла. Том. 2А. Уайли. ISBN  978-0-4706-8924-0 . .
• Воинов, Василий [Г.]; Никулин, Михаил [С.] (1993). Несмещенные оценки и их приложения . Том. 1: Одномерный случай. Дордрект: Kluwer Academic Publishers. ISBN  0-7923-2382-3 .
• Воинов, Василий [Г.]; Никулин, Михаил [С.] (1996). Несмещенные оценки и их приложения . Том. 2: Многомерный случай. Дордрект: Kluwer Academic Publishers. ISBN  0-7923-3939-8 .
• Клебанов, Лев [Б.]; Рачев, Светлозар [Т.]; Фабоцци, Фрэнк [Дж.] (2009). Робастные и неробастные модели в статистике . Нью-Йорк: Издательство Nova Scientific. ISBN  978-1-60741-768-2 .

Внешние ссылки

• «Несмещенная оценка» , Математическая энциклопедия , EMS Press , 2001 [1994]