Предвзятость оценки

Для более широкого охвата этой темы см. Предвзятость (статистика) .

В статистике смещение оценки (или функции смещения ) является разницей между оценки этой ожидаемым значением и истинным значением оцениваемого параметра. Оценка или правило принятия решений с нулевым смещением называются беспристрастными . В статистике «смещение» является объективным свойством оценки. Предвзятость - это отличная концепция от согласованности : последовательные оценки сходятся в вероятности к истинному значению параметра, но могут быть смещенными или беспристрастными (см. Предвзятость в зависимости от согласованности для большего).

При прочих равных, непредвзятая оценка предпочтительнее предвзятой оценки, хотя на практике часто используются смещенные оценки (с в целом небольшим смещением). Когда используется смещенная оценка, рассчитываются границы смещения. Предвзятая оценка может использоваться по разным причинам: потому что непредвзятая оценка не существует без дальнейших предположений о популяции; потому что оценка трудно вычислить (как при беспристрастной оценке стандартного отклонения ); потому что предвзятая оценка может быть беспристрастным в отношении различных показателей центральной тенденции ; потому что смещенная оценка дает более низкое значение некоторой функции потерь (особенно средней квадратной ошибки ) по сравнению с непредвзятыми оценщиками (особенно в оценках усадки ); Или потому, что в некоторых случаях непредвзято слишком сильное состояние, а единственные непредвзятые оценки не полезны.

Смещение также может быть измерено в отношении медианы , а не среднего (ожидаемого значения), и в этом случае человек отличает медиана , не связанную с обычным средним значением. Средняя невозмутимость не сохраняется при нелинейных преобразованиях , хотя средняя унбиация составляет (см. § Эффект преобразований ); Например, дисперсия выборки представляет собой предвзятую оценку для дисперсии населения. Все они проиллюстрированы ниже.

Не всегда необходимо существовать объективная оценка для параметра. Например, не существует непредвзятой оценки для взаимного параметра биномиальной случайной величины.

Определение

Предположим, что у нас есть статистическая модель , параметризованная реальным числом θ , что приводит к распределению вероятности для наблюдаемых данных, $P_{\theta }(x)=P(x\mid \theta )$и статистика ${\hat {\theta }}$ который служит оценкой θ данных на основе любых наблюдаемых $x$Полем То есть мы предполагаем, что наши данные следует за некоторым неизвестным распределением $P(x\mid \theta )$ (где θ - фиксированная неизвестная константа, которая является частью этого распределения), а затем мы строим некоторую оценку ${\hat {\theta }}$ Эти карты наблюдали данные о значениях, которые, как мы надеемся, близки к θ . Предвзятость ​ ​ ${\hat {\theta }}$ относительно $\theta$ определяется как

$\operatorname {Bias} ({\hat {\theta }},\theta )=\operatorname {Bias} _{\theta }[\,{\hat {\theta }}\,]=\operatorname {E} _{x\mid \theta }[\,{\hat {\theta }}\,]-\theta =\operatorname {E} _{x\mid \theta }[\,{\hat {\theta }}-\theta \,],$

где $\operatorname {E} _{x\mid \theta }$ обозначает ожидаемую стоимость по сравнению с распределением $P(x\mid \theta )$ (т.е. усреднение по всем возможным наблюдениям $x$) Второе уравнение следует, поскольку θ измеримо относительно условного распределения $P(x\mid \theta )$.

Оценка считается беспристрастной , если его смещение равна нулю для всех значений параметра θ или эквивалентно, если ожидаемое значение оценки соответствует значению параметра. Беспризнанство не гарантированно перенесено. Например, если ${\hat {\theta }}$ это непредвзятая оценка для параметра θ , не гарантируется, что G ( ${\hat {\theta }}$) является беспристрастной оценкой для G ( θ).

В имитационном эксперименте, касающемся свойств оценки, смещение оценки может быть оценено с использованием средней подписанной разницы .

Примеры

Пример дисперсия

Основная статья: пример дисперсия

Отклонность выбора случайной величины демонстрирует два аспекта смещения оценки: во -первых, наивная оценка смещена, что может быть скорректировано с помощью масштабного коэффициента; Во -вторых, непредвзятая оценка не является оптимальной с точки зрения средней квадратной ошибки (MSE), которая может быть сведена к минимуму с помощью другого масштабного коэффициента, что приводит к смещению оценки с более низкой MSE, чем объективная оценка. Конкретно наивная оценка суммирует квадратные отклонения и делится на n, что предвзято. Разделение вместо этого n - 1 дает непредвзятую оценку. И наоборот, MSE может быть сведен к минимуму путем деления на другое число (в зависимости от распределения), но это приводит к смещению оценки. Это число всегда больше n - 1, поэтому это известно как оценка усадки , поскольку оно «сжимает» объективную оценку в направлении нуля; Для нормального распределения оптимальное значение n + 1.

Предположим , X ₁ , ..., x _n являются независимыми и идентично распределенными (IID) случайными переменными с ожиданием μ и дисперсией σ ² Полем Если среднее значение выборки и некорректированная дисперсия выборки определяются как

${\overline {X}}\,={\frac {1}{n}}\sum _{i=1}^{n}X_{i}\qquad S^{2}={\frac {1}{n}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}\,{\big )}^{2}\qquad$

тогда с ² предвзятая оценка σ ² , потому что

${\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} \left[{\frac {1}{n}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}{\big )}^{2}\right]=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}{\bigg (}(X_{i}-\mu )-({\overline {X}}-\mu ){\bigg )}^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}{\bigg (}(X_{i}-\mu )^{2}-2({\overline {X}}-\mu )(X_{i}-\mu )+({\overline {X}}-\mu )^{2}{\bigg )}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+{\frac {1}{n}}({\overline {X}}-\mu )^{2}\sum _{i=1}^{n}1{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+{\frac {1}{n}}({\overline {X}}-\mu )^{2}\cdot n{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]\end{aligned}}$

Чтобы продолжить, отмечаем, что вычитая $\mu$ с обеих сторон ${\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}$, мы получаем

${\begin{aligned}{\overline {X}}-\mu ={\frac {1}{n}}\sum _{i=1}^{n}X_{i}-\mu ={\frac {1}{n}}\sum _{i=1}^{n}X_{i}-{\frac {1}{n}}\sum _{i=1}^{n}\mu \ ={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu ).\\[8pt]\end{aligned}}$

Значение, (перекрестной мультиплизацией) $n\cdot ({\overline {X}}-\mu )=\sum _{i=1}^{n}(X_{i}-\mu )$Полем Затем предыдущее становится:

${\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\cdot n\cdot ({\overline {X}}-\mu )+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-2({\overline {X}}-\mu )^{2}+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}{\bigg ]}-\operatorname {E} {\bigg [}({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\sigma ^{2}-\operatorname {E} {\bigg [}({\overline {X}}-\mu )^{2}{\bigg ]}=\left(1-{\frac {1}{n}}\right)\sigma ^{2}<\sigma ^{2}.\end{aligned}}$

Это можно увидеть, отметив следующую формулу, которая следует из формулы Bienaymé , для термина в неравенстве для ожидания некорректированной дисперсии выборки выше: $\operatorname {E} {\big [}({\overline {X}}-\mu )^{2}{\big ]}={\frac {1}{n}}\sigma ^{2}$.

Другими словами, ожидаемое значение некорректированной дисперсии выборки не равняется дисперсии популяции σ ² , если не умножено на коэффициент нормализации. Среднее среднее выборку, с другой стороны, является объективным Оценка среднего значения популяции μ .

Обратите внимание, что обычное определение дисперсии выборки $S^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\overline {X}}\,)^{2}$, и это непредвзятая оценка дисперсии населения.

Алгебраически говоря, $\operatorname {E} [S^{2}]$ это непредвзято, потому что:

${\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} \left[{\frac {1}{n-1}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}{\big )}^{2}\right]={\frac {n}{n-1}}\operatorname {E} \left[{\frac {1}{n}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}{\big )}^{2}\right]\\[8pt]&={\frac {n}{n-1}}\left(1-{\frac {1}{n}}\right)\sigma ^{2}=\sigma ^{2},\\[8pt]\end{aligned}}$

где переход ко второй строке использует результат, полученный выше для смещенной оценки. Таким образом $\operatorname {E} [S^{2}]=\sigma ^{2}$и поэтому $S^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\overline {X}}\,)^{2}$ является беспристрастной оценкой дисперсии популяции, σ ² Полем Соотношение между смещенными (некорректными) и беспристрастными оценками дисперсии известно как коррекция Бесселя .

Причина, по которой некорректированная дисперсия выборки, s ² , является смещенным стеблями от того факта, что среднее значение выборки является обычной оценкой наименьших квадратов (OLS) для μ : ${\overline {X}}$ это число, которое делает сумму $\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}$ как можно меньше. То есть, когда любое другое число подключено к этой сумме, сумма может только увеличиваться. В частности, выбор $\mu \neq {\overline {X}}$ дает,

${\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}<{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2},$

а потом

${\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}{\bigg ]}<\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}{\bigg ]}=\sigma ^{2}.\end{aligned}}$

Приведенное выше обсуждение можно понять в геометрических терминах: вектор ${\vec {C}}=(X_{1}-\mu ,\ldots ,X_{n}-\mu )$ может быть разложено на «среднюю часть» и «дисперсионную часть», проецируя направление ${\vec {u}}=(1,\ldots ,1)$ и к этому направлению ортогональный комплемент гиперплоскость. Один получает ${\vec {A}}=({\overline {X}}-\mu ,\ldots ,{\overline {X}}-\mu )$ вдоль части ${\vec {u}}$ и ${\vec {B}}=(X_{1}-{\overline {X}},\ldots ,X_{n}-{\overline {X}})$ для дополнительной части. Поскольку это ортогональное разложение, пифагорейская теорема говорит $|{\vec {C}}|^{2}=|{\vec {A}}|^{2}+|{\vec {B}}|^{2}$, и принимая ожидания, которые мы получаем $n\sigma ^{2}=n\operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]+n\operatorname {E} [S^{2}]$, как указано выше (но времена $n$) Если распределение ${\vec {C}}$ вращательно симметрично, как в случае, когда $X_{i}$ отбираются из гауссовского, а затем в среднем, размер вдоль ${\vec {u}}$ способствует $|{\vec {C}}|^{2}$ одинаково как $n-1$ направления перпендикулярно ${\vec {u}}$, так что $\operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]={\frac {\sigma ^{2}}{n}}$ и $\operatorname {E} [S^{2}]={\frac {(n-1)\sigma ^{2}}{n}}$Полем Это на самом деле верно в целом, как объяснено выше.

Оценка вероятности Пуассона

Гораздо более экстремальный случай предвзятого оценщика лучше, чем любая беспристрастная оценка, возникает из распределения Пуассона . Предположим, что X имеет распределение Пуассона с ожиданием λ . Предположим, что желательно оценить

$\operatorname {P} (X=0)^{2}=e^{-2\lambda }\quad$

С образцом размера 1. (например, при входящих вызовах на телефонном плане моделируется как процесс Пуассона, а λ - среднее количество вызовов в минуту, затем e ^{−2 l} вероятность того, что звонки не появятся в ближайшие две минуты.)

Поскольку ожидание непредвзятого оценки Δ ( x ) равно оценке , т.е.

$\operatorname {E} (\delta (X))=\sum _{x=0}^{\infty }\delta (x){\frac {\lambda ^{x}e^{-\lambda }}{x!}}=e^{-2\lambda },$

Единственная функция данных, составляющих непредвзятую оценку, - это

$\delta (x)=(-1)^{x}.\,$

Чтобы увидеть это, обратите внимание, что при разложении E ^{- λ} Из приведенного выше выражения для ожидания оставшаяся сумма представляет собой серии Тейлор расширение ^{- λ} также, давая E ^{- λ} и ^{- λ} = и ^{−2 l} (См. Характеристики экспоненциальной функции ).

Если наблюдаемое значение x составляет 100, то оценка составляет 1, хотя истинное значение оцениваемой величины, скорее всего, будет почти 0, что является противоположным крайним. И, если x наблюдается 101, то оценка еще более абсурдно: это -1, хотя оцениваемое количество должно быть положительным.

(Смещенная) оценка максимального вероятности

$e^{-2{X}}\quad$

гораздо лучше, чем эта непредвзятая оценка. Мало того, что его значение всегда положительное, но также более точное в том смысле, что его средняя квадратная ошибка

$e^{-4\lambda }-2e^{\lambda (1/e^{2}-3)}+e^{\lambda (1/e^{4}-1)}\,$

меньше; Сравните MSE с непредвзятой оценкой

$1-e^{-4\lambda }.\,$

MSE являются функциями истинного значения λ . Предвзятость оценки максимального правдоподобия:

$e^{-2\lambda }-e^{\lambda (1/e^{2}-1)}.\,$

Максимум дискретного равномерного распределения

Основная статья: максимум дискретного равномерного распределения

Предвзятость оценок максимального правдоподобия может быть существенным. Рассмотрим случай, когда билеты N , пронумерованные от 1 до N, помещаются в коробку, а один выбирается случайным образом, что дает значение x . Если n неизвестно, то оценка максимального правдоподобия N равен x , даже если ожидание x watch n составляет только ( n + 1)/2; Мы можем быть уверены только, что n - это как минимум x и, вероятно, больше. В этом случае естественная беспристрастная оценка составляет 2 x - 1.

Срединно-неуклюжие оценки

Теория срединных оценок была возрождена Джорджем В. Брауном в 1947 году:

Оценка одномерного параметра θ будет считаться срединной невозмутимой, если для фиксированного θ медиана распределения оценки находится в значении θ; т.е. оценка недооценивает так же часто, как она переоценивает. Это требование, по-видимому, для большинства целей достигает столько же, сколько среднего непревзойденного требования, и обладает дополнительным свойством, что оно является инвариантным при преобразовании один к одному.

Дальнейшие свойства срединно-неуверенных оценок были отмечены Лемманом, Брнбаумом, Ван дер Ваэртом и Пфанзаглом. В частности, срединно-несущественные оценки существуют в тех случаях, когда среднего непревзойденного и максимального правдоподобия не существуют. Они инвариантны при преобразовании один к одному .

Существуют методы среднего построения в срединно-увольнении оценки для распределений вероятностей, которые имеют монотонные функции правдоподобия , такие как экспоненциальные семейства однопараметрических экспонент, чтобы гарантировать, что они являются оптимальными (в некотором смысле, аналогичном минимально-вариантному свойству, рассматриваемым для средних неудовлетворенных оценок)) Полем Одна из таких процедур является аналогом процедуры RAO-Blackwell для средних невозмутимых оценок: процедура содержит для меньшего класса распределений вероятностей, чем процедура RAO-Blackwell для средней оценки, но для более крупного класса функций потерь.

Предвзятость в отношении других функций потерь

Любое минимальное среднее значение- UnbiaSed оценка сводит к минимуму риск ( ожидаемую потерю ) в отношении функции потерь в квадрате-ошибках (среди средних несчастных оценок), что наблюдается Gauss . Минимально абсолютного отклонения средняя оценка среднего -Unbiased оценка сводит к минимуму риск в отношении абсолютной функции потерь (среди срединно-неуверенных оценок), как наблюдается Лаплас . Другие функции потерь используются в статистике, особенно в надежной статистике .

Эффект преобразований

Для одномерных параметров срединно-несущественные оценки остаются в срединной унбиации при трансформациях , которые сохраняют порядок (или обратный порядок). Обратите внимание, что, когда трансформация применяется к средней невозмутимой оценке, результат не должен быть средне-непревзойденной оценкой его соответствующей статистики населения. Благодаря неравенству Дженсена , выпуктная функция как преобразование будет вводить положительное смещение, в то время как вогнутая функция будет вводить отрицательное смещение, а функция смешанной выпуклости может вводить смещение в любом направлении, в зависимости от конкретной функции и распределения. То есть, для нелинейной функции F и средне-непревзойденной оценки U параметра P , составная оценка F ( u ) не должна быть средне-невозмутимой оценкой f ( p ). Например, квадратный корень населения непредвзятой оценки дисперсии является не среднеквадратичной оценкой стандартного отклонения популяции : квадратный корень из беспристрастной дисперсии выборки , скорректированное стандартное отклонение выборки , является смещением. Смещение зависит как от распределения отбора проб, так и от преобразования, и может быть довольно вовлечено для расчета - см. Беспризнанная оценка стандартного отклонения для обсуждения в этом случае.

Предвзятость, дисперсия и средняя ошибка в квадрате

Основная статья: компромисс предвзятости - вариант

См. Также: Точность (истинность и точность)

Распределения отбора проб двух альтернативных оценок для параметра β ₀ . Хотя β ₁ ^{^} это непредвзято, он явно уступает смещению β ₂ ^{^} .

Регрессия хребта является одним из примеров метода, в которой разрешение небольшого уклона может привести к значительному снижению дисперсии и более надежных оценках в целом.

В то время как смещение количественно определяет среднюю разницу, которую можно ожидать между оценкой и базовым параметром, можно также ожидать, что оценка, основанная на конечной выборке, может отличаться от параметра из -за случайности в выборке. Оценка, которая минимизирует смещение, не обязательно минимизирует среднюю квадратную ошибку. Одной из мер, которая используется для попытки отразить оба типа различий, является средняя квадратная ошибка ,

$\operatorname {MSE} ({\hat {\theta }})=\operatorname {E} {\big [}({\hat {\theta }}-\theta )^{2}{\big ]}.$

Это может быть показано, что равняется квадрату смещения, плюс дисперсия:

${\begin{aligned}\operatorname {MSE} ({\hat {\theta }})=&(\operatorname {E} [{\hat {\theta }}]-\theta )^{2}+\operatorname {E} [\,({\hat {\theta }}-\operatorname {E} [\,{\hat {\theta }}\,])^{2}\,]\\=&(\operatorname {Bias} ({\hat {\theta }},\theta ))^{2}+\operatorname {Var} ({\hat {\theta }})\end{aligned}}$

Когда параметр является вектором, применяется аналогичное разложение:

$\operatorname {MSE} ({\hat {\theta }})=\operatorname {trace} (\operatorname {Cov} ({\hat {\theta }}))+\left\Vert \operatorname {Bias} ({\hat {\theta }},\theta )\right\Vert ^{2}$

где $\operatorname {trace} (\operatorname {Cov} ({\hat {\theta }}))$ это след (диагональная сумма) ковариационной матрицы оценки и $\left\Vert \operatorname {Bias} ({\hat {\theta }},\theta )\right\Vert ^{2}$ это квадратная векторная норма .

Пример: оценка дисперсии населения

Например, Предположим, оценка формы

$T^{2}=c\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}=cnS^{2}$

стремится к дисперсии населения, как указано выше, но на этот раз, чтобы минимизировать MSE:

${\begin{aligned}\operatorname {MSE} =&\operatorname {E} \left[(T^{2}-\sigma ^{2})^{2}\right]\\=&\left(\operatorname {E} \left[T^{2}-\sigma ^{2}\right]\right)^{2}+\operatorname {Var} (T^{2})\end{aligned}}$

Если переменные x ₁ ... x _n следуют нормальному распределению, то ns ² /м ² имеет распределение хи-квадрат с n -1 градусами свободы, давая:

$\operatorname {E} [nS^{2}]=(n-1)\sigma ^{2}{\text{ and }}\operatorname {Var} (nS^{2})=2(n-1)\sigma ^{4}.$

и так

$\operatorname {MSE} =(c(n-1)-1)^{2}\sigma ^{4}+2c^{2}(n-1)\sigma ^{4}$

С небольшой алгеброй можно подтвердить, что это C = 1/( n + 1), что сводит к минимуму эту комбинированную функцию потерь, а не C = 1/( N - 1), которая минимизирует только квадрат смещения.

В более общем плане только в ограниченных классах проблем будет оценка, которая минимизирует MSE независимо от значений параметров.

Однако очень распространено, что можно воспринимать компромисс предвзятости и варианта , так что небольшое увеличение смещения может быть обменено для большего снижения дисперсии, что приводит к более желательной оценке в целом.

Байесовский вид

Большинство байесовцев довольно не заботятся о непредвзятости (по крайней мере, в формальном смысле теории выборки выше) их оценок. Например, Gelman и Coauthors (1995) пишут: «С точки зрения байесовского языка, принцип беспристрастности является разумным в пределах больших образцов, но в остальном он потенциально вводит в заблуждение».

По сути, разница между байесовским подходом и приведенным выше подходом отбора проб состоит в том, что при подходе к теории выборки параметр принимается в качестве фиксированного, а затем рассматриваются распределения вероятностей статистики на основе прогнозируемого распределения отбора проб. Для байесовской, однако, это известные и фиксированные данные , и это неизвестный параметр, для которого предпринимается попытка построить распределение вероятностей, используя теорему Байеса :

$p(\theta \mid D,I)\propto p(\theta \mid I)p(D\mid \theta ,I)$

Здесь второй термин, вероятность данных с учетом неизвестного значения параметра θ, зависит только от полученных данных и моделирования процесса генерации данных. Однако байесовский расчет также включает в себя первый термин, предшествующую вероятность θ, которая учитывает все, что аналитик может знать или подозревать о θ до появления данных. Эта информация не играет нечто не играет в подход к теории отбора проб; Действительно, любая попытка включить это будет считаться «предвзятостью» от того, что указывалось исключительно данными. В той степени, в которой байесовские расчеты включают предварительную информацию, поэтому в основном неизбежно, что их результаты не будут «беспристрастными» в терминах теории отбора проб.

Но результаты байесовского подхода могут отличаться от подхода теории отбора проб, даже если байесовский старается принять «неинформативную» ранее.

Например, еще раз рассмотрим оценку неизвестной дисперсии населения σ ² нормального распределения с неизвестным средним, где желательно оптимизировать C в функции ожидаемой потери

$\operatorname {ExpectedLoss} =\operatorname {E} \left[\left(cnS^{2}-\sigma ^{2}\right)^{2}\right]=\operatorname {E} \left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]$

Стандартным выбором неинформативного предыдущего для этой проблемы Jeffreys является $\scriptstyle {p(\sigma ^{2})\;\propto \;1/\sigma ^{2}}$, что эквивалентно принятию перекалирующей инвариантной плоской предыдущей для LN (σ ² ) .

Одним из последствий принятия этого ранее является то, что S ² /м ² остается ключевой величиной , то есть распределение вероятностей ² /м ² зависит только от S ² /м ² , независимо от значения S ² или σ ² :

$p\left({\tfrac {S^{2}}{\sigma ^{2}}}\mid S^{2}\right)=p\left({\tfrac {S^{2}}{\sigma ^{2}}}\mid \sigma ^{2}\right)=g\left({\tfrac {S^{2}}{\sigma ^{2}}}\right)$

Однако, пока

$\operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]=\sigma ^{4}\operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]$

в отличие

$\operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]\neq \sigma ^{4}\operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]$

- Когда ожидание воспринимается по поводу распределения вероятности σ ² данный с ² , как это в байесовском случае, а не S ² данный σ ² , нельзя больше принимать σ ⁴ как константа и учитывать это. Следствием этого является то, что, по сравнению с расчетом теории отбора проб, байесовский расчет придает больший вес на большие значения σ ² , должным образом принятие во внимание (как не может быть расчеты отбора проб), что при этой функции по умолчанию в квадрате следствие недооценки больших значений σ ² более дорогостоящий в условиях потери квадрата, чем для переоценки небольших значений σ ² .

Проработанный байесовский расчет дает масштабированное обратное распределение хи-квадрат с n -1 градусами свободы для заднего распределения вероятности σ ² Полем Ожидаемая потеря сводится к минимуму, когда ЦНС ² = <σ ² >; Это происходит, когда c = 1/( n - 3).

Следовательно, даже при неинформативном предварительном отношении байесовский расчет может не привести к тому же результату минимизации ожидаемого потери, что и соответствующий расчет теории отбора проб.

Смотрите также

• Последовательная оценка
• Эффективная оценка
• Теория оценки
• Ожидаемая потеря
• Ожидаемое значение
• Функция потерь
• Минимальная беспристрастная оценка
• Опущенно-переменная предвзятость
• Оптимизм предвзятость
• Оценка соотношения
• Статистическая теория решений

Ссылки

• Браун, Джордж В. "по оценке малой выборки". Анналы математической статистики , вып. 18, нет. 4 (декабрь 1947 г.), с. 582–585. JSTOR   2236236 .
• Lehmann, El (декабрь 1951 г.). «Общая концепция беспристрастности». Анналы математической статистики . 22 (4): 587–592. JSTOR   2236928 .
• Бирнбаум, Аллан (март 1961 г.). «Единая теория оценки, я». Анналы математической статистики . 32 (1): 112–135. {{cite journal}}: Cs1 Maint: дата и год ( ссылка )
• Ван дер Ваарт, HR (июнь 1961 г.). «Некоторые расширения идеи предвзятости» . Анналы математической статистики . 32 (2): 436–447. {{cite journal}}: Cs1 Maint: дата и год ( ссылка )
• Putagl, John (1994). Паралетрическая статистическая теория . Уолтер Гриритер.
• Стюарт, Алан; Орд, Кит; Арнольд, Стивен [Ф.] (2010). Классический вывод и линейная модель . Усовершенствованная теория статистики Кендалла. Тол. 2A. Уайли. ISBN  978-0-4706-8924-0 . .
• Voinov, Vassily [G.]; Никулин, Михаил [S.] (1993). Бесвязные оценки и их приложения . Тол. 1: однофакторный случай. Dordrect: Kluwer Academic Publishers. ISBN  0-7923-2382-3 .
• Voinov, Vassily [G.]; Никулин, Михаил [S.] (1996). Бесвязные оценки и их приложения . Тол. 2: многомерный случай. Dordrect: Kluwer Academic Publishers. ISBN  0-7923-3939-8 .
• Клебанов, Лев [Б.]; Рэйчев, Светлозар [Т.]; Fabozzi, Frank [J.] (2009). Надежные и не надежные модели в статистике . Нью -Йорк: Nova Scientific Publishers. ISBN  978-1-60741-768-2 .

Внешние ссылки

• «Непредвзятая оценка» , Энциклопедия математики , Ems Press , 2001 [1994]