Последовательная оценка

Для более широкого освещения этой темы см. Согласованность (статистика) .

{ T ₁ , T ₂ , T ₃ , ...} — последовательность оценок параметра θ ₀ , истинное значение которой равно 4. Эта последовательность непротиворечива: оценки все больше и больше концентрируются вблизи истинного значения θ. ₀ ; в то же время эти оценки являются предвзятыми. Предельное распределение последовательности представляет собой вырожденную случайную величину, равную θ ₀ с вероятностью 1.

В статистике или непротиворечивая оценка асимптотически непротиворечивая оценка — это оценка — правило вычисления оценок параметра θ ₀ — имеющее свойство, заключающееся в том, что по мере того, как количество используемых точек данных увеличивается бесконечно, результирующая последовательность оценок сходится по вероятности к θ _0. . Это означает, что распределения оценок становятся все более концентрированными вблизи истинного значения оцениваемого параметра, так что вероятность нахождения оценки сколь угодно близкой к θ ₀ сходится к единице.

На практике оценщик строится как функция доступной выборки размером n , а затем воображает, что можно продолжать собирать данные и расширять выборку до бесконечности . Таким образом можно было бы получить последовательность оценок, индексированную n , а согласованность — это свойство того, что происходит, когда размер выборки «растет до бесконечности». Если можно математически показать, что последовательность оценок сходится по вероятности к истинному значению θ ₀ , она называется последовательной оценкой; в противном случае говорят, что оценка несовместна .

Согласованность, как она определена здесь, иногда называется слабой согласованностью . Когда мы заменяем сходимость по вероятности сходимостью почти наверняка , тогда говорят, что оценка сильно непротиворечива . Последовательность связана с предвзятостью ; см. предвзятость и последовательность .

Определение

Формально говоря, оценка T _n параметра θ называется слабо состоятельной , если она сходится по вероятности к истинному значению параметра:

${\underset {n\to \infty }{\operatorname {plim} }}\;T_{n}=\theta .$

т.е. если для всех ε > 0

$\lim _{n\to \infty }\Pr {\big (}|T_{n}-\theta |>\varepsilon {\big )}=0.$

Оценка T к _n параметра θ называется сильно согласованной , если она почти наверняка сходится истинному значению параметра:

$\Pr {\big (}\lim _{n\to \infty }T_{n}=\theta {\big )}=1.$

Более строгое определение учитывает тот факт, что θ фактически неизвестен, и, следовательно, сходимость по вероятности должна иметь место для каждого возможного значения этого параметра. Предположим, { p _θ : θ ∈ Θ } — семейство распределений ( параметрическая модель ), а X ^я знак равно { Икс ₁ , Икс ₂ , … : Икс _я ~ п _θ } — бесконечная выборка из распределения p _θ . Пусть { T _n ( X ^я ) } — последовательность оценок некоторого параметра g ( θ ). Обычно T _n основывается на первых n наблюдениях выборки. Тогда эта последовательность { T _n } называется (слабо) непротиворечивой , если

${\underset {n\to \infty }{\operatorname {plim} }}\;T_{n}(X^{\theta })=g(\theta ),\ \ {\text{for all}}\ \theta \in \Theta .$

В этом определении используется g ( θ ) вместо просто θ , потому что часто кто-то интересуется оценкой определенной функции или подвектора основного параметра. В следующем примере мы оцениваем параметр местоположения модели, а не масштаб:

Примеры

Выборочное среднее нормальной случайной величины

Предположим, что у нас есть последовательность статистически независимых наблюдений { X ₁ , X ₂ , ...} из нормального N ( µ , σ ² ) распределение. Чтобы оценить µ на ​​основе первых n наблюдений, можно использовать выборочное среднее : T _n = ( X ₁ + ... + X _n )/ n . Это определяет последовательность оценщиков, индексированную размером выборки n .

Из свойств нормального распределения мы знаем выборочное распределение этой статистики: T _n сама по себе нормально распределена со средним значением µ и дисперсией σ. ² / н . Эквивалентно, $\scriptstyle (T_{n}-\mu )/(\sigma /{\sqrt {n}})$ имеет стандартное нормальное распределение:

$\Pr \!\left[\,|T_{n}-\mu |\geq \varepsilon \,\right]=\Pr \!\left[{\frac {{\sqrt {n}}\,{\big |}T_{n}-\mu {\big |}}{\sigma }}\geq {\sqrt {n}}\varepsilon /\sigma \right]=2\left(1-\Phi \left({\frac {{\sqrt {n}}\,\varepsilon }{\sigma }}\right)\right)\to 0$

когда n стремится к бесконечности, для любого фиксированного ε > 0 . Следовательно, последовательность T _n выборочных средних согласуется со средним популяционным значением μ (напоминая, что $\Phi$ — кумулятивное распределение нормального распределения).

Установление последовательности

Понятие асимптотической непротиворечивости очень близко, почти синонимично понятию сходимости по вероятности. Таким образом, любая теорема, лемма или свойство, устанавливающее сходимость по вероятности, может использоваться для доказательства непротиворечивости. Существует много таких инструментов:

• Чтобы продемонстрировать непротиворечивость непосредственно из определения, можно воспользоваться неравенством

$\Pr \!{\big [}h(T_{n}-\theta )\geq \varepsilon {\big ]}\leq {\frac {\operatorname {E} {\big [}h(T_{n}-\theta ){\big ]}}{h(\varepsilon )}},$

наиболее распространенным выбором функции h является либо абсолютное значение (в этом случае оно известно как неравенство Маркова ), либо квадратичная функция (соответственно неравенство Чебышева ).

• Еще одним полезным результатом является теорема о непрерывном отображении : если T _n непротиворечива для θ и g (·) — вещественная функция, непрерывная в точке θ , то g ( T _n ) будет непротиворечивой для g ( θ ):

$T_{n}\ {\xrightarrow {p}}\ \theta \ \quad \Rightarrow \quad g(T_{n})\ {\xrightarrow {p}}\ g(\theta )$

• Теорему Слуцкого можно использовать для объединения нескольких разных оценок или оценки с неслучайной сходящейся последовательностью. Если Т _n → ^д α и S _n → ^п β , тогда

${\begin{aligned}&T_{n}+S_{n}\ {\xrightarrow {d}}\ \alpha +\beta ,\\&T_{n}S_{n}\ {\xrightarrow {d}}\ \alpha \beta ,\\&T_{n}/S_{n}\ {\xrightarrow {d}}\ \alpha /\beta ,{\text{ provided that }}\beta \neq 0\end{aligned}}$

• Если оценка T _n задана явной формулой, то, скорее всего, в формуле будут использоваться суммы случайных величин, и тогда можно будет использовать закон больших чисел : для последовательности { X _n } случайных величин и при подходящих условиях

${\frac {1}{n}}\sum _{i=1}^{n}g(X_{i})\ {\xrightarrow {p}}\ \operatorname {E} [\,g(X)\,]$

• Если оценка T _n определена неявно, например, как значение, которое максимизирует определенную целевую функцию (см. экстремальную оценку более сложный аргумент, включающий стохастическую равнонепрерывность . ), то необходимо использовать

Предвзятость против последовательности

Беспристрастный, но непоследовательный

Оценка может быть несмещенной , но не состоятельной. Например, для образца iid { x
₁ ,..., х
_n } можно использовать T
_п ( Икс ) знак равно Икс
_n как оценка среднего значения E[ X ]. Обратите внимание, что здесь выборочное распределение T
_n совпадает с базовым распределением (для любого n, поскольку оно игнорирует все точки, кроме последней), поэтому E[ T
_n ( X )] = E[ X ] и оно несмещено, но не сходится ни к какому значению.

Однако если последовательность оценок несмещена и сходится к некоторому значению, то она непротиворечива, поскольку должна сходиться к правильному значению.

Предвзятый, но последовательный

Альтернативно, оценка может быть предвзятой, но последовательной. Например, если среднее значение оценивается по формуле ${1 \over n}\sum x_{i}+{1 \over n}$ это предвзято, но так как $n\rightarrow \infty$, оно приближается к правильному значению и поэтому является последовательным.

Важные примеры включают выборочную дисперсию и выборочное стандартное отклонение . Без поправки Бесселя (т.е. при использовании размера выборки $n$ вместо степеней свободы $n-1$), это обе отрицательно смещенные, но последовательные оценки. С коррекцией скорректированная дисперсия выборки является несмещенной, в то время как скорректированное стандартное отклонение выборки все еще смещено, но в меньшей степени, и оба по-прежнему согласованы: поправочный коэффициент сходится к 1 по мере увеличения размера выборки.

Вот еще один пример. Позволять $T_{n}$ быть последовательностью оценок для $\theta$.

$\Pr(T_{n})={\begin{cases}1-1/n,&{\mbox{if }}\,T_{n}=\theta \\1/n,&{\mbox{if }}\,T_{n}=n\delta +\theta \end{cases}}$

Мы можем видеть это $T_{n}{\xrightarrow {p}}\theta$, $\operatorname {E} [T_{n}]=\theta +\delta$, и смещение не стремится к нулю.

См. также

• Эффективный оценщик
• Согласованность Фишера - альтернативная, хотя и редко используемая концепция согласованности для оценщиков.
• Разбавление регрессии
• Статистическая проверка гипотез
• Оценка инструментальных переменных

Ссылки

• Амемия, Такеши (1985). Продвинутая эконометрика . Издательство Гарвардского университета . ISBN  0-674-00560-0 .
• Леманн, Эль ; Казелла, Г. (1998). Теория точечной оценки (2-е изд.). Спрингер. ISBN  0-387-98502-6 .
• Ньюи, ВК; Макфадден, Д. (1994). «Глава 36: Оценка большой выборки и проверка гипотез». У Роберта Ф. Энгла; Дэниел Л. Макфадден (ред.). Справочник по эконометрике . Том. 4. Эльзевир Наука. ISBN  0-444-88766-0 . S2CID   29436457 .
• Никулин, М.С. (2001) [1994], «Согласованная оценка» , Энциклопедия Математики , EMS Press
• Собер, Э. (1988), «Вероятность и конвергенция», Philosophy of Science , 55 (2): 228–237, doi : 10.1086/289429 .

Внешние ссылки

• Лекция по эконометрике (тема: беспристрастность или последовательность) на YouTube Марка Тома