Оценщик

В статистике оценщик — это правило расчета оценки заданной величины на основе наблюдаемых данных правило (оценщик), интересующую величину ( оценку ) и ее результат (оценку). : таким образом различают ^[1] Например, выборочное среднее является широко используемым средством оценки среднего значения генеральной совокупности .

Существуют точечные и интервальные оценки . Точечные оценки дают однозначные результаты. В этом отличие от интервальной оценки , где результатом будет диапазон вероятных значений. «Одно значение» не обязательно означает «одиночное число», но включает в себя векторные или функциональные оценки.

Теория оценки занимается свойствами оценщиков; то есть с определением свойств, которые можно использовать для сравнения разных оценщиков (разных правил создания оценок) для одного и того же количества на основе одних и тех же данных. Такие свойства можно использовать для определения наилучших правил для использования в данных обстоятельствах. Однако в робастной статистике статистическая теория продолжает рассматривать баланс между наличием хороших свойств, если выполняются строго определенные предположения, и наличием худших свойств, которые выполняются в более широких условиях.

Фон

«Оценщик» или « точечная оценка » — это статистика (то есть функция данных), которая используется для вывода значения неизвестного параметра в статистической модели . Обычно это формулируют так: «оценщик — это метод, выбранный для получения оценки неизвестного параметра». Оцениваемый параметр иногда называют оценкой . Он может быть как конечномерным (в параметрических и полупараметрических моделях ), так и бесконечномерным ( в полупараметрических и непараметрических моделях ). ^[2] Если параметр обозначен $\theta$ тогда оценка традиционно записывается добавлением циркумфлекса над символом: ${\widehat {\theta }}$ . Будучи функцией данных, оценщик сам по себе является случайной величиной ; конкретная реализация этой случайной величины называется «оценкой». Иногда слова «оценщик» и «оценка» используются как синонимы.

Определение практически не налагает ограничений на то, какие функции данных можно назвать «оценщиками». О привлекательности различных оценок можно судить, глядя на их свойства, такие как несмещенность , среднеквадратическая ошибка , непротиворечивость , асимптотическое распределение и т. д. Построение и сравнение оценок являются предметом теории оценивания . В контексте теории принятия решений оценщик представляет собой тип правила принятия решения , и его эффективность можно оценить с помощью функций потерь .

Когда слово «оценщик» используется без уточнения, оно обычно относится к точечной оценке. Оценка в этом случае представляет собой одну точку в пространстве параметров . Также существует другой тип оценок: интервальные оценки , где оценки являются подмножествами пространства параметров.

Проблема оценки плотности возникает в двух приложениях. Во-первых, при оценке функций плотности вероятности случайных величин и, во-вторых, при оценке функции спектральной плотности временного ряда . В этих задачах оценки представляют собой функции, которые можно рассматривать как точечные оценки в бесконечномерном пространстве, и существуют соответствующие проблемы интервальных оценок.

Определение

Предположим, фиксированный параметр $\theta$ необходимо оценить. Тогда «оценщик» — это функция, которая отображает выборочное пространство в набор выборочных оценок . Оценщик $\theta$ обычно обозначается символом ${\widehat {\theta }}$ . Часто бывает удобно выразить теорию с использованием алгебры случайных величин : например, если X используется для обозначения случайной величины, соответствующей наблюдаемым данным, оценщик (который сам рассматривается как случайная величина) обозначается как функция этой случайной величины. , ${\widehat {\theta }}(X)$ . Оценка конкретного значения наблюдаемых данных $x$ (т.е. для $X=x$ ) тогда ${\widehat {\theta }}(x)$ , что является фиксированным значением. Часто используют сокращенную запись, в которой ${\widehat {\theta }}$ интерпретируется непосредственно как случайная величина , но это может вызвать путаницу.

Количественные свойства

Следующие определения и атрибуты имеют отношение к делу. ^[3]

Ошибка

Для данного образца $x$ , " ошибка " оценщика ${\widehat {\theta }}$ определяется как

e(x)={\widehat {\theta }}(x)-\theta ,

где $\theta$ оцениваемый параметр. Ошибка e зависит не только от средства оценки (формулы или процедуры оценки), но и от выборки.

Среднеквадратическая ошибка

Среднеквадратическая ошибка ${\widehat {\theta }}$ определяется как ожидаемое значение (средневзвешенное по вероятности, по всем выборкам) квадратов ошибок; то есть,

\operatorname {MSE} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}(X)-\theta )^{2}].

Он используется для указания того, насколько в среднем набор оценок далек от одного оцениваемого параметра. Рассмотрим следующую аналогию. Предположим, что параметром является яблочко цели, оценщиком является процесс стрельбы стрелами по цели, а отдельные стрелы являются оценками (выборками). Тогда высокое MSE означает, что среднее расстояние стрелок от яблочка высокое, а низкое MSE означает, что среднее расстояние от яблочка низкое. Стрелки могут быть сгруппированы, а могут и не сгруппированы. Например, даже если все стрелы попадают в одну и ту же точку, но сильно не попадают в цель, MSE все равно будет относительно большим. Однако если MSE относительно низкая, то стрелки, скорее всего, будут скорее сгруппированы (а не сильно рассеяны) вокруг цели.

Отклонение выборки

Для данного образца $x$ , отклонение выборки средства оценки ${\widehat {\theta }}$ определяется как

d(x)={\widehat {\theta }}(x)-\operatorname {E} ({\widehat {\theta }}(X))={\widehat {\theta }}(x)-\operatorname {E} ({\widehat {\theta }}),

где $\operatorname {E} ({\widehat {\theta }}(X))$ — ожидаемое значение оценщика. Отклонение выборки d зависит не только от оценщика, но и от выборки.

Дисперсия

Дисперсия ${\widehat {\theta }}$ – ожидаемое значение квадрата отклонений выборки; то есть, $\operatorname {Var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]$ . Он используется для указания того, насколько в среднем набор оценок далек от ожидаемого значения оценок. (Обратите внимание на разницу между MSE и дисперсией.) Если параметр представляет собой «яблочко» цели, а стрелки являются оценками, то относительно высокая дисперсия означает, что стрелки рассредоточены, а относительно низкая дисперсия означает, что стрелки сгруппированы. Даже если дисперсия невелика, группа стрелок все равно может быть далеко от цели, и даже если дисперсия высока, рассеянный набор стрелок все равно может быть несмещенным. Наконец, даже если все стрелы сильно не попали в цель, но все же все они попали в одну и ту же точку, дисперсия равна нулю.

Предвзятость

Предвзятость ${\widehat {\theta }}$ определяется как $B({\widehat {\theta }})=\operatorname {E} ({\widehat {\theta }})-\theta$ . Это расстояние между средним значением набора оценок и одним оцениваемым параметром. Предвзятость ${\widehat {\theta }}$ является функцией истинного значения $\theta$ так сказать, что предвзятость ${\widehat {\theta }}$ является $b$ означает, что для каждого $\theta$ предвзятость ${\widehat {\theta }}$ является $b$ .

Существует два типа оценок: смещенные оценки и несмещенные оценки. Является ли оценщик предвзятым или нет, можно определить по взаимосвязи между $\operatorname {E} ({\widehat {\theta }})-\theta$ и 0:

Если $\operatorname {E} ({\widehat {\theta }})-\theta \neq 0$ , ${\widehat {\theta }}$ является предвзятым.
Если $\operatorname {E} ({\widehat {\theta }})-\theta =0$ , ${\widehat {\theta }}$ является беспристрастным.

Смещение также является ожидаемым значением ошибки, поскольку $\operatorname {E} ({\widehat {\theta }})-\theta =\operatorname {E} ({\widehat {\theta }}-\theta )$ . Если параметром является яблочко цели, а стрелки являются приблизительными, то относительно высокое абсолютное значение смещения означает, что среднее положение стрелок находится вне цели, а относительно низкое абсолютное смещение означает среднее положение стрелок. находится на цели. Они могут быть рассредоточены, а могут быть сгруппированы. Отношения между смещением и дисперсией аналогичны отношениям между точностью и прецизионностью .

Оценщик ${\widehat {\theta }}$ является несмещенной оценкой $\theta$ тогда и только тогда, когда $B({\widehat {\theta }})=0$ . Смещение — это свойство оценщика, а не оценки. Часто люди говорят о «предвзятой оценке» или «несмещенной оценке», но на самом деле они говорят об «оценке, полученной на основе смещенной оценки» или «оценке, полученной на основе несмещенной оценки». Кроме того, люди часто путают «ошибку» одной оценки с «предвзятостью» оценщика. То, что ошибка одной оценки велика, не означает, что оценка смещена. Фактически, даже если все оценки имеют астрономические абсолютные значения ошибок, если ожидаемое значение ошибки равно нулю, оценка является несмещенной. Кроме того, предвзятость оценщика не исключает того, что ошибка оценки будет равна нулю в конкретном случае. Идеальная ситуация — иметь несмещенную оценку с низкой дисперсией, а также попытаться ограничить количество выборок, в которых ошибка является экстремальной (то есть иметь мало выбросов). Однако беспристрастность не является существенной. Часто, если допускается лишь небольшая погрешность, то можно найти оценщик с более низкой среднеквадратичной ошибкой и/или меньшим количеством выбросов выборочных оценок.

Альтернативой версии «несмещенный», приведенной выше, является «несмещенный медианный», при котором медиана распределения оценок согласуется с истинным значением; таким образом, в долгосрочной перспективе половина оценок будет слишком занижена, а половина — слишком высока. Хотя это применимо непосредственно только к скалярным оценкам, это можно распространить на любую меру центральной тенденции распределения: см. Медианно-несмещенные оценки .

В практической задаче ${\widehat {\theta }}$ всегда может иметь функциональные отношения с $\theta$ . Например, генетическая теория утверждает, что существует тип листьев, крахмально-зеленый, который с вероятностью встречается $p_{1}=1/4\cdot (\theta +2)$ , с $0<\theta <1$ .Для $n$ листья, случайная величина $N_{1}$ , количество крахмалистых зеленых листьев, можно смоделировать с помощью $Bin(n,p_{1})$ распределение. Это число можно использовать для выражения следующей оценки для $\theta$ : ${\widehat {\theta }}=4/n\cdot N_{1}-2$ . Можно показать, что ${\widehat {\theta }}$ является несмещенной оценкой $\theta$ : $E[{\widehat {\theta }}]=E[4/n\cdot N_{1}-2]$ $=4/n\cdot E[N_{1}]-2$ $=4/n\cdot np_{1}-2$ $=4\cdot p_{1}-2$ $=4\cdot 1/4\cdot (\theta +2)-2$ $=\theta +2-2$ $=\theta$ .

Беспристрастный

Желаемым свойством для оценщиков является свойство несмещенности, при котором оценщик не имеет систематической тенденции давать оценки, большие или меньшие, чем заданная вероятность. Кроме того, несмещенные оценки с меньшими дисперсиями предпочтительнее, чем с большими дисперсиями, поскольку они будут ближе к «истинному» значению параметра. Несмещенная оценка с наименьшей дисперсией известна как несмещенная оценка с минимальной дисперсией (MVUE).

Чтобы определить, является ли ваша оценка несмещенной, легко следовать уравнению $\operatorname {E} ({\widehat {\theta }})-\theta =0$ , ${\widehat {\theta }}$ . С оценщиком T и интересующим параметром $\theta$ решаем предыдущее уравнение, чтобы оно выглядело как $\operatorname {E} [T]=\theta$ оценка является несмещенной. Глядя на рисунок справа, несмотря на $\theta _{2}$ будучи единственным несмещенным оценщиком. Если распределения перекрывались и оба были сосредоточены вокруг $\theta$ затем распространение $\theta _{1}$ на самом деле будет предпочтительной несмещенной оценкой.

Ожидание При рассмотрении величин с точки зрения ожиданий распределения модели существует несмещенная оценка, которая должна удовлетворять двум приведенным ниже уравнениям.

1.\quad {\overline {X}}_{n}={\frac {X_{1}+X_{2}+\cdots +X_{n}}{n}}

2.\quad \operatorname {E} \left[{\overline {X}}_{n}\right]=\mu

Дисперсия Аналогичным образом, если рассматривать величины с точки зрения дисперсии как модельного распределения, существует также несмещенная оценка, которая должна удовлетворять двум приведенным ниже уравнениям.

1.\quad S_{n}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-X_{n})^{2}

2.\quad \operatorname {E} \left[S_{n}^{2}\right]=\sigma ^{2}

Обратите внимание, что мы делим на n - 1, потому что если бы мы разделили на n, мы получили бы оценку с отрицательным смещением, что, таким образом, дало бы оценки, которые слишком малы для $\sigma ^{2}$ . Следует также упомянуть, что хотя $S_{n}^{2}$ является беспристрастным для $\sigma ^{2}$ обратное неверно. ^[4]

Отношения между величинами

Среднеквадратическая ошибка, дисперсия и смещение связаны: $\operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},$ т.е. среднеквадратическая ошибка = дисперсия + квадрат смещения. В частности, для несмещенной оценки дисперсия равна среднеквадратической ошибке.
Стандартное отклонение оценщика ${\widehat {\theta }}$ из $\theta$ ( квадратный корень из дисперсии) или оценка стандартного отклонения оценщика ${\widehat {\theta }}$ из $\theta$ , называется стандартной ошибкой ${\widehat {\theta }}$ .
Компромисс смещения и дисперсии будет использоваться для определения сложности модели, переподбора и недостаточного подбора. В основном он используется в области контролируемого обучения и прогнозного моделирования для диагностики производительности алгоритмов.

Поведенческие свойства

Последовательность

Согласованная последовательность оценок — это последовательность оценок, которые сходятся по вероятности индекса (обычно размера выборки к оцениваемой величине по мере неограниченного роста ). Другими словами, увеличение размера выборки увеличивает вероятность того, что оценщик будет близок к параметру генеральной совокупности.

Математически последовательность оценок { t _n ; n ≥ 0 } является согласованной оценкой параметра θ тогда и только тогда, когда для всех ε > 0 , независимо от того, насколько они малы, мы имеем

\lim _{n\to \infty }\Pr \left\{\left|t_{n}-\theta \right|<\varepsilon \right\}=1

.

Определенную выше согласованность можно назвать слабой согласованностью. Последовательность является сильно согласованной , если она почти наверняка сходится к истинному значению.

Оценщик, который сходится к кратному параметру, можно превратить в непротиворечивую оценку, умножив оценку на масштабный коэффициент , а именно на истинное значение, разделенное на асимптотическое значение оценки. Это часто происходит при оценке параметров масштаба по мерам статистической дисперсии .

Консистенция Фишера

Оценщик можно считать согласованным по Фишеру, если он является тем же функционалом эмпирической функции распределения, что и истинная функция распределения. Следуя формуле:

{\widehat {\theta }}=h(T_{n}),\theta =h(T_{\theta })

Где $T_{n}$ и $T_{\theta }$ – эмпирическая функция распределения и теоретическая функция распределения соответственно. Простой пример того, как увидеть, является ли что-то согласованным по Фишеру, — это проверить среднюю согласованность и дисперсию. Например, чтобы проверить согласованность среднего значения ${\widehat {\mu }}={\bar {X}}$ и для проверки отклонений подтвердите, что ${\widehat {\sigma }}^{2}=SSD/n$ . ^[5]

Асимптотическая нормальность

Асимптотически нормальная оценка - это непротиворечивая оценка, распределение которой вокруг истинного параметра θ приближается к нормальному распределению со стандартным отклонением, уменьшающимся пропорционально $1/{\sqrt {n}}$ по мере роста размера выборки n . С использованием ${\xrightarrow {D}}$ для обозначения сходимости по распределению , t _n является асимптотически нормальным если

{\sqrt {n}}(t_{n}-\theta ){\xrightarrow {D}}N(0,V),

для какого- В. то

В этой формулировке V/n можно назвать асимптотической дисперсией оценки. Однако некоторые авторы также называют V асимптотической дисперсией .Обратите внимание, что сходимость не обязательно произойдет для любого конечного «n», поэтому это значение является лишь приближением к истинной дисперсии оценки, в то время как в пределе асимптотическая дисперсия (V/n) равна просто нулю. Точнее, распределение оценки t _n слабо сходится к дельта-функции Дирака с центром в точке $\theta$ .

Центральная предельная теорема подразумевает асимптотическую нормальность выборочного среднего. ${\bar {X}}$ как оценка истинного среднего значения.В более общем смысле, средства оценки максимального правдоподобия асимптотически нормальны при довольно слабых условиях регулярности — см. раздел об асимптотике статьи о максимальном правдоподобии. Однако не все оценки асимптотически нормальны; наиболее простые примеры встречаются, когда истинное значение параметра лежит на границе допустимой области параметра.

Эффективность

Эффективность оценщика используется для оценки интересующей величины способом «минимальной ошибки». В действительности не существует явной лучшей оценки; может быть только лучшая оценка. Хорошая или плохая эффективность оценки зависит от выбора конкретной функции потерь и отражается двумя естественными желательными свойствами оценок: быть несмещенными. $\operatorname {E} ({\widehat {\theta }})-\theta =0$ и иметь минимальную среднеквадратическую ошибку (MSE) $\operatorname {E} [({\widehat {\theta }}-\theta )^{2}]$ . В общем, они не могут быть удовлетворены одновременно: несмещенная оценка может иметь меньшую среднеквадратическую ошибку, чем любая смещенная оценка (см. Смещение оценки ).Функция связывает среднеквадратическую ошибку со смещением оценщика. ^[4]

\operatorname {E} [({\widehat {\theta }}-\theta )^{2}]=(\operatorname {E} ({\widehat {\theta }})-\theta )^{2}+\operatorname {Var} (\theta )\

Первый член представляет собой среднеквадратичную ошибку; второй член представляет собой квадрат смещения средства оценки; а третий член представляет собой дисперсию выборки. Качество средства оценки можно определить путем сравнения дисперсии, квадрата смещения средства оценки или MSE. Дисперсия хорошей оценки (хорошая эффективность) будет меньше, чем дисперсия плохой оценки (плохая эффективность). Квадрат смещения оценки с хорошей оценкой будет меньше, чем смещение оценки с плохой оценкой. СКО хорошей оценки будет меньше, чем СКО плохой оценки. Предположим, что есть две оценки, $\theta _{1}$ является хорошим оценщиком и $\theta _{2}$ это плохой оценщик. Вышеуказанную зависимость можно выразить следующими формулами.

\operatorname {Var} (\theta _{1})<\operatorname {Var} (\theta _{2})

|\operatorname {E} (\theta _{1})-\theta |<\left|\operatorname {E} (\theta _{2})-\theta \right|

\operatorname {MSE} (\theta _{1})<\operatorname {MSE} (\theta _{2})

Помимо использования формулы для определения эффективности оценщика, ее также можно определить с помощью графика. Если оценщик эффективен, на графике зависимости частоты от значения будет кривая с высокой частотой в центре и низкой частотой с двух сторон. Например:

Если оценщик неэффективен, график зависимости частоты от значения будет относительно более плавной кривой.

Проще говоря, хорошая оценка имеет узкую кривую, а плохая — большую. Если нанести эти две кривые на один график с общей осью Y , разница станет более очевидной.

Среди несмещенных оценок часто существует оценка с наименьшей дисперсией, называемая несмещенной оценкой с минимальной дисперсией ( MVUE ). В некоторых случаях существует несмещенная эффективная оценка , которая, помимо того, что имеет самую низкую дисперсию среди несмещенных оценок, удовлетворяет границе Крамера-Рао , которая является абсолютной нижней границей дисперсии для статистики переменной.

Относительно таких «наилучших несмещенных оценок» см. также оценку Крамера–Рао , теорему Гаусса–Маркова , теорему Лемана–Шеффе , теорему Рао–Блэквелла .

Надежность

См. также

Ссылки

^ Мостеллер, Ф.; Тьюки, JW (1987) [1968]. «Анализ данных, включая статистику» . Собрание сочинений Джона В. Тьюки: философия и принципы анализа данных 1965–1986 гг . Том. 4. ЦРК Пресс. стр. 601–720 [с. 633]. ISBN 0-534-05101-4 – через Google Книги .
^ Косорок (2008), раздел 3.1, стр. 35–39.
^ Джейнс (2007), стр.172.
^ Jump up to: ^а ^б Репортаж, Фредерик Мишель; Краайкамп, Корнелис; Лопухаа, Генри Пол; Мастер, Людольф Эрвин (2005). Современное введение в вероятность и статистику . Тексты Спрингера в статистике. ISBN 978-1-85233-896-1 .
^ Лауритцен, Штеффен. «Свойства оценщиков» (PDF) . Оксфордский университет . Проверено 9 декабря 2023 г.

Дальнейшее чтение

Большев, Логин Николаевич (2001) [1994], «Статистический оценщик» , Энциклопедия Математики , EMS Press .
Джейнс, ET (2007). Теория вероятностей: Логика науки (5-е изд.). Издательство Кембриджского университета . ISBN 978-0-521-59271-0 . .
Косорок, Михаил (2008). Введение в эмпирические процессы и полупараметрический вывод . Серия Спрингера по статистике. Спрингер . дои : 10.1007/978-0-387-74978-5 . ISBN 978-0-387-74978-5 .
Леманн, Эль ; Казелла, Г. (1998). Теория точечной оценки (2-е изд.). Спрингер . ISBN 0-387-98502-6 .
Шао, Джун (1998), Математическая статистика , Springer , ISBN 0-387-98674-Х

Внешние ссылки

Основы теории оценок

[1] Мостеллер, Ф.; Тьюки, JW (1987) [1968]. «Анализ данных, включая статистику» . Собрание сочинений Джона В. Тьюки: философия и принципы анализа данных 1965–1986 гг . Том. 4. ЦРК Пресс. стр. 601–720 [с. 633]. ISBN 0-534-05101-4 – через Google Книги .

[2] Косорок (2008), раздел 3.1, стр. 35–39.

[3] Джейнс (2007), стр.172.

[Dekker2005-4] Jump up to: ^а ^б Репортаж, Фредерик Мишель; Краайкамп, Корнелис; Лопухаа, Генри Пол; Мастер, Людольф Эрвин (2005). Современное введение в вероятность и статистику . Тексты Спрингера в статистике. ISBN 978-1-85233-896-1 .

[5] Лауритцен, Штеффен. «Свойства оценщиков» (PDF) . Оксфордский университет . Проверено 9 декабря 2023 г.

[1]

[2]

[3]

[4]

[5]