Оценщик

В статистике оценщик наблюдаемых — это правило расчета оценки заданной величины на основе данных правило (оценщик), интересующую величину ( оценку ) и ее результат (оценку). : таким образом различают ^[1] Например, выборочное среднее является широко используемым средством оценки среднего значения генеральной совокупности .

Существуют точечные и интервальные оценки . Точечные оценки дают однозначные результаты. В этом отличие от интервальной оценки , где результатом будет диапазон вероятных значений. «Одно значение» не обязательно означает «одиночное число», но включает в себя векторные или функциональные оценки.

Теория оценки занимается свойствами оценщиков; то есть с определением свойств, которые можно использовать для сравнения разных оценщиков (разных правил создания оценок) для одного и того же количества на основе одних и тех же данных. Такие свойства можно использовать для определения наилучших правил для использования в данных обстоятельствах. Однако в робастной статистике статистическая теория продолжает рассматривать баланс между наличием хороших свойств, если выполняются строго определенные предположения, и наличием худших свойств, которые выполняются в более широких условиях.

Предыстория [ править ]

«Оценщик» или « точечная оценка » — это статистика (то есть функция данных), которая используется для вывода значения неизвестного параметра в статистической модели . Обычно это формулируют так: «оценщик — это метод, выбранный для получения оценки неизвестного параметра». Оцениваемый параметр иногда называют оценкой . Он может быть как конечномерным (в параметрических и полупараметрических моделях ), так и бесконечномерным ( в полупараметрических и непараметрических моделях ). ^[2] Если параметр обозначен $\theta$ тогда оценка традиционно записывается добавлением циркумфлекса над символом: ${\widehat {\theta }}$ . Будучи функцией данных, оценщик сам по себе является случайной величиной ; конкретная реализация этой случайной величины называется «оценкой». Иногда слова «оценщик» и «оценка» используются как синонимы.

Определение практически не налагает ограничений на то, какие функции данных можно назвать «оценщиками». О привлекательности различных оценок можно судить, глядя на их свойства, такие как несмещенность , среднеквадратическая ошибка , непротиворечивость , асимптотическое распределение и т. д. Построение и сравнение оценок являются предметом теории оценивания . В контексте теории принятия решений оценщик представляет собой тип правила принятия решения , и его эффективность можно оценить с помощью функций потерь .

Когда слово «оценщик» используется без уточнения, оно обычно относится к точечной оценке. Оценка в этом случае представляет собой одну точку в пространстве параметров . Также существует другой тип оценок: интервальные оценки , где оценки являются подмножествами пространства параметров.

Проблема оценки плотности возникает в двух приложениях. Во-первых, при оценке функций плотности вероятности случайных величин и, во-вторых, при оценке функции спектральной плотности временного ряда . В этих задачах оценки представляют собой функции, которые можно рассматривать как точечные оценки в бесконечномерном пространстве, и существуют соответствующие проблемы интервальных оценок.

Определение [ править ]

Предположим, фиксированный параметр $\theta$ необходимо оценить. Тогда «оценщик» — это функция, которая отображает выборочное пространство в набор выборочных оценок . Оценщик $\theta$ обычно обозначается символом ${\widehat {\theta }}$ . Часто бывает удобно выразить теорию с использованием алгебры случайных величин : например, если X используется для обозначения случайной величины , соответствующей наблюдаемым данным, оценщик (который сам рассматривается как случайная величина) обозначается как функция этой случайной величины. , ${\widehat {\theta }}(X)$ . Оценка конкретного значения наблюдаемых данных $x$ (т.е. для $X=x$ ) затем ${\widehat {\theta }}(x)$ , что является фиксированным значением. Часто используют сокращенную запись, в которой ${\widehat {\theta }}$ интерпретируется непосредственно как случайная величина , но это может вызвать путаницу.

Количественные свойства [ править ]

Следующие определения и атрибуты имеют отношение к делу. ^[3]

Ошибка [ править ]

Для данного образца $x$ , " ошибка " оценщика ${\widehat {\theta }}$ определяется как

e(x)={\widehat {\theta }}(x)-\theta ,

где $\theta$ оцениваемый параметр. Ошибка e зависит не только от средства оценки (формулы или процедуры оценки), но и от выборки.

Среднеквадратическая ошибка [ править ]

Среднеквадратическая ошибка ${\widehat {\theta }}$ определяется как ожидаемое значение (среднее значение вероятности, по всем выборкам) квадратов ошибок; то есть,

\operatorname {MSE} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}(X)-\theta )^{2}].

Он используется для указания того, насколько в среднем набор оценок далек от одного оцениваемого параметра. Рассмотрим следующую аналогию. Предположим, что параметром является яблочко цели, оценщиком является процесс стрельбы стрелами по цели, а отдельные стрелы являются оценками (выборками). Тогда высокое MSE означает, что среднее расстояние стрелок от яблочка высокое, а низкое MSE означает, что среднее расстояние от яблочка низкое. Стрелки могут быть сгруппированы, а могут и не сгруппированы. Например, даже если все стрелы попали в одну и ту же точку, но сильно не достигли цели, MSE все равно будет относительно большим. Однако если MSE относительно низкая, то стрелки, скорее всего, будут скорее сгруппированы (а не сильно рассеяны) вокруг цели.

Отклонение выборки [ править ]

Для данного образца $x$ , отклонение выборки средства оценки ${\widehat {\theta }}$ определяется как

d(x)={\widehat {\theta }}(x)-\operatorname {E} ({\widehat {\theta }}(X))={\widehat {\theta }}(x)-\operatorname {E} ({\widehat {\theta }}),

где $\operatorname {E} ({\widehat {\theta }}(X))$ — ожидаемое значение оценщика. Отклонение выборки d зависит не только от оценщика, но и от выборки.

Дисперсия [ править ]

Дисперсия ${\widehat {\theta }}$ – ожидаемое значение квадрата отклонений выборки; то есть, $\operatorname {Var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]$ . Он используется для указания того, насколько в среднем набор оценок далек от ожидаемого значения оценок. (Обратите внимание на разницу между MSE и дисперсией.) Если параметр представляет собой «яблочко» цели, а стрелки являются оценками, то относительно высокая дисперсия означает, что стрелки рассредоточены, а относительно низкая дисперсия означает, что стрелки сгруппированы. Даже если дисперсия невелика, группа стрелок все равно может быть далеко от цели, и даже если дисперсия высока, рассеянный набор стрелок все равно может быть несмещенным. Наконец, даже если все стрелы сильно не попали в цель, но все же все они попали в одну и ту же точку, дисперсия равна нулю.

Предвзятость [ править ]

Предвзятость ${\widehat {\theta }}$ определяется как $B({\widehat {\theta }})=\operatorname {E} ({\widehat {\theta }})-\theta$ . Это расстояние между средним значением набора оценок и одним оцениваемым параметром. Предвзятость ${\widehat {\theta }}$ является функцией истинного значения $\theta$ так сказать, что предвзятость ${\widehat {\theta }}$ является $b$ означает, что для каждого $\theta$ предвзятость ${\widehat {\theta }}$ является $b$ .

Существует два типа оценок: смещенные оценки и несмещенные оценки. Является ли оценщик предвзятым или нет, можно определить по взаимосвязи между $\operatorname {E} ({\widehat {\theta }})-\theta$ и 0:

Если $\operatorname {E} ({\widehat {\theta }})-\theta \neq 0$ , ${\widehat {\theta }}$ является предвзятым.
Если $\operatorname {E} ({\widehat {\theta }})-\theta =0$ , ${\widehat {\theta }}$ является беспристрастным.

Смещение также является ожидаемым значением ошибки, поскольку $\operatorname {E} ({\widehat {\theta }})-\theta =\operatorname {E} ({\widehat {\theta }}-\theta )$ . Если параметром является яблочко цели, а стрелки являются приблизительными, то относительно высокое абсолютное значение смещения означает, что среднее положение стрелок находится вне цели, а относительно низкое абсолютное смещение означает среднее положение стрелок. находится на цели. Они могут быть рассредоточены, а могут быть сгруппированы. Отношения между смещением и дисперсией аналогичны отношениям между точностью и прецизионностью .

Оценщик ${\widehat {\theta }}$ является несмещенной оценкой $\theta$ если и только если $B({\widehat {\theta }})=0$ . Смещение — это свойство оценщика, а не оценки. Часто люди говорят о «предвзятой оценке» или «несмещенной оценке», но на самом деле они говорят об «оценке, полученной на основе смещенной оценки» или «оценке, полученной на основе несмещенной оценки». Кроме того, люди часто путают «ошибку» одной оценки с «предвзятостью» оценщика. То, что ошибка одной оценки велика, не означает, что оценка смещена. Фактически, даже если все оценки имеют астрономические абсолютные значения ошибок, если ожидаемое значение ошибки равно нулю, оценка является несмещенной. Кроме того, предвзятость оценщика не исключает того, что ошибка оценки будет равна нулю в конкретном случае. Идеальная ситуация — иметь несмещенную оценку с низкой дисперсией, а также попытаться ограничить количество выборок, в которых ошибка является экстремальной (то есть иметь мало выбросов). Однако беспристрастность не является существенной. Часто, если допускается лишь небольшая погрешность, то можно найти оценщик с более низкой среднеквадратической ошибкой и/или меньшим количеством выбросов выборочных оценок.

Альтернативой версии «несмещенный», приведенной выше, является «несмещенный медианный», где медиана распределения оценок соответствует истинному значению; таким образом, в долгосрочной перспективе половина оценок будет слишком занижена, а половина — слишком высока. Хотя это применимо непосредственно только к скалярным оценкам, это можно распространить на любую меру центральной тенденции распределения: см. Медианно-несмещенные оценки .

В практической задаче ${\widehat {\theta }}$ всегда может иметь функциональные отношения с $\theta$ . Например, генетическая теория утверждает, что существует тип листьев, крахмально-зеленый, который с вероятностью встречается $p_{1}=1/4\cdot (\theta +2)$ , с $0<\theta <1$ . Для $n$ листья, случайная величина $N_{1}$ , количество крахмалистых зеленых листьев, можно смоделировать с помощью $Bin(n,p_{1})$ распределение. Это число можно использовать для выражения следующей оценки для $\theta$ : ${\widehat {\theta }}=4/n\cdot N_{1}-2$ . Можно показать, что ${\widehat {\theta }}$ является несмещенной оценкой $\theta$ : $E[{\widehat {\theta }}]=E[4/n\cdot N_{1}-2]$ $=4/n\cdot E[N_{1}]-2$ $=4/n\cdot np_{1}-2$ $=4\cdot p_{1}-2$ $=4\cdot 1/4\cdot (\theta +2)-2$ $=\theta +2-2$ $=\theta$ .

Беспристрастный [ править ]

Желаемым свойством для оценщиков является свойство несмещенности, при котором оценщик не имеет систематической тенденции давать оценки, большие или меньшие, чем заданная вероятность. Кроме того, несмещенные оценки с меньшими дисперсиями предпочтительнее, чем с большими дисперсиями, поскольку они будут ближе к «истинному» значению параметра. Несмещенная оценка с наименьшей дисперсией известна как несмещенная оценка с минимальной дисперсией (MVUE).

Чтобы определить, является ли ваша оценка несмещенной, легко следовать уравнению $\operatorname {E} ({\widehat {\theta }})-\theta =0$ , ${\widehat {\theta }}$ . С оценщиком T и интересующим параметром $\theta$ решаем предыдущее уравнение, чтобы оно выглядело как $E[T]=\theta$ оценка является несмещенной. Глядя на рисунок справа, несмотря на $\theta _{2}$ будучи единственным несмещенным оценщиком. Если распределения перекрывались и оба были сосредоточены вокруг $\theta$ затем распространение $\theta _{1}$ на самом деле будет предпочтительной несмещенной оценкой.

Ожидание При рассмотрении величин в интересах ожидаемого распределения модели существует несмещенная оценка, которая должна удовлетворять двум приведенным ниже уравнениям.

1.X_{n}={\tfrac {X_{1}+X_{2}+...+X_{n}}{n}}

2.E[{\bar {X}}_{n}]=\mu

Дисперсия Аналогичным образом, если рассматривать величины с точки зрения дисперсии как модельного распределения, существует также несмещенная оценка, которая должна удовлетворять двум приведенным ниже уравнениям.

1.S_{n}^{2}={\tfrac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-X_{n})^{2}

2.E[S_{n}^{2}]=\sigma ^{2}

Обратите внимание, что мы делим на n - 1, потому что если бы мы разделили на n, мы получили бы оценку с отрицательным смещением, что, таким образом, привело бы к получению оценок, которые слишком малы для $\sigma ^{2}$ . Следует также упомянуть, что хотя $S_{n}^{2}$ является беспристрастным для $\sigma ^{2}$ обратное неверно. ^[4]

Отношения между величинами [ править ]

Среднеквадратическая ошибка, дисперсия и смещение связаны между собой: $\operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},$ т.е. среднеквадратическая ошибка = дисперсия + квадрат смещения. В частности, для несмещенной оценки дисперсия равна среднеквадратической ошибке.
Стандартное отклонение оценщика ${\widehat {\theta }}$ из $\theta$ ( квадратный корень из дисперсии) или оценка стандартного отклонения оценщика ${\widehat {\theta }}$ из $\theta$ , называется стандартной ошибкой ${\widehat {\theta }}$ .
Компромисс смещения и дисперсии будет использоваться для определения сложности модели, переподбора и недостаточного подбора. В основном он используется в области контролируемого обучения и прогнозного моделирования для диагностики производительности алгоритмов.

Выборочное распределение

может Распределение выборки быть показано оценщиком $S=h(X_{1},X_{2},...,X_{n})$ . представлена случайной выборкой: $X_{1},X_{2},...,X_{n}$ . Распределение выборки эквивалентно распределению вероятностей оценки S, которое также может быть представлено уравнением:

S={\tfrac {Y}{n}}

.

где Y — количество $X_{i}$ равно нулю, а n — количество испытаний. Чтобы понять, почему математическое ожидание зависит от вероятности ( $p_{0}$ ) нам нужно понять распределение. Например, в распределении выборки для каждого i в случайном наборе данных X можно считать успехом, когда X = 0. Это делает Y равным успеху X = 0 в n испытаниях. Учитывая, что Y либо успешен, либо нет, его можно рассматривать как биномиальное распределение с постоянной вероятностью. $p_{0}$ . Следовательно, выборочное распределение S можно рассматривать как распределение $Bin(n,p_{0})$ делая S дискретной случайной величиной . В результате ожидание распределения выборки можно представить как

E[S]={\tfrac {E[Y]}{n}}={\tfrac {np_{0}}{n}}=p_{0}

.

доказательство того, что имущество удерживается независимо от стоимости $p_{0}$ является. Это показывает, что, несмотря на $p_{0}$ значения, колеблющиеся между оценщиками выборок, могут быть целевыми независимо от различий. ^[4]

Поведенческие свойства [ править ]

Консистенция [ править ]

Согласованная последовательность оценок — это последовательность оценок, которые сходятся по вероятности к оцениваемой величине по мере индекса (обычно размера выборки неограниченного роста ). Другими словами, увеличение размера выборки увеличивает вероятность того, что оценщик будет близок к параметру генеральной совокупности.

Математически последовательность оценок { t _n ; n ≥ 0 } является согласованной оценкой параметра θ тогда и только тогда, когда для всех ε > 0 , независимо от того, насколько они малы, мы имеем

\lim _{n\to \infty }\Pr \left\{\left|t_{n}-\theta \right|<\varepsilon \right\}=1

.

Определенную выше согласованность можно назвать слабой согласованностью. Последовательность является сильно согласованной , если она почти наверняка сходится к истинному значению.

Оценщик, который сходится к кратному параметру, можно превратить в непротиворечивую оценку, умножив оценку на масштабный коэффициент , а именно на истинное значение, разделенное на асимптотическое значение оценки. Это часто происходит при оценке параметров масштаба по мерам статистической дисперсии .

Фишера Последовательность

Оценщик можно считать согласованным по Фишеру, если он является тем же функционалом эмпирической функции распределения, что и истинная функция распределения. Следуя формуле:

{\widehat {\theta }}=h(T_{n}),\theta =h(T_{\theta })

Где $T_{n}$ и $T_{\theta }$ – эмпирическая функция распределения и теоретическая функция распределения соответственно. Простой пример того, как увидеть, является ли что-то согласованным по Фишеру, — это проверить среднюю согласованность и дисперсию. Например, чтобы проверить согласованность среднего значения ${\widehat {\mu }}={\bar {X}}$ и для проверки отклонений подтвердите, что ${\widehat {\sigma }}^{2}=SSD/n$ . ^[5]

нормальность Асимптотическая

Асимптотически нормальная оценка - это непротиворечивая оценка, распределение которой вокруг истинного параметра θ приближается к нормальному распределению со стандартным отклонением, уменьшающимся пропорционально $1/{\sqrt {n}}$ по мере роста размера выборки n . С использованием ${\xrightarrow {D}}$ для обозначения сходимости по распределению , t _n является асимптотически нормальным если

{\sqrt {n}}(t_{n}-\theta ){\xrightarrow {D}}N(0,V),

для какого- В. то

В этой формулировке V/n можно назвать асимптотической дисперсией оценки. Однако некоторые авторы также называют V асимптотической дисперсией . Обратите внимание, что сходимость не обязательно произойдет для любого конечного «n», поэтому это значение является лишь приближением к истинной дисперсии оценки, в то время как в пределе асимптотическая дисперсия (V/n) равна просто нулю. Точнее говоря, распределение оценки t _n слабо сходится к дельта-функции Дирака с центром в точке $\theta$ .

Центральная предельная теорема подразумевает асимптотическую нормальность выборочного среднего. ${\bar {X}}$ как оценка истинного среднего значения. В более общем смысле, оценки максимального правдоподобия асимптотически нормальны при довольно слабых условиях регулярности — см. раздел асимптотики статьи о максимальном правдоподобии. Однако не все оценки асимптотически нормальны; наиболее простые примеры встречаются, когда истинное значение параметра лежит на границе допустимой области параметра.

Эффективность [ править ]

Эффективность оценщика используется для оценки интересующей величины способом «минимальной ошибки». В действительности не существует явной лучшей оценки; может быть только лучшая оценка. Хорошая или плохая эффективность оценки основана на выборе конкретной функции потерь и отражается двумя естественными желательными свойствами оценок: быть несмещенными. $\operatorname {E} ({\widehat {\theta }})-\theta =0$ и иметь минимальную среднеквадратическую ошибку (MSE) $\operatorname {E} [({\widehat {\theta }}-\theta )^{2}]$ . В общем, они не могут быть удовлетворены одновременно: несмещенная оценка может иметь меньшую среднеквадратическую ошибку, чем любая смещенная оценка (см. Смещение оценки ). Функция связывает среднеквадратическую ошибку со смещением оценщика. ^[6]

$\operatorname {E} [({\widehat {\theta }}-\theta )^{2}]=(\operatorname {E} ({\widehat {\theta }})-\theta )^{2}+\operatorname {Var} (\theta )\$

Первый член представляет собой среднеквадратичную ошибку; второй член представляет собой квадрат смещения средства оценки; а третий член представляет собой дисперсию выборки. Качество средства оценки можно определить путем сравнения дисперсии, квадрата смещения средства оценки или MSE. Дисперсия хорошей оценки (хорошая эффективность) будет меньше, чем дисперсия плохой оценки (плохая эффективность). Квадрат смещения оценки с хорошей оценкой будет меньше, чем смещение оценки с плохой оценкой. СКО хорошей оценки будет меньше, чем СКО плохой оценки. Предположим, есть две оценки, $\theta _{1}$ является хорошим оценщиком и $\theta _{2}$ это плохой оценщик. Вышеуказанную зависимость можно выразить следующими формулами.

$\operatorname {Var} (\theta _{1})<\operatorname {Var} (\theta _{2})$

$|\operatorname {E} ({\theta }_{1})-\theta |<|\operatorname {E} ({\theta _{2}})-\theta |$

$\operatorname {MSE} (\theta _{1})<\operatorname {MSE} (\theta _{2})$

Помимо использования формулы для определения эффективности оценщика, ее также можно определить с помощью графика. Если оценщик эффективен, на графике зависимости частоты от значения будет кривая с высокой частотой в центре и низкой частотой с двух сторон. Например:

Если оценщик неэффективен, график зависимости частоты от значения будет относительно более плавной кривой.

Проще говоря, хорошая оценка имеет узкую кривую, а плохая — большую. Если нанести эти две кривые на один график с общей осью Y, разница станет более очевидной.

Среди несмещенных оценок часто существует оценка с наименьшей дисперсией, называемая несмещенной оценкой с минимальной дисперсией ( MVUE ). В некоторых случаях существует несмещенная эффективная оценка , которая, помимо того, что имеет самую низкую дисперсию среди несмещенных оценок, удовлетворяет границе Крамера-Рао , которая является абсолютной нижней границей дисперсии для статистики переменной.

Относительно таких «наилучших несмещенных оценок» см. также оценку Крамера–Рао , теорему Гаусса–Маркова , теорему Лемана–Шеффе , теорему Рао–Блэквелла .

Прочность [ править ]

См. также [ править ]

Ссылки [ править ]

^ Мостеллер, Ф.; Тьюки, JW (1987) [1968]. «Анализ данных, включая статистику» . Собрание сочинений Джона В. Тьюки: философия и принципы анализа данных 1965–1986 гг . Том. 4. ЦРК Пресс. стр. 601–720 [с. 633]. ISBN 0-534-05101-4 – через Google Книги .
^ Косорок (2008), раздел 3.1, стр. 35–39.
^ Джейнс (2007), стр.172.
^ Перейти обратно: ^а ^б Деккинг, Фредерик (15 июня 2005 г.). Современное введение в теорию вероятности и статистики . Спрингер. стр. 285–293. ISBN 978-1-85233-896-1 .
^ Лауритцен, Штеффен. «Свойства оценщиков» (PDF) . Оксфордский университет . Проверено 9 декабря 2023 г.
^ Декинг, Фредерик Мишель; Краайкамп, Корнелис; Лопухаа, Хендрик Пауль; Местер, Людольф Эрвин (2005). «Современное введение в теорию вероятности и статистику » Спрингеровские тексты в статистике . дои : 10.1007/ 1-84628-168-7 ISBN 978-1-85233-896-1 . ISSN 1431-875X .

Дальнейшее чтение [ править ]

Большев, Логин Николаевич (2001) [1994], «Статистический оценщик» , Энциклопедия Математики , EMS Press .
Джейнс, ET (2007). Теория вероятностей: Логика науки (5-е изд.). Издательство Кембриджского университета . ISBN 978-0-521-59271-0 . .
Косорок, Михаил (2008). Введение в эмпирические процессы и полупараметрический вывод . Серия Спрингера по статистике. Спрингер . дои : 10.1007/978-0-387-74978-5 . ISBN 978-0-387-74978-5 .
Леманн, Эль ; Казелла, Г. (1998). Теория точечной оценки (2-е изд.). Спрингер . ISBN 0-387-98502-6 .
Шао, Джун (1998), Математическая статистика , Springer , ISBN 0-387-98674-Х

Внешние ссылки [ править ]

Основы теории оценок

[1] Мостеллер, Ф.; Тьюки, JW (1987) [1968]. «Анализ данных, включая статистику» . Собрание сочинений Джона В. Тьюки: философия и принципы анализа данных 1965–1986 гг . Том. 4. ЦРК Пресс. стр. 601–720 [с. 633]. ISBN 0-534-05101-4 – через Google Книги .

[2] Косорок (2008), раздел 3.1, стр. 35–39.

[3] Джейнс (2007), стр.172.

[<ref-4] Перейти обратно: ^а ^б Деккинг, Фредерик (15 июня 2005 г.). Современное введение в теорию вероятности и статистики . Спрингер. стр. 285–293. ISBN 978-1-85233-896-1 .

[5] Лауритцен, Штеффен. «Свойства оценщиков» (PDF) . Оксфордский университет . Проверено 9 декабря 2023 г.

[6] Декинг, Фредерик Мишель; Краайкамп, Корнелис; Лопухаа, Хендрик Пауль; Местер, Людольф Эрвин (2005). «Современное введение в теорию вероятности и статистику » Спрингеровские тексты в статистике . дои : 10.1007/ 1-84628-168-7 ISBN 978-1-85233-896-1 . ISSN 1431-875X .

[1]

[2]

[3]

[4]

[5]

[6]