Оценка баллов

В статистике ) , точечная оценка предполагает использование выборочных данных для расчета одного значения (известного как точечная оценка , поскольку оно идентифицирует точку в некотором пространстве параметров которое должно служить «наилучшим предположением» или «наилучшей оценкой» неизвестного значения. населения параметр (например, среднее значение населения ). Более формально, это применение точечной оценки к данным для получения точечной оценки.

Точечную оценку можно противопоставить интервальной оценке : такие интервальные оценки обычно представляют собой либо доверительные интервалы в случае частотного вывода , либо доверительные интервалы в случае байесовского вывода . В более общем смысле, точечную оценку можно противопоставить оценщику множеств. Примеры даны доверительными наборами или достоверными наборами. Точечную оценку также можно противопоставить оценке распределения. Примеры даются доверительными распределениями , рандомизированными оценками и байесовскими апостериорами .

Свойства точечных оценок

Предвзятость

« Смещение » определяется как разница между ожидаемым значением оценщика и истинным значением оцениваемого параметра совокупности. Можно также описать, что чем ближе ожидаемое значение параметра к измеренному параметру, тем меньше смещение. Когда предполагаемое число и истинное значение равны, оценщик считается несмещенным. Это называется несмещенной оценкой. Оценщик станет лучшим несмещенным оценщиком, если он будет иметь минимальную дисперсию . Однако смещенная оценка с небольшой дисперсией может быть более полезной, чем несмещенная оценка с большой дисперсией. Самое главное, мы предпочитаем точечные оценки, которые имеют наименьшие среднеквадратические ошибки.

Если мы позволим T = h(X ₁ ,X ₂ , . . . , X _n ) быть оценщиком, основанным на случайной выборке X ₁ ,X ₂ , . . . , X _n оценка T называется несмещенной оценкой параметра θ, если E[T] = θ, независимо от значения θ. Например, из одной и той же случайной выборки мы имеем E(x̄) = µ (среднее) и E(s ² ) = п ² (дисперсия), затем x̄ и s ² были бы несмещенными оценками μ и σ ² . Разница E[T] − θ называется смещением T; если эта разность отлична от нуля, то T называется смещенным.

Консистенция

Согласованность заключается в том, остается ли точечная оценка близкой к значению, когда параметр увеличивает свой размер. Чем больше размер выборки, тем точнее оценка. Если точечная оценка согласована, ее ожидаемое значение и дисперсия должны быть близки к истинному значению параметра. Несмещенная оценка является состоятельной, если предел дисперсии оценки T равен нулю.

Эффективность

Пусть T ₁ и T ₂ — две несмещенные оценки одного и того же параметра θ . Оценка T2 _чем будет называться более эффективной, оценка , _если ( T2 ₎ Var < Var( T1 _T1 ), независимо от значения θ . Мы также можем сказать, что наиболее эффективными оценщиками являются те, у которых наименьшая вариативность результатов. Следовательно, если оценщик имеет наименьшую дисперсию между выборками, он является наиболее эффективным и несмещенным. Мы расширяем понятие эффективности, говоря, что оценка T ₂ более эффективна, чем оценка T ₁ (для того же интересующего параметра), если MSE ( среднеквадратическая ошибка ) T ₂ меньше, чем MSE T ₁ .

Как правило, мы должны учитывать распределение населения при определении эффективности оценщиков. Например, при нормальном распределении среднее значение считается более эффективным, чем медиана, но то же самое не применимо к асимметричным или асимметричным распределениям.

Достаточность

В статистике работа статистика состоит в том, чтобы интерпретировать собранные данные и сделать статистически обоснованные выводы об исследуемой популяции. Но во многих случаях необработанные данные, которых слишком много и которые слишком дорого хранить, для этой цели не подходят. Следовательно, статистик хотел бы сжать данные, вычислив некоторые статистические данные, и основывать свой анализ на этих статистических данных, чтобы при этом не было потери соответствующей информации, то есть статистик хотел бы выбрать те статистические данные, которые исчерпывают всю информацию о параметр, который содержится в образце. Мы определяем достаточную статистику следующим образом: Пусть X = (X ₁ , X ₂ , ... ,X _n ) — случайная выборка. Говорят, что статистика T(X) достаточна для θ (или для семейства распределений), если условное распределение X при условии T свободно от θ.

Виды точечной оценки

Оценка байесовской точки

Байесовский вывод обычно основан на апостериорном распределении . Многие байесовские точечные оценки представляют собой статистику апостериорного распределения центральной тенденции , например, ее среднего значения, медианы или моды:

• Апостериорное среднее , которое минимизирует (апостериорный) риск (ожидаемые потери) для с квадратичной ошибкой функции потерь ; в байесовской оценке риск определяется с точки зрения апостериорного распределения, как наблюдал Гаусс .
• Задняя медиана , которая минимизирует апостериорный риск функции потери абсолютного значения, как заметил Лаплас .
• максимум апостериори ( MAP ), который находит максимум заднего распределения; для равномерной априорной вероятности оценка MAP совпадает с оценкой максимального правдоподобия;

Оценка MAP имеет хорошие асимптотические свойства даже для многих сложных задач, в которых оценка максимального правдоподобия сталкивается с трудностями.Для обычных задач, где оценка максимального правдоподобия согласована, оценка максимального правдоподобия в конечном итоге согласуется с оценкой MAP. Байесовские оценки допустимы по теореме Вальда.

Точечная оценка минимальной длины сообщения ( MML ) основана на байесовской теории информации и не имеет прямого отношения к апостериорному распределению .

особые случаи байесовских фильтров Важны :

• Фильтр Калмана
• Венский фильтр

Некоторые методы вычислительной статистики тесно связаны с байесовским анализом:

• фильтр твердых частиц
• Марковская цепь Монте-Карло (MCMC)

Методы нахождения точечных оценок

Ниже приведены некоторые часто используемые методы оценки неизвестных параметров, которые, как ожидается, обеспечат оценки, обладающие некоторыми из этих важных свойств. В общем, в зависимости от ситуации и цели нашего исследования мы применяем любой из методов, который может подойти среди методов точечной оценки.

Метод максимального правдоподобия (MLE)

Метод максимального правдоподобия , по Р. А. Фишеру, является важнейшим общим методом оценки. Этот метод оценки пытается получить неизвестные параметры, которые максимизируют функцию правдоподобия. Он использует известную модель (например, нормальное распределение) и значения параметров модели, которые максимизируют функцию правдоподобия, чтобы найти наиболее подходящее соответствие данным.

Пусть X = (X ₁ , X ₂ , ... ,X _n ) обозначает случайную выборку с совместной PDF или pmf f(x, θ) (θ может быть вектором). Функция f(x, θ), рассматриваемая как функция θ, называется функцией правдоподобия. В этом случае он обозначается L(θ). Принцип максимального правдоподобия состоит в выборе оценки в допустимом диапазоне θ, которая максимизирует правдоподобие. Эта оценка называется оценкой максимального правдоподобия (MLE) θ. Чтобы получить MLE для θ, мы используем уравнение

dlog L(θ)/ d θ _i =0, i = 1, 2, …, k. Если θ является вектором, то для получения уравнений правдоподобия рассматриваются частные производные.

Метод моментов (МОМ)

Метод моментов был введен К. Пирсоном и П. Чебышевым в 1887 году и является одним из старейших методов оценки. Этот метод основан на законе больших чисел , который использует все известные факты о популяции и применяет эти факты к выборке совокупности путем вывода уравнений, которые связывают моменты популяции с неизвестными параметрами. Затем мы можем решить, используя выборочное среднее совокупных моментов. Однако из-за простоты этот метод не всегда точен и может легко оказаться необъективным.

Пусть (X ₁ , X ₂ ,…X _n ) будет случайной выборкой из совокупности, имеющей pdf (или pmf) f(x,θ), θ = (θ ₁ , θ ₂ , …, θ _k ). Цель состоит в том, чтобы оценить параметры θ ₁ , θ ₂ , ..., θ _k . Далее, пусть первые k моментов численности около нуля существуют как явная функция θ, т.е. µ _r = µ _r (θ ₁ , θ ₂ ,…, θ _k ), r = 1, 2, …, k. В методе моментов мы приравниваем k выборочных моментов к соответствующим моментам популяции. Обычно берутся первые k моментов, поскольку ошибки, связанные с выборкой, увеличиваются с порядком момента. Таким образом, получаем k уравнений µ _r (θ ₁ , θ ₂ ,…, θ _k ) = m _r , r = 1, 2, …, k. Решая эти уравнения, мы получаем метод моментных оценок (или оценок) как

m _r = 1/n ΣX _i ^р . См. также обобщенный метод моментов .

Метод наименьших квадратов

В методе наименьших квадратов мы рассматриваем оценку параметров с использованием некоторой заданной формы ожидания и второго момента наблюдений. Для

подгоняя кривую вида y = f( x, β ₀ , β ₁ , ,,, β _p ) к данным (x _i , y _i ), i = 1, 2,… n, мы можем использовать метод наименьших квадратов. Этот метод заключается в минимизации

сумма квадратов.

Когда f(x, β ₀ , β ₁ , ,,,, β _p ) является линейной функцией параметров и значения x известны, методы наименьших квадратов будут лучшими линейными несмещенными оценщиками (СИНИЙ). Опять же, если мы предположим, что оценки наименьших квадратов независимо и одинаково нормально распределены, то линейная оценка будет несмещенной оценкой с минимальной дисперсией (MVUE) для всего класса несмещенных оценок. См. также минимальную среднеквадратическую ошибку (MMSE).

минимальной дисперсией (MVUE

Метод несмещенной оценки минимальной дисперсии минимизирует риск квадратичной ошибки (ожидаемые потери) функции потерь .

Медианная

Медианно-несмещенная оценка минимизирует риск функции потери абсолютной ошибки.

Лучшая линейная несмещенная оценка (СИНИЙ)

Лучшая линейная несмещенная оценка , также известная как теорема Гаусса-Маркова, утверждает, что обычная оценка наименьших квадратов (OLS) имеет самую низкую дисперсию выборки в классе линейных несмещенных оценок, если ошибки в модели линейной регрессии некоррелированы, имеют равные дисперсии. и математическое ожидание равно нулю.

Точечная оценка и

Точечная оценка и оценка доверительного интервала.

Существует два основных типа оценок: точечная оценка и оценка доверительного интервала . При точечной оценке мы пытаемся выбрать уникальную точку в пространстве параметров, которую можно разумно рассматривать как истинное значение параметра. С другой стороны, вместо однозначной оценки параметра нас интересует построение семейства наборов, содержащих истинное (неизвестное) значение параметра с заданной вероятностью. Во многих задачах статистического вывода нас интересует не только оценка параметра или проверка некоторой гипотезы, касающейся параметра, мы также хотим получить нижнюю или верхнюю границу или и то, и другое для действительнозначного параметра. Для этого нам нужно построить доверительный интервал.

Доверительный интервал описывает, насколько надежна оценка. Мы можем рассчитать верхний и нижний доверительные пределы интервалов на основе наблюдаемых данных. Предположим, набор данных x ₁ , . . . , x _n задано, смоделировано как реализация случайных величин X ₁ , . . . , Х _н . Пусть θ — интересующий параметр, а γ — число от 0 до 1. Если существуют выборочные статистики L _n = g(X ₁ , . . ., X _n ) и U _n = h(X ₁ , . . ., X _n ) такой, что P(L _n < θ < U _n ) = γ для любого значения θ, тогда (l _n , un ₎ , где l _n = g(x ₁ , . . ., x _n ) и u _n = h(x ₁ ,..., x _n ) называется 100γ% доверительным интервалом для θ. Число γ называется уровнем доверия . В общем, при нормально распределенном выборочном среднем Ẋ и известном значении стандартного отклонения σ 100(1-α)% доверительный интервал для истинного µ формируется путем принятия Ẋ ± e, при этом e = z _1-α/2 (σ/n ^1/2 ), где z _1-α/2 — 100(1-α/2)% совокупное значение стандартной нормальной кривой, а n — количество значений данных в этом столбце. Например, z _1-α/2 равно 1,96 при доверительной вероятности 95%.

Здесь два предела вычисляются на основе набора наблюдений, скажем, ln _и un _, и с определенной степенью уверенности (измеренной в вероятностных терминах) утверждается, что истинное значение γ лежит между _ln и _un . Таким образом, мы получаем интервал (l _n и un ₎ , который, как мы ожидаем, будет включать истинное значение γ(θ). Поэтому этот тип оценки называется оценкой доверительного интервала. Эта оценка обеспечивает диапазон значений, в которых, как ожидается, будет лежать параметр. Обычно он дает больше информации, чем точечные оценки, и его предпочитают при построении выводов. В некотором смысле мы можем сказать, что точечная оценка является противоположностью интервальной оценки.

См. также

• Алгоритмический вывод
• Биномиальное распределение
• Распределение уверенности
• Индукция (философия)
• Интервальная оценка
• Философия статистики
• Прогнозирующий вывод

Дальнейшее чтение

• Бикель, Питер Дж. и Доксум, Кьелл А. (2001). Математическая статистика: основные и избранные темы . Том. I (Второе (обновленное издание, 2007 г.) изд.). Пирсон Прентис-Холл.
• Лизе, Фридрих и Миске, Клаус-Дж. (2008). Статистическая теория принятия решений: оценка, тестирование и отбор . Спрингер.