Оценка баллов
В статистике точечная оценка предполагает использование выборочных данных для расчета одного значения (известного как точечная оценка , поскольку оно идентифицирует точку в некотором пространстве параметров ), которое должно служить «наилучшим предположением» или «наилучшей оценкой» неизвестного значения. населения параметр (например, среднее значение населения ). Более формально, это применение точечной оценки к данным для получения точечной оценки.
Точечную оценку можно противопоставить интервальной оценке : такие интервальные оценки обычно представляют собой либо доверительные интервалы в случае частотного вывода , либо доверительные интервалы в случае байесовского вывода . В более общем смысле, точечную оценку можно противопоставить оценщику множеств. Примеры даны доверительными наборами или достоверными наборами. Точечную оценку также можно противопоставить оценке распределения. Примеры даются доверительными распределениями , рандомизированными оценками и байесовскими апостериорами .
Свойства точечных оценок [ править ]
Предвзятость [ править ]
« Смещение » определяется как разница между ожидаемым значением оценщика и истинным значением оцениваемого параметра совокупности. Также можно описать, что чем ближе ожидаемое значение параметра к измеренному параметру, тем меньше смещение. Когда предполагаемое число и истинное значение равны, оценщик считается несмещенным. Это называется несмещенной оценкой. Оценщик станет лучшим несмещенным оценщиком, если он будет иметь минимальную дисперсию . Однако смещенная оценка с небольшой дисперсией может быть более полезной, чем несмещенная оценка с большой дисперсией. [1] Самое главное, мы предпочитаем точечные оценки, которые имеют наименьшие среднеквадратические ошибки.
Если мы позволим T = h(X 1 ,X 2 , . . . , X n ) быть оценщиком, основанным на случайной выборке X 1 ,X 2 , . . . , X n оценка T называется несмещенной оценкой параметра θ, если E[T] = θ, независимо от значения θ. [1] Например, из одной и той же случайной выборки мы имеем E(x̄) = µ (среднее) и E(s 2 ) = п 2 (дисперсия), затем x̄ и s 2 были бы несмещенными оценками μ и σ 2 . Разница E[T] − θ называется смещением T; если эта разность отлична от нуля, то T называется смещенным.
Консистенция [ править ]
Согласованность заключается в том, остается ли точечная оценка близкой к значению, когда параметр увеличивает свой размер. Чем больше размер выборки, тем точнее оценка. Если точечная оценка согласована, ее ожидаемое значение и дисперсия должны быть близки к истинному значению параметра. Несмещенная оценка является состоятельной, если предел дисперсии оценки T равен нулю.
Эффективность [ править ]
Пусть T 1 и T 2 — две несмещенные оценки одного и того же параметра θ . Оценка T2 чем будет называться более эффективной, оценка T1 , если Var( < Var T2) ( T1 , ) независимо от значения θ . [1] Мы также можем сказать, что наиболее эффективными оценщиками являются те, у которых наименьшая вариативность результатов. Следовательно, если оценщик имеет наименьшую дисперсию между выборками, он является наиболее эффективным и несмещенным. Мы расширяем понятие эффективности, говоря, что оценка T 2 более эффективна, чем оценка T 1 (для того же интересующего параметра), если MSE ( среднеквадратическая ошибка ) T 2 меньше, чем MSE T 1 . [1]
Как правило, мы должны учитывать распределение населения при определении эффективности оценщиков. Например, при нормальном распределении среднее значение считается более эффективным, чем медиана, но то же самое не применимо к асимметричным или асимметричным распределениям.
Достаточность [ править ]
В статистике работа статистика состоит в том, чтобы интерпретировать собранные данные и сделать статистически обоснованные выводы об исследуемой популяции. Но во многих случаях необработанные данные, которых слишком много и которые слишком дорого хранить, для этой цели не подходят. Следовательно, статистик хотел бы сжать данные, вычислив некоторые статистические данные, и основывать свой анализ на этих статистических данных, чтобы при этом не было потери соответствующей информации, то есть статистик хотел бы выбрать те статистические данные, которые исчерпывают всю информацию о параметр, который содержится в образце. Мы определяем достаточную статистику следующим образом: Пусть X =( X 1 , X 2 , ... ,X n ) — случайная выборка. Говорят, что статистика T(X) достаточна для θ (или для семейства распределений), если условное распределение X при условии T свободно от θ. [2]
Виды точечной оценки [ править ]
Оценка байесовской точки [ править ]
Байесовский вывод обычно основан на апостериорном распределении . Многие байесовские точечные оценки представляют собой статистику апостериорного распределения центральной тенденции , например, ее среднего значения, медианы или моды:
- Апостериорное среднее , которое минимизирует (апостериорный) риск (ожидаемые потери) для с квадратичной ошибкой функции потерь ; в байесовской оценке риск определяется с точки зрения апостериорного распределения, как наблюдал Гаусс . [3]
- Задняя медиана , которая минимизирует апостериорный риск функции потери абсолютного значения, как заметил Лаплас . [3] [4]
- максимум апостериори ( MAP ), который находит максимум заднего распределения; для равномерной априорной вероятности оценка MAP совпадает с оценкой максимального правдоподобия;
Оценка MAP имеет хорошие асимптотические свойства даже для многих сложных задач, в которых оценка максимального правдоподобия сталкивается с трудностями. Для обычных задач, где оценка максимального правдоподобия согласована, оценка максимального правдоподобия в конечном итоге согласуется с оценкой MAP. [5] [6] [7] Байесовские оценки допустимы по теореме Вальда. [6] [8]
Точечная оценка минимальной длины сообщения ( MML ) основана на байесовской теории информации и не имеет прямого отношения к апостериорному распределению .
особые случаи байесовских фильтров Важны :
Некоторые методы вычислительной статистики тесно связаны с байесовским анализом:
Методы нахождения точечных оценок [ править ]
Ниже приведены некоторые часто используемые методы оценки неизвестных параметров, которые, как ожидается, позволят получить оценки, обладающие некоторыми из этих важных свойств. В общем, в зависимости от ситуации и цели нашего исследования мы применяем любой из методов, который может подойти среди методов точечной оценки.
Метод максимального правдоподобия (MLE) [ править ]
Метод максимального правдоподобия , по Р.А. Фишеру, является важнейшим общим методом оценки. Этот метод оценки пытается получить неизвестные параметры, которые максимизируют функцию правдоподобия. Он использует известную модель (например, нормальное распределение) и значения параметров модели, которые максимизируют функцию правдоподобия, чтобы найти наиболее подходящее соответствие данным. [9]
Пусть X = (X 1 , X 2 , ... ,X n ) обозначает случайную выборку с совместной PDF или pmf f(x, θ) (θ может быть вектором). Функция f(x, θ), рассматриваемая как функция θ, называется функцией правдоподобия. В этом случае он обозначается L(θ). Принцип максимального правдоподобия состоит в выборе оценки в допустимом диапазоне θ, которая максимизирует правдоподобие. Эта оценка называется оценкой максимального правдоподобия (MLE) θ. Чтобы получить MLE для θ, мы используем уравнение
dlog L(θ)/ d θ i =0, i = 1, 2, …, k. Если θ является вектором, то для получения уравнений правдоподобия рассматриваются частные производные. [2]
Метод моментов (МОМ) [ править ]
Метод моментов был введен К. Пирсоном и П. Чебышевым в 1887 году и является одним из старейших методов оценки. Этот метод основан на законе больших чисел , который использует все известные факты о популяции и применяет эти факты к выборке совокупности путем вывода уравнений, которые связывают моменты популяции с неизвестными параметрами. Затем мы можем решить, используя выборочное среднее совокупных моментов. [10] Однако из-за простоты этот метод не всегда точен и может легко оказаться необъективным.
Пусть (X 1 , X 2 ,…X n ) будет случайной выборкой из совокупности, имеющей pdf (или pmf) f(x,θ), θ = (θ 1 , θ 2 , …, θ k ). Цель состоит в том, чтобы оценить параметры θ 1 , θ 2 , ..., θ k . Далее, пусть первые k моментов численности около нуля существуют как явная функция θ, т.е. µ r = µ r (θ 1 , θ 2 ,…, θ k ), r = 1, 2, …, k. В методе моментов мы приравниваем k выборочных моментов к соответствующим моментам популяции. Обычно берутся первые k моментов, поскольку ошибки, связанные с выборкой, увеличиваются с порядком момента. Таким образом, мы получаем k уравнений µ r (θ 1 , θ 2 ,…, θ k ) = m r , r = 1, 2, …, k. Решая эти уравнения, мы получаем метод моментных оценок (или оценок) как
m r = 1/n ΣX i р . [2] См. также обобщенный метод моментов .
Метод наименьших квадратов [ править ]
В методе наименьших квадратов мы рассматриваем оценку параметров с использованием некоторой заданной формы ожидания и второго момента наблюдений. Для
подгоняя кривую вида y = f( x, β 0 , β 1 , ,,, β p ) к данным (x i , y i ), i = 1, 2,… n, мы можем использовать метод наименьших квадратов. Этот метод заключается в минимизации
сумма квадратов.
Когда f(x, β 0 , β 1 , ,,,, β p ) является линейной функцией параметров и значения x известны, методы наименьших квадратов будут лучшими линейными несмещенными оценщиками (СИНИЙ). Опять же, если мы предположим, что оценки наименьших квадратов независимо и одинаково нормально распределены, то линейная оценка будет несмещенной оценкой с минимальной дисперсией (MVUE) для всего класса несмещенных оценок. См. также минимальную среднеквадратическую ошибку (MMSE). [2]
Несмещенная оценка с минимальной дисперсией MVUE ) (
Метод несмещенной оценки минимальной дисперсии минимизирует риск квадратичной ошибки (ожидаемые потери) функции потерь .
несмещенная оценка Медианная
Медианно-несмещенная оценка минимизирует риск функции потери абсолютной ошибки.
Лучшая линейная несмещенная оценка (СИНИЙ) [ править ]
Лучшая линейная несмещенная оценка , также известная как теорема Гаусса-Маркова, утверждает, что обычная оценка наименьших квадратов (OLS) имеет самую низкую дисперсию выборки в классе линейных несмещенных оценок, если ошибки в модели линейной регрессии некоррелированы, имеют равные дисперсии. и математическое ожидание равно нулю. [11]
Точечная оценка и доверительного интервала оценка
Существует два основных типа оценок: точечная оценка и оценка доверительного интервала . При точечной оценке мы пытаемся выбрать уникальную точку в пространстве параметров, которую можно разумно рассматривать как истинное значение параметра. С другой стороны, вместо однозначной оценки параметра нас интересует построение семейства множеств, содержащих истинное (неизвестное) значение параметра с заданной вероятностью. Во многих задачах статистического вывода нас интересует не только оценка параметра или проверка некоторой гипотезы относительно параметра, мы также хотим получить нижнюю или верхнюю границу или и то, и другое для действительнозначного параметра. Для этого нам нужно построить доверительный интервал.
Доверительный интервал описывает, насколько надежна оценка. Мы можем рассчитать верхний и нижний доверительные пределы интервалов на основе наблюдаемых данных. Предположим, набор данных x 1 , . . . , x n задано, смоделировано как реализация случайных величин X 1 , . . . , Х н . Пусть θ — интересующий параметр, а γ — число от 0 до 1. Если существуют выборочные статистики L n = g(X 1 ,..., X n ) и U n = h(X 1 ,..., X n ) такой, что P(L n < θ < U n ) = γ для любого значения θ, тогда (l n , un ) , где l n = g(x 1 , . . ., x n ) и u n = h(x 1 ,..., x n ) называется 100γ% доверительным интервалом для θ. Число γ называется уровнем доверия . [1] В общем, при нормально распределенном выборочном среднем Ẋ и известном значении стандартного отклонения σ 100(1-α)% доверительный интервал для истинного µ формируется путем принятия Ẋ ± e, при этом e = z 1-α/2 (σ/n 1/2 ), где z 1-α/2 — это 100(1-α/2)% совокупное значение стандартной нормальной кривой, а n — количество значений данных в этом столбце. Например, z 1-α/2 равно 1,96 при доверительной вероятности 95%. [12]
Здесь два предела вычисляются на основе набора наблюдений, скажем, ln и un , и с определенной степенью уверенности (измеренной в вероятностных терминах) утверждается, что истинное значение γ лежит между ln и un . Таким образом, мы получаем интервал (l n и un ) , который, как мы ожидаем, будет включать истинное значение γ(θ). Поэтому этот тип оценки называется оценкой доверительного интервала. [2] Эта оценка обеспечивает диапазон значений, в которых, как ожидается, будет лежать параметр. Обычно он дает больше информации, чем точечные оценки, и его предпочитают при построении выводов. В некотором смысле мы можем сказать, что точечная оценка является противоположностью интервальной оценки.
См. также [ править ]
- Алгоритмический вывод
- Биномиальное распределение
- Распределение уверенности
- Индукция (философия)
- Интервальная оценка
- Философия статистики
- Прогнозирующий вывод
Ссылки [ править ]
- ^ Перейти обратно: а б с д Это Современное введение в теорию вероятности и статистики . Ф. М. Декинг, К. Краакамп, Х. П. Лопуха, Л. Е. Мистер. 2005.
- ^ Перейти обратно: а б с д Это Оценка и логическая статистика . Прадип Кумар Саху, Санти Ранджан Пал, Аджит Кумар Дас. 2015.
- ^ Перейти обратно: а б Додж, Ядола , изд. (1987). Статистический анализ данных на основе нормы L1 и связанных с ней методов: материалы Первой международной конференции, состоявшейся в Невшателе, 31 августа – 4 сентября 1987 г. Издательство Северной Голландии .
- ^ Джейнс, ET (2007). Теория вероятностей: Логика науки (5-е печатное изд.). Издательство Кембриджского университета . п. 172. ИСБН 978-0-521-59271-0 .
- ^ Фергюсон, Томас С. (1996). Курс теории больших выборок . Чепмен и Холл . ISBN 0-412-04371-8 .
- ^ Перейти обратно: а б Ле Кам, Люсьен (1986). Асимптотические методы в статистической теории принятия решений . Спрингер-Верлаг . ISBN 0-387-96307-3 .
- ^ Фергюсон, Томас С. (1982). «Непоследовательная оценка максимального правдоподобия». Журнал Американской статистической ассоциации . 77 (380): 831–834. дои : 10.1080/01621459.1982.10477894 . JSTOR 2287314 .
- ^ Леманн, Эль ; Казелла, Г. (1998). Теория точечной оценки (2-е изд.). Спрингер. ISBN 0-387-98502-6 .
- ^ Категориальный анализ данных . Джон Уайли и сыновья, Нью-Йорк: Агрести А. 1990.
- ^ Краткая энциклопедия статистики . Спрингер: Додж, Ю. 2008.
- ^ Лучшая линейная несмещенная оценка и прогнозирование . Нью-Йорк: Джон Уайли и сыновья: Тейл Анри. 1971.
- ^ Экспериментальный дизайн - с применением в менеджменте, технике и науке . Спрингер: Пол Д. Бергер, Роберт Э. Маурер, Джована Б. Челли. 2019.
Дальнейшее чтение [ править ]
- Бикель, Питер Дж. и Доксум, Кьелл А. (2001). Математическая статистика: основные и избранные темы . Том. I (Второе (обновленное издание, 2007 г.) изд.). Пирсон Прентис-Холл.
- Лизе, Фридрих и Миске, Клаус-Дж. (2008). Статистическая теория принятия решений: оценка, тестирование и отбор . Спрингер.
| Базы данных органов управления : Национальные |
|---|
