Jump to content

Эффективность (статистика)

(Перенаправлено с эффективных оценщиков )

В статистике эффективность — это мера качества оценщика , плана эксперимента, [1] или процедуры проверки гипотезы . [2] более эффективному оценщику требуется меньше входных данных или наблюдений, чем менее эффективному По сути, для достижения границы Крамера-Рао . характеризуется Эффективная оценка наименьшей возможной дисперсией , что указывает на небольшое отклонение между оцененным значением и «истинным» значением в смысле нормы L2 . [1]

Относительная эффективность двух процедур представляет собой соотношение их эффективности, хотя часто это понятие используется там, где проводится сравнение данной процедуры и условно «наилучшей возможной» процедуры. Эффективность и относительная эффективность двух процедур теоретически зависят от размера выборки, доступной для данной процедуры, но часто можно использовать асимптотическую относительную эффективность (определяемую как предел относительной эффективности при увеличении размера выборки) в качестве основного параметра. мера сравнения.

Оценщики [ править ]

Эффективность несмещенной оценки T параметра θ как определяется [3]

где информация Фишера выборки. Таким образом, e ( T ) — это минимально возможная дисперсия для несмещенной оценки, деленная на ее фактическую дисперсию. Границу Крамера –Рао можно использовать, чтобы доказать, что e ( T ) ≤ 1.

Эффективные оценки [ править ]

Эффективный оценщик — это оценщик , который оценивает интересующую величину каким-то «наилучшим возможным» способом. Понятие «наилучшее возможное» основано на выборе конкретной функции потерь — функции, которая количественно определяет относительную степень нежелательности ошибок оценки различной величины. Наиболее распространенным выбором функции потерь является квадратичная функция , что приводит к среднеквадратической ошибки . критерию оптимальности [4]

В общем, разброс оценщика вокруг параметра θ является мерой эффективности и производительности оценщика. Эту производительность можно рассчитать, найдя среднеквадратическую ошибку. Более формально, пусть T будет оценкой параметра θ . Среднеквадратическая ошибка T - это значение , который можно разложить как сумму его дисперсии и смещения:

Оценка T 1 работает лучше, чем оценка T 2, если . [5] В более конкретном случае, если T 1 и T 2 являются двумя несмещенными оценками одного и того же параметра θ, то дисперсию можно сравнить для определения производительности. В этом случае T 2 более эффективен, T 1 , если дисперсия T 2 меньше чем дисперсии T 1 , т.е. для всех значений θ . Эту взаимосвязь можно определить путем упрощения приведенного выше более общего случая среднеквадратичной ошибки; поскольку ожидаемое значение несмещенной оценки равно значению параметра, . Следовательно, для несмещенной оценки , как член выпадает из-за того, что он равен 0. [5]

Если несмещенная оценка параметра θ достигает для всех значений параметра оценка называется эффективной. [3]

Эквивалентно, средство оценки достигает равенства в неравенстве Крамера – Рао для всех θ . Нижняя граница Крамера -Рао представляет собой нижнюю границу дисперсии несмещенной оценки, представляющую собой «лучшее», которым может быть несмещенная оценка.

Эффективная оценка также является несмещенной оценкой минимальной дисперсии (MVUE). Это связано с тем, что эффективная оценка поддерживает равенство неравенства Крамера – Рао для всех значений параметров, что означает, что она достигает минимальной дисперсии для всех параметров (определение MVUE). Оценка MVUE, даже если она существует, не обязательно эффективна, поскольку «минимум» не означает, что равенство выполняется в неравенстве Крамера – Рао.

Таким образом, эффективный оценщик не обязательно должен существовать, но если он и существует, то это MVUE.

конечной выборки Эффективность

Предположим , { P θ | θ ∈ Θ } — параметрическая модель , а X = ( X 1 , …, X n ) — данные, выбранные из этой модели. Пусть T = T ( X ) оценка параметра θ . Если эта оценка несмещена (т. е. E[ T ] = θ ), то неравенство Крамера – Рао утверждает, что дисперсия этой оценки ограничена снизу:

где информационная матрица Фишера модели в точке θ . Обычно дисперсия измеряет степень отклонения случайной величины вокруг ее среднего значения. Таким образом, оценки с небольшими отклонениями более концентрированы, они точнее оценивают параметры. Мы говорим, что оценка является эффективной оценкой конечной выборки (в классе несмещенных оценок), если она достигает нижней границы в неравенстве Крамера–Рао, приведенном выше, для всех θ ∈ Θ . Эффективные оценки всегда являются несмещенными оценками с минимальной дисперсией . Однако обратное неверно: существуют задачи точечного оценивания, для которых несмещенная к среднему оценка с минимальной дисперсией неэффективна. [6]

Исторически эффективность конечной выборки была ранним критерием оптимальности. Однако этот критерий имеет некоторые ограничения:

  • Эффективные оценки конечной выборки встречаются крайне редко. Фактически было доказано, что эффективное оценивание возможно только в экспоненциальном семействе и только для натуральных параметров этого семейства. [7]
  • Это понятие эффективности иногда ограничивается классом несмещенных оценок. (Часто это не так. [8] ) Поскольку нет веских теоретических оснований требовать, чтобы оценки были несмещенными, это ограничение неудобно. Фактически, если мы используем среднеквадратическую ошибку в качестве критерия отбора, многие смещенные оценки будут немного превосходить «лучшие» несмещенные оценки. Например, в многомерной статистике для измерения три или более несмещенная к среднему оценка, выборочное среднее , недопустима : независимо от результата, ее производительность хуже, чем, например, оценка Джеймса – Стейна . [ нужна ссылка ]
  • Эффективность конечной выборки основана на дисперсии как критерии, по которому оцениваются оценщики. Более общий подход заключается в использовании функций потерь, отличных от квадратичных, и в этом случае эффективность конечной выборки больше не может быть сформулирована. [ нужна ссылка ] [ сомнительно обсудить ]

Например, среди моделей, встречающихся на практике, существуют эффективные оценки для: среднего µ нормального распределения (но не дисперсии σ 2 ), параметр λ распределения Пуассона , вероятность p в биномиальном или полиномиальном распределении .

Рассмотрим модель нормального распределения с неизвестным средним значением, но известной дисперсией: { P θ = N ( θ , σ 2 ) | θ R }. Данные состоят из n независимых и одинаково распределенных наблюдений из этой модели: X = ( x 1 , …, x n ) . Мы оцениваем параметр θ, используя выборочное среднее всех наблюдений:

Эта оценка имеет среднее значение θ и дисперсию σ 2 / n , который равен обратной величине информации Фишера из выборки. Таким образом, выборочное среднее является эффективной оценкой среднего значения нормального распределения для конечной выборки.

эффективность Асимптотическая

Асимптотическая эффективность требует согласованности (статистики) , асимптотического нормального распределения оценки и асимптотической дисперсионно-ковариационной матрицы не хуже, чем любая другая оценка. [9]

Пример: Медиана [ править ]

Рассмотрим выборку размером получено из нормального распределения среднего значения и единичная дисперсия , т. е.

Выборочное среднее , , образца , определяемый как

Дисперсия среднего значения 1/ N (квадрат стандартной ошибки ) равна обратной величине информации Фишера из выборки, и, таким образом, согласно неравенству Крамера – Рао , выборочное среднее эффективно в том смысле, что его эффективность единица (100%).

Теперь рассмотрим выборочную медиану , . Это несмещенная и последовательная оценка . Для больших медиана выборки примерно нормально распределяется со средним значением и дисперсия [10]

Эффективность медианы для больших таким образом

Другими словами, относительная дисперсия медианы будет равна , или на 57% больше, чем дисперсия среднего значения – стандартная ошибка медианы будет на 25% больше, чем дисперсия среднего значения. [11]

Обратите внимание, что это асимптотическая эффективность, то есть эффективность в пределе размера выборки. стремится к бесконечности. Для конечных значений эффективность выше этого (например, размер выборки 3 дает эффективность около 74%). [ нужна ссылка ]

Таким образом, в этом примере выборочное среднее более эффективно, чем выборочная медиана. Однако могут существовать показатели, по которым медиана работает лучше. Например, медиана гораздо более устойчива к выбросам , поэтому, если модель Гаусса сомнительна или приблизительна, использование медианы может иметь преимущества (см. Надежная статистика ).

Доминирующие оценки [ править ]

Если и являются оценками параметра , затем говорят, что доминирует если:

  1. его среднеквадратическая ошибка (MSE) меньше, по крайней мере, для некоторого значения
  2. MSE не превышает для любого значения θ.

Формально, доминирует если

держится для всех , где-то сохраняется строгое неравенство.

эффективность Относительная

Относительная эффективность двух несмещенных оценок определяется как [12]

Хотя вообще является функцией , во многих случаях зависимость пропадает; если это так, если оно больше единицы, это будет означать, что предпочтительнее, независимо от истинной стоимости .

Альтернативой относительной эффективности сравнения оценок является критерий близости Питмана . Это заменяет сравнение среднеквадратических ошибок сравнением того, как часто один оценщик дает оценки, более близкие к истинному значению, чем другой оценщик.

Если и являются оценками параметра , затем говорят, что доминирует если:

  1. его среднеквадратическая ошибка (MSE) меньше, по крайней мере, для некоторого значения
  2. MSE не превышает для любого значения θ.

Формально, доминирует если

держится для всех , где-то сохраняется строгое неравенство.

Оценщики среднего uid значения переменных

При оценке среднего значения некоррелированных, одинаково распределенных переменных мы можем воспользоваться тем фактом, что дисперсия суммы является суммой дисперсий . В этом случае эффективность можно определить как квадрат коэффициента вариации , т.е. [13]

Таким образом, относительную эффективность двух таких оценок можно интерпретировать как относительный размер выборки одного, необходимый для достижения достоверности другого. Доказательство:

Теперь, потому что у нас есть , поэтому относительная эффективность выражает относительный размер выборки первой оценки, необходимый для соответствия дисперсии второй.

Прочность [ править ]

Эффективность оценщика может существенно измениться, если распределение изменится, часто падая. Это одна из причин создания робастной статистики : например, такая оценка, как выборочное среднее, является эффективной оценкой генерального среднего нормального распределения, но может быть неэффективной оценкой смешанного распределения двух нормальных распределений с одинаковыми средние и различные отклонения. Например, если распределение представляет собой комбинацию 98% N ( μ, σ ) и 2% N ( μ, 10 σ ), наличие крайних значений из последнего распределения (часто «загрязняющих выбросов») значительно снижает эффективность выборочное среднее как средство оценки μ. Напротив, усеченное среднее менее эффективно для нормального распределения, но более устойчиво (т. е. менее подвержено влиянию) изменений в распределении и, таким образом, может быть более эффективным для смешанного распределения. Аналогичным образом, форма распределения , такая как асимметрия или тяжелые хвосты , может значительно снизить эффективность оценок, предполагающих симметричное распределение или тонкие хвосты.

Использование неэффективных оценок [ править ]

Хотя эффективность является желательным качеством оценщика, ее необходимо сопоставлять с другими соображениями, и оценщик, эффективный для определенных распределений, вполне может быть неэффективным для других распределений. Самое главное, что оценщики, которые эффективны для чистых данных из простого распределения, такого как нормальное распределение (которое является симметричным, унимодальным и имеет тонкие хвосты), могут быть неустойчивыми к загрязнению выбросами и могут быть неэффективными для более сложных распределений. В надежной статистике больше внимания уделяется надежности и применимости к широкому спектру распределений, а не эффективности одного распределения. M-оценщики — это общий класс оценщиков, мотивированных этими проблемами. Они могут быть спроектированы так, чтобы обеспечить как надежность, так и высокую относительную эффективность, хотя в некоторых случаях, возможно, более низкую эффективность, чем традиционные методы оценки. Однако они могут быть очень сложными в вычислительном отношении.

Более традиционной альтернативой являются L-оценщики , которые представляют собой очень простые статистические данные, которые легко вычислять и интерпретировать, во многих случаях они надежны и часто достаточно эффективны для первоначальных оценок. См. применение L-оценок для дальнейшего обсуждения.

Эффективность в статистике [ править ]

Эффективность статистики важна, поскольку она позволяет сравнивать эффективность различных оценщиков. Хотя несмещенная оценка обычно предпочтительнее смещенной, более эффективная смещенная оценка иногда может быть более ценной, чем менее эффективная несмещенная оценка. Например, это может произойти, когда значения смещенной оценки собираются вокруг числа, более близкого к истинному значению. Таким образом, производительность оценщика можно легко предсказать, сравнивая их среднеквадратические ошибки или дисперсии.

Проверка гипотез [ править ]

Для сравнения тестов значимости можно определить значимую меру эффективности на основе размера выборки, необходимого для того, чтобы тест достиг заданной мощности задачи . [14]

Эффективность Питмана [15] и эффективность Бахадура (или эффективность Ходжеса – Лемана ) [16] [17] [18] относятся к сравнению эффективности процедур проверки статистических гипотез .

Экспериментальный дизайн [ править ]

Для экспериментальных проектов эффективность связана со способностью проекта достичь цели исследования с минимальными затратами ресурсов, таких как время и деньги. В простых случаях относительную эффективность планов можно выразить как соотношение размеров выборок, необходимых для достижения заданной цели. [19]

См. также [ править ]

Примечания [ править ]

  1. ^ Jump up to: Перейти обратно: а б Эверитт 2002 , с. 128.
  2. ^ Никулин, М.С. (2001) [1994], «Эффективность статистической процедуры» , Энциклопедия Математики , EMS Press
  3. ^ Jump up to: Перейти обратно: а б Фишер, Р. (1921). «О математических основах теоретической статистики». Философские труды Лондонского королевского общества А. 222 : 309–368. JSTOR   91208 .
  4. ^ Эверитт 2002 , с. 128 .
  5. ^ Jump up to: Перейти обратно: а б Деккинг, FM (2007). Современное введение в вероятность и статистику: понимание того, почему и как . Спрингер. стр. 303–305 . ISBN  978-1852338961 .
  6. ^ Романо, Джозеф П.; Сигел, Эндрю Ф. (1986). Контрпримеры в теории вероятности и статистике . Чепмен и Холл. п. 194.
  7. ^ Ван Трис, Гарри Л. (2013). Оценка обнаружения и теория модуляции . Кристин Л. Белл, Чжи Тянь (второе изд.). Хобокен, Нью-Джерси ISBN  978-1-299-66515-6 . OCLC   851161356 . {{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )
  8. ^ ДеГрут; Шервиш (2002). Вероятность и статистика (3-е изд.). стр. 440–441.
  9. ^ Грин, Уильям Х. (2012). Эконометрический анализ (7-е изд., международное изд.). Бостон: Пирсон. ISBN  978-0-273-75356-8 . OCLC   726074601 .
  10. ^ Уильямс, Д. (2001). Взвешивание шансов . Издательство Кембриджского университета. п. 165 . ISBN  052100618X .
  11. ^ Мейндональд, Джон; Браун, В. Джон (6 мая 2010 г.). Анализ данных и графика с использованием R: подход на основе примеров . Издательство Кембриджского университета. п. 104. ИСБН  978-1-139-48667-5 .
  12. ^ Вакерли, Деннис Д.; Менденхолл, Уильям; Шеффер, Ричард Л. (2008). Математическая статистика с приложениями (Седьмое изд.). Бельмонт, Калифорния: Томсон Брукс/Коул. п. 445 . ISBN  9780495110811 . OCLC   183886598 .
  13. ^ Граббс, Фрэнк (1965). Статистические меры точности для стрелков и инженеров-ракетчиков . стр. 26–27.
  14. ^ Эверитт 2002 , с. 321.
  15. ^ Никитин, Я.Ю. (2001) [1994], «Эффективность, асимптотическая» , Энциклопедия математики , EMS Press
  16. ^ «Эффективность Бахадура — Математическая энциклопедия» .
  17. ^ Arcones MA "Эффективность Бахадура теста отношения правдоподобия" Препринт
  18. ^ Канай И.А. и Оцу, Т. «Оптимальность Ходжеса – Лемана для тестирования моделей моментных условий»
  19. ^ Додж, Ю. (2006). Оксфордский словарь статистических терминов . Издательство Оксфордского университета. ISBN  0-19-920613-9 .

Ссылки [ править ]

  • Эверитт, Брайан С. (2002). Кембриджский статистический словарь . Издательство Кембриджского университета. ISBN  0-521-81099-Х .
  • Леманн, Эрих Л. (1998). Элементы теории большой выборки . Нью-Йорк: Springer Verlag. ISBN  978-0-387-98595-4 .

Дальнейшее чтение [ править ]

Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: a7c3f87f5b341c52d4bb8318fb81e877__1713996840
URL1:https://arc.ask3.ru/arc/aa/a7/77/a7c3f87f5b341c52d4bb8318fb81e877.html
Заголовок, (Title) документа по адресу, URL1:
Efficiency (statistics) - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)