Распределение уверенности

Не путать с доверительным интервалом .

В статистическом выводе концепцию доверительного распределения ( CD ) часто называют функцией распределения в пространстве параметров, которая может представлять доверительные интервалы всех уровней для интересующего параметра. Исторически сложилось так, что он обычно строился путем инвертирования верхних пределов нижних доверительных интервалов всех уровней, а также обычно ассоциировался с реперным показателем. интерпретация ( фидуциальное распределение ), хотя это чисто частотная концепция. Доверительное распределение НЕ является функцией распределения вероятностей интересующего параметра, но все же может быть функцией, полезной для получения выводов.

В последние годы наблюдается всплеск возобновления интереса к доверительным распределениям. В более поздних разработках концепция доверительного распределения стала чисто частотной концепцией без какой-либо достоверной интерпретации или обоснования. Концептуально доверительное распределение ничем не отличается от точечной или интервальной оценки ( доверительный интервал ), но оно использует функцию распределения, зависящую от выборки, в пространстве параметров (вместо точки или интервала) для оценки интересующего параметра.

Простым примером доверительного распределения, широко используемого в статистической практике, является бутстрап- распределение. Разработка и интерпретация бутстрап-распределения не требует каких-либо фидуциальных рассуждений; то же самое верно и для концепции доверительного распределения. Но понятие доверительного распределения гораздо шире, чем понятие бутстрап-распределения. В частности, недавние исследования показывают, что оно охватывает и объединяет широкий спектр примеров: от обычных параметрических случаев (включая большинство примеров классической разработки фидуциального распределения Фишера) до бутстреп-распределений, p-значения и т. д. функций нормализованные функции правдоподобия и, в некоторых случаях, байесовские априорные и байесовские апостериорные функции .

Точно так же, как байесовское апостериорное распределение содержит множество информации для любого типа байесовского вывода , доверительное распределение содержит множество информации для построения почти всех типов частотных выводов, включая точечные оценки , доверительные интервалы , критические значения, статистическую мощность и p- ценности, среди других. Некоторые недавние события подчеркнули многообещающий потенциал концепции компакт-дисков как эффективного инструмента вывода.

История

Нейман (1937) представил идею «доверительности» в своей основополагающей статье о доверительных интервалах, которая прояснила свойство частого повторения. По словам Фрейзера, зародыш (идея) доверительного распределения можно проследить даже до Байеса (1763). и Фишер (1930). Хотя эта фраза, кажется, впервые была использована у Кокса (1958). Некоторые исследователи рассматривают доверительное распределение как «неймановскую интерпретацию доверительных распределений Фишера». что «яростно оспаривалось Фишером». Считается также, что эти «непродуктивные споры» и «упрямая настойчивость» Фишера может быть причиной того, что концепция доверительного распределения долгое время неверно истолковывалась как фидуциальная концепция и не была полностью разработана в рамках частотной модели. Действительно, доверительное распределение представляет собой чисто частотную концепцию с чисто частотной интерпретацией, хотя оно также связано с концепциями байесовского и фидуциального вывода.

Определение

Классическое определение

Классически доверительное распределение определяется путем инвертирования верхних пределов ряда нижних доверительных интервалов. В частности,

Для каждого α в (0, 1) пусть (−∞, ξ _n ( α )] будет 100α% доверительным интервалом нижней стороны для θ , где ξ _n ( α ) = ξ _n ( X _n ,α) является непрерывным и увеличиваясь по α для каждой выборки X _n . Тогда H _n (•) = ξ _n. ⁻¹ (•) — доверительное распределение для θ .

Эфрон заявил, что это распределение «присваивает вероятность 0,05 θ , находящемуся между верхними конечными точками доверительного интервала 0,90 и 0,95 и т. д .». и «он обладает мощной интуитивной привлекательностью». В классической литературе функция доверительного распределения интерпретируется как функция распределения параметра θ , что невозможно, если не задействованы доверительные рассуждения, поскольку в частотной настройке параметры фиксированы и неслучайны.

Интерпретация функции CD полностью с частотной точки зрения, а не интерпретация ее как функции распределения (фиксированного/неслучайного) параметра является одним из основных отклонений недавних разработок по сравнению с классическим подходом. Преимущество рассмотрения доверительных распределений как чисто частотной концепции (аналогично точечной оценке) заключается в том, что теперь они свободны от тех ограничительных, если не спорных, ограничений, установленных Фишером для доверительных распределений.

Современное определение

Применяется следующее определение; Θ — это пространство параметров интересующего неизвестного параметра θ , а χ — это выборочное пространство, соответствующее данным X _n = { X ₁ , ..., X _n }:

Функция H _n (•) = H _n ( X _n , •) на χ × Θ → [0, 1] называется доверительным распределением (CD) для параметра θ , если она удовлетворяет двум требованиям:

• R1) Для каждого данного X _n ∈ χ n H ₍ (•) = H _n ( X _n , •) является непрерывной кумулятивной функцией распределения на Θ ;
• (R2) При истинном значении параметра θ = θ ₀ n H ₎ ( θ ₀ ≡ H _n ( X _n , θ ₀ ) как функция выборки X _n следует равномерному распределению U [0, 1].

Кроме того, функция H является асимптотической CD ( aCD ), если требование U [0, 1] истинно только асимптотически и требование непрерывности на H _n (•) опущено.

Говоря нетехническим языком, доверительное распределение является функцией как параметра, так и случайной выборки, с двумя требованиями. Первое требование (R1) просто требует, чтобы компакт-диск был распределением в пространстве параметров. Второе требование (R2) устанавливает ограничение на функцию, чтобы выводы (точечные оценки, доверительные интервалы, проверка гипотез и т. д.), основанные на доверительном распределении, имели желаемые частотные свойства. Это похоже на ограничения при точечной оценке для обеспечения определенных желаемых свойств, таких как несмещенность, последовательность, эффективность и т. д.

Доверительное распределение, полученное путем обращения верхних пределов доверительных интервалов (классическое определение), также удовлетворяет требованиям приведенного выше определения, и эта версия определения согласуется с классическим определением.

В отличие от классического фидуциального вывода, для оценки параметра в любых конкретных условиях может быть доступно более одного доверительного распределения. Кроме того, в отличие от классического фидуциального вывода, оптимальность не является частью требования. В зависимости от настроек и используемого критерия иногда существует уникальное «лучшее» (с точки зрения оптимальности) доверительное распределение. Но иногда оптимальное доверительное распределение отсутствует или, в некоторых крайних случаях, мы даже не сможем найти значимое доверительное распределение. Это не отличается от практики точечной оценки.

Определение с измеримыми пространствами

Доверительное распределение $C$ для параметра $\gamma$ в измеримом пространстве распределения является оценщиком с $C(A_{p})=p$ для семьи регионов доверия $A_{p}$ для $\gamma$ с уровнем $p$ для всех уровней $0<p<1$. Семейство регионов доверия не уникально. Если $A_{p}$ существует только для $p\in I\subset (0,1)$, затем $C$ представляет собой доверительное распределение с установленным уровнем $I$. Оба $C$ и все $A_{p}$ являются измеримыми функциями данных. Это означает, что $C$ является случайной мерой и $A_{p}$ представляет собой случайный набор. Если определяющее требование $P(\gamma \in A_{p})\geq p$ выполняется с равенством, то доверительное распределение является точным по определению. Если, кроме того, $\gamma$ является вещественным параметром, то определение теории меры совпадает с приведенным выше классическим определением.

Примеры

Пример 1: Нормальное среднее и дисперсия

Предположим, что нормальная выборка X _i ~ N ( µ , p ² ), i = 1, 2, ..., n задано.

(1) Дисперсия σ ² известен

Пусть Φ — кумулятивная функция распределения стандартного нормального распределения, и $F_{t_{n-1}}$ кумулятивная функция распределения Стьюдента $t_{n-1}$ распределение. Обе функции $H_{\mathit {\Phi }}(\mu )$ и $H_{t}(\mu )$ данный

$H_{\Phi }(\mu )={\mathit {\Phi }}\left({\frac {{\sqrt {n}}(\mu -{\bar {X}})}{\sigma }}\right),\quad {\text{and}}\quad H_{t}(\mu )=F_{t_{n-1}}\left({\frac {{\sqrt {n}}(\mu -{\bar {X}})}{s}}\right),$

удовлетворяют двум требованиям в определении CD и являются функциями доверительного распределения для μ . Более того,

$H_{A}(\mu )={\mathit {\Phi }}\left({\frac {{\sqrt {n}}(\mu -{\bar {X}})}{s}}\right)$

удовлетворяет определению асимптотического доверительного распределения при n → ∞ и является асимптотическим доверительным распределением для μ . Использование $H_{t}(\mu )$ и $H_{A}(\mu )$ эквивалентны утверждению, что мы используем $N({\bar {X}},\sigma ^{2})$ и $N({\bar {X}},s^{2})$ оценить $\mu$, соответственно.

(2) Дисперсия σ ² неизвестно

Для параметра µ , поскольку $H_{\mathit {\Phi }}(\mu )$ включает неизвестный параметр σ и нарушает два требования в определении CD, он больше не является «оценкой распределения» или доверительным распределением для μ . Однако, $H_{t}(\mu )$ по-прежнему является компакт-диском для μ и $H_{A}(\mu )$ является aCD для µ .

Для параметра σ ² , кумулятивная функция распределения, зависящая от выборки

$H_{\chi ^{2}}(\theta )=1-F_{\chi _{n-1}^{2}}((n-1)s^{2}/\theta )$

— функция доверительного распределения для σ ² . Здесь, $F_{\chi _{n-1}^{2}}$ – кумулятивная функция распределения $\chi _{n-1}^{2}$ распределение .

В случае, когда дисперсия σ ² известно, $H_{\mathit {\Phi }}(\mu )={\mathit {\Phi }}\left({\frac {{\sqrt {n}}(\mu -{\bar {X}})}{\sigma }}\right)$ является оптимальным с точки зрения получения кратчайших доверительных интервалов на любом заданном уровне. В случае, когда дисперсия σ ² неизвестно, $H_{t}(\mu )=F_{t_{n-1}}\left({\frac {{\sqrt {n}}(\mu -{\bar {X}})}{s}}\right)$ является оптимальным доверительным распределением для µ .

Пример 2: Двумерная нормальная корреляция

Пусть ρ обозначает коэффициент корреляции двумерной нормальной популяции. Хорошо известно, что z Фишера определяется преобразованием Фишера :

$z={1 \over 2}\ln {1+r \over 1-r}$

имеет предельное распространение $N({1 \over 2}\ln {{1+\rho } \over {1-\rho }},{1 \over n-3})$ с высокой скоростью сходимости, где r — выборочная корреляция, а n — размер выборки.

Функция

$H_{n}(\rho )=1-{\mathit {\Phi }}\left({\sqrt {n-3}}\left({1 \over 2}\ln {1+r \over 1-r}-{1 \over 2}\ln {{1+\rho } \over {1-\rho }}\right)\right)$

является асимптотическим доверительным распределением для ρ .

Точная доверительная плотность для ρ равна

$\pi (\rho |r)={\frac {\nu (\nu -1)\Gamma (\nu -1)}{{\sqrt {2\pi }}\Gamma (\nu +{\frac {1}{2}})}}(1-r^{2})^{\frac {\nu -1}{2}}\cdot (1-\rho ^{2})^{\frac {\nu -2}{2}}\cdot (1-r\rho )^{\frac {1-2\nu }{2}}F({\frac {3}{2}},-{\frac {1}{2}};\nu +{\frac {1}{2}};{\frac {1+r\rho }{2}})$

где $F$ — гипергеометрическая функция Гаусса и $\nu =n-1>1$ . Это также апостериорная плотность априорного байесовского сопоставления для пяти параметров бинормального распределения.

Самая последняя формула классической книги Фишера дает

$\pi (\rho |r)={\frac {(1-r^{2})^{\frac {\nu -1}{2}}\cdot (1-\rho ^{2})^{\frac {\nu -2}{2}}}{\pi (\nu -2)!}}\partial _{\rho r}^{\nu -2}\left\{{\frac {\theta -{\frac {1}{2}}\sin 2\theta }{\sin ^{3}\theta }}\right\}$

где $\cos \theta =-\rho r$ и $0<\theta <\pi$. Эта формула была выведена Ч.Р. Рао .

Пример 3: Бинормальное среднее

Пусть данные генерируются $Y=\gamma +U$ где $\gamma$ – неизвестный вектор на плоскости и $U$ имеет бинормальное и известное распределение на плоскости. Распределение $\Gamma ^{y}=y-U$ определяет доверительное распределение для $\gamma$. Регионы доверия $A_{p}$ можно выбрать как внутреннюю часть эллипсов с центром в $\gamma$ и оси, заданные собственными векторами ковариационной матрицы $\Gamma ^{y}$. Доверительное распределение в этом случае является бинормальным со средним значением $\gamma$и доверительные области могут быть выбраны многими другими способами. Доверительное распределение в этом случае совпадает с байесовским апостериорным распределением с использованием правого априора Хаара. Аргумент обобщается на случай неизвестного среднего значения. $\gamma$ в бесконечномерном гильбертовом пространстве , но в этом случае доверительное распределение не является байесовским апостериором.

Использование доверительных распределений для вывода

Доверительный интервал

Из определения CD видно, что интервал $(-\infty ,H_{n}^{-1}(1-\alpha )],[H_{n}^{-1}(\alpha ),\infty )$ и $[H_{n}^{-1}(\alpha /2),H_{n}^{-1}(1-\alpha /2)]$ обеспечить 100(1 - α )% доверительные интервалы разных видов для θ для любого α ∈ (0, 1). Также $[H_{n}^{-1}(\alpha _{1}),H_{n}^{-1}(1-\alpha _{2})]$ – доверительный интервал уровня 100(1 − α ₁ − α ₂ )% для параметра θ для любых α ₁ > 0, α ₂ > 0 и α ₁ + α ₂ < 1. Здесь $H_{n}^{-1}(\beta )$ представляет собой 100 β %-квантиль $H_{n}(\theta )$ или он находит решение для θ в уравнении $H_{n}(\theta )=\beta$. То же самое справедливо и для компакт-диска, где уровень доверия достигается в пределе. Некоторые авторы предложили использовать их для графического просмотра того, какие значения параметров соответствуют данным, а не для целей охвата или производительности.

Оценка баллов

Точечные оценки также могут быть построены с учетом оценки доверительного распределения для интересующего параметра. Например, учитывая H _n ( θ ) CD для параметра θ , естественный выбор точечных оценок включает медиану M _n = H _n ⁻¹ (1/2), среднее значение ${\bar {\theta }}_{n}=\int _{-\infty }^{\infty }t\,\mathrm {d} H_{n}(t)$, а точка максимума плотности CD

${\widehat {\theta }}_{n}=\arg \max _{\theta }h_{n}(\theta ),h_{n}(\theta )=H'_{n}(\theta ).$

При некоторых скромных условиях, среди других свойств, можно доказать, что все эти точечные оценки непротиворечивы. Определенные доверительные распределения могут дать оптимальные частотные оценки.

Проверка гипотез

Можно получить значение p для теста, как одностороннего, так и двустороннего, относительно параметра θ из его доверительного распределения H _n ( θ ). Обозначим через вероятностную массу множества C при функции доверительного распределения $p_{s}(C)=H_{n}(C)=\int _{C}\mathrm {d} H(\theta ).$ Это p _s (C) называется «поддержкой» в выводе CD, а в фидуциальной литературе также известно как «вера». У нас есть

(1) Для одностороннего теста K ₀ : θ ∈ C vs. K ₁ : θ ∈ C ^с , где C имеет тип (−∞, b ] или [ b , ∞), из определения CD можно показать, что sup _{θ ∈ C} P _θ ( p _s ( C ) ≤ α ) = α . Таким образом, p _s ( C ) = H _n ( C ) — соответствующее p-значение теста.

(2) Для одноэлементного теста K ₀ : θ = b vs. K ₁ : θ ≠ b , P _{{ K 0 : θ = b }} (2 min{ p _s ( C _lo )) из определения CD можно показать, что п _s ( C _вверх )} ≤ α ) знак равно α . Таким образом, 2 min{ p _s ( C _lo ), p _s ( C _up )} = 2 min { H _n ( b ), 1 − H _n ( b )} является соответствующим p-значением теста. Здесь C _lo = (−∞, b ] и C _up = [ b , ∞).

См. рисунок 1 из работы Се и Сингха (2011). для графической иллюстрации вывода CD.

Реализации

В нескольких статистических программах реализована возможность построения и построения графиков доверительных распределений.

Р , через concurve, pvaluefunctions, и episheet пакеты

Excel , через episheet

Стата , иди concurve

См. также

• Вероятность покрытия

Библиография

• Се М. и Сингх К. (2013). [1] «Доверительное распределение, оценка частотного распределения параметра: обзор». Международное статистическое обозрение , 81 , 3–39.
• Шведер Т. и Хьорт Н.Л. (2016). [2] Достоверность, правдоподобие, вероятность: статистический вывод с доверительными распределениями . Лондон: Издательство Кембриджского университета. ISBN   9781139046671
• Фишер, Р.А. (1956). Статистические методы и научные выводы . Нью-Йорк: Хафнер. ISBN   0-02-844740-9 .
• Фишер, Р.А. (1955). «Статистические методы и научная индукция» Дж. Рой. Статист. Соц. Сер. Б. 17, 69—78. (критика статистических теорий Ежи Неймана и Абрахама Вальда с фидуциальной точки зрения)
• Ханниг, Дж. (2009). « Об обобщенном фидуциальном выводе ». Statistica Sinica , 19 , 491–544.
• Лоулесс Ф. и Фредетт М. (2005). « Интервалы частотного прогнозирования и прогнозируемые распределения ». Биометрика. 92(3) 529–542.
• Леманн, Э.Л. (1993). « Теории Фишера, Неймана-Пирсона о проверке гипотез: одна теория или две? » Журнал Американской статистической ассоциации 88 1242–1249.
• Нейман, Ежи (1956). «Примечание к статье сэра Рональда Фишера». Журнал Королевского статистического общества . Серия Б (Методическая) 18 (2): 288–294. JSTOR   2983716 . (ответ Фишеру 1955, который диагностирует ошибочность «доверительного вывода»)
• Шведер Т., Садыкова Д., Руг Д. и Коски В. (2010) « Оценки численности популяции на основе аэрофотографических исследований естественно и изменчиво маркированных гренландских китов » Журнал сельскохозяйственной биологической и экологической статистики 2010 15: 1–19
• Битюков С., Красников Н., Надараджа С. и Смирнова В. (2010) « Доверительные распределения в статистическом выводе ». Материалы конференции AIP, 1305 , 346-353.
• Сингх К. и Се М. (2012). «CD-апостериорный --- объединение априорных данных и данных посредством доверительных распределений». Современные разработки в области байесовского анализа и теории статистических решений: праздничный сборник Уильяма Э. Стродермана. (Д. Фурдринье и др., ред.). Сборник IMS, том 8, 200–214.