Полнота (статистика)

В статистике полнота — это свойство статистики по отношению к параметризованной модели для набора наблюдаемых данных.

Полная статистика T — это статистика, для которой любое предлагаемое распределение в области T прогнозируется одним или несколькими априорными распределениями в пространстве параметров модели. Другими словами, пространство модели «достаточно богато», чтобы любое возможное распределение T можно было объяснить некоторым априорным распределением в пространстве параметров модели. Напротив, достаточная статистика T — это такая статистика, для которой любые два предыдущих распределения будут давать разные распределения для T. (Это последнее утверждение предполагает, что пространство модели идентифицируемо , т. е. что нет «дубликатов» значений параметров. Это второстепенный момент). .)

Другими словами: предположим, что у нас есть идентифицируемое модельное пространство, параметризованное $\theta$и статистика $T$(что фактически является просто функцией одной или нескольких случайных величин iid, взятых из модели). Затем рассмотрим карту $f:p_{\theta }\mapsto p_{T|\theta }$ который принимает каждое распределение по параметру модели $\theta$ к его индуцированному распределению по статистике $T$. Статистика $T$ называется полным, когда $f$ сюръективно и достаточно , когда $f$ является инъективным.

Определение

Рассмотрим случайную величину X , распределение вероятностей которой принадлежит параметрической модели P _θ, параметризованной θ .

Скажем, T — это статистика ; то есть композиция измеримой функции со случайной выборкой X ₁ ,..., X _n .

Статистика T называется полной для распределения X , если для каждой измеримой функции g

${\text{if }}\operatorname {E} _{\theta }(g(T))=0{\text{ for all }}\theta {\text{ then }}\mathbf {P} _{\theta }(g(T)=0)=1{\text{ for all }}\theta .$

Статистика T называется ограниченно полной для распределения X , если это импликация справедлива для любой измеримой функции g , которая также ограничена.

Пример 1: Модель Бернулли

Модель Бернулли допускает полную статистику. Пусть X — случайная выборка размера n такая, что каждый X _i имеет одинаковое распределение Бернулли с параметром p . Пусть T — количество единиц, наблюдаемых в выборке, т.е. $\textstyle T=\sum _{i=1}^{n}X_{i}$. T — статистика X , которая имеет биномиальное распределение с параметрами ( n , p ). Если пространство параметров для p равно (0,1), то T — полная статистика. Чтобы увидеть это, обратите внимание, что

$\operatorname {E} _{p}(g(T))=\sum _{t=0}^{n}{g(t){n \choose t}p^{t}(1-p)^{n-t}}=(1-p)^{n}\sum _{t=0}^{n}{g(t){n \choose t}\left({\frac {p}{1-p}}\right)^{t}}.$

Заметим также, что ни p , ни 1 − p не могут быть равны 0. Следовательно, $E_{p}(g(T))=0$ если и только если:

$\sum _{t=0}^{n}g(t){n \choose t}\left({\frac {p}{1-p}}\right)^{t}=0.$

Обозначая p /(1 − p ) через r , получаем:

$\sum _{t=0}^{n}g(t){n \choose t}r^{t}=0.$

Во-первых, обратите внимание, что диапазон r — это положительные действительные числа . Кроме того, E( g ( T )) является многочленом от r и, следовательно, может быть равен 0 только в том случае, если все коэффициенты равны 0, то есть g ( t ) = 0 для всех t .

Важно отметить, что результат, согласно которому все коэффициенты должны быть равны 0, был получен из-за диапазона r . Если бы пространство параметров было конечным и с количеством элементов, меньшим или равным n , можно было бы решить линейные уравнения в g ( t ), полученные путем замены значений r , и получить решения, отличные от 0. Например, если n = 1 и пространство параметров равно {0,5}, одно наблюдение и одно значение параметра, T не является полным. Обратите внимание, что с определением:

$g(t)=2(t-0.5),\,$

тогда E( g ( T )) = 0, хотя g ( t ) не равен 0 ни для t = 0, ни для t = 1.

Пример 2: Сумма нормалей

Этот пример покажет, что в выборке X ₁ , X ₂ размера 2 из нормального распределения с известной дисперсией статистика X ₁ + X ₂ является полной и достаточной. Предположим, ( X ₁ , X ₂ ) являются независимыми , одинаково распределенными случайными величинами, нормально распределенными с математическим ожиданием θ и дисперсией 1. Сумма

$s((X_{1},X_{2}))=X_{1}+X_{2}\,\!$

является полной статистикой для θ .

Чтобы это доказать, достаточно доказать, что не существует ненулевой функции. $g$ такое, что ожидание

$g(s(X_{1},X_{2}))=g(X_{1}+X_{2})\,\!$

остается нулевым независимо от значения θ .

Этот факт можно рассматривать следующим образом. Распределение вероятностей X ₁ + X ₂ является нормальным с математическим ожиданием 2 θ и дисперсией 2. Его функция плотности вероятности в $x$ следовательно, пропорциональна

$\exp \left(-(x-2\theta )^{2}/4\right).$

Таким образом, ожидание g выше будет постоянным, раз

$\int _{-\infty }^{\infty }g(x)\exp \left(-(x-2\theta )^{2}/4\right)\,dx.$

Немного алгебры сводит это к

$k(\theta )\int _{-\infty }^{\infty }h(x)e^{x\theta }\,dx\,\!$

где k ( θ ) нигде не равно нулю и

$h(x)=g(x)e^{-x^{2}/4}.\,\!$

Как функция от θ это двустороннее преобразование Лапласа h ( X ) и не может быть тождественно нулевым, если h ( x ) не равно нулю почти всюду. Экспонента не равна нулю, поэтому это может произойти только в том случае, если g ( x ) почти везде равно нулю.

Отношение к достаточной статистике

Для некоторых параметрических семейств не существует полной достаточной статистики (например, см. Galili and Meilijson 2016). ).

Например, если вы возьмете выборку размером n > 2 из N (θ,θ ² ) распределение, тогда $\left(\sum _{i=1}^{n}X_{i},\sum _{i=1}^{n}X_{i}^{2}\right)$ является минимальной достаточной статистикой и является функцией любой другой минимальной достаточной статистики, но $2\left(\sum _{i=1}^{n}X_{i}\right)^{2}-(n+1)\sum _{i=1}^{n}X_{i}^{2}$ имеет математическое ожидание 0 для всех θ, поэтому полной статистики быть не может.

Если существует минимально достаточная статистика, то любая полная достаточная статистика также является минимально достаточной. Но есть патологические случаи, когда минимально достаточной статистики не существует, даже если существует полная статистика.

Важность полноты

Понятие полноты имеет множество приложений в статистике, особенно в следующих двух теоремах математической статистики.

Теорема Лемана–Шеффе

Полнота возникает в теореме Лемана – Шеффе , в котором говорится, что если статистика является несмещенной, полной и достаточной для некоторого параметра θ , то это лучшая несмещенная в среднем оценка для θ . Другими словами, эта статистика имеет меньшие ожидаемые потери для любой выпуклой функции потерь; во многих практических приложениях с квадратичной функцией потерь она имеет меньшую среднеквадратичную ошибку среди любых оценок с тем же ожидаемым значением .

Существуют примеры того, что, когда минимальная достаточная статистика не является полной , существует несколько альтернативных статистик для несмещенной оценки θ , при этом некоторые из них имеют меньшую дисперсию, чем другие.

См. также несмещенную оценку минимальной дисперсии .

Теорема Басу

Ограниченная полнота возникает в теореме Басу : который утверждает, что статистика, которая является одновременно ограниченно полной и достаточной , не зависит от любой вспомогательной статистики .

Теорема Бахадура

Ограниченная полнота также встречается в теореме Бахадура . В случае, когда существует хотя бы одна минимальная достаточная статистика, статистика, достаточная и ограниченно полная, обязательно является минимально достаточной. Другая форма теоремы Бахадура утверждает, что любая достаточная и ограниченно полная статистика в конечномерном координатном пространстве также является достаточно минимальной.

Ссылки

• Басу, Д. (1988). Дж. К. Гош (ред.). Статистическая информация и вероятность: Сборник критических эссе доктора Д. Басу . Конспект лекций по статистике. Том. 45. Спрингер. ISBN  978-0-387-96751-6 . МР   0953081 .
• Бикель, Питер Дж .; Доксум, Кьелл А. (2001). Математическая статистика, Том 1: Основные и избранные темы (Второе (обновленное издание, 2007 г.) издания Holden-Day 1976 г.). Пирсон Прентис-Холл. ISBN  978-0-13-850363-5 . МР   0443141 .
• ЭЛ, Леманн ; Романо, Джозеф П. (2005). Проверка статистических гипотез . Тексты Springer в статистике (Третье изд.). Нью-Йорк: Спрингер. стр. 100-1 xiv+784. ISBN  978-0-387-98864-1 . МР   2135927 . Архивировано из оригинала 2 февраля 2013 г.
• Леманн, Эль; Шеффе, Х. (1950). «Полнота, схожие регионы и объективная оценка. I». Санкхья: Индийский статистический журнал . 10 (4): 305–340. дои : 10.1007/978-1-4614-1412-4_23 . JSTOR   25048038 . МР   0039201 .
• Леманн, Эль; Шеффе, Х. (1955). «Полнота, схожие регионы и объективная оценка. II» . Санкхья: Индийский статистический журнал . 15 (3): 219–236. дои : 10.1007/978-1-4614-1412-4_24 . JSTOR   25048243 . МР   0072410 .