Полнота (статистика)

В статистике рассчитанной полнота — это свойство статистики , на выборочном наборе данных по отношению к параметрической модели набора данных. Это противоречит концепции вспомогательной статистики . Хотя вспомогательная статистика не содержит информации о параметрах модели, полная статистика содержит только информацию о параметрах и не содержит вспомогательной информации. Это тесно связано с концепцией достаточной статистики , которая содержит всю информацию о параметрах, которую предоставляет набор данных.

Определение

Рассмотрим случайную величину X , распределение вероятностей которой принадлежит параметрической модели P _θ, параметризованной θ .

Скажем, T — это статистика ; то есть композиция измеримой функции со случайной выборкой X ₁ ,..., X _n .

Статистика T называется полной для распределения X , если для каждой измеримой функции g

${\text{if }}\operatorname {E} _{\theta }(g(T))=0{\text{ for all }}\theta {\text{ then }}\mathbf {P} _{\theta }(g(T)=0)=1{\text{ for all }}\theta .$

Статистика T называется ограниченно полной для распределения X , если это импликация справедлива для любой измеримой функции g , которая также ограничена.

Пример: модель Бернулли

Модель Бернулли допускает полную статистику. Пусть X — случайная выборка размера n такая, что каждый X _i имеет одинаковое распределение Бернулли с параметром p . Пусть T — количество единиц, наблюдаемых в выборке, т.е. $\textstyle T=\sum _{i=1}^{n}X_{i}$. T — статистика X , которая имеет биномиальное распределение с параметрами ( n , p ). Если пространство параметров для p равно (0,1), то T — полная статистика. Чтобы увидеть это, обратите внимание, что

$\operatorname {E} _{p}(g(T))=\sum _{t=0}^{n}{g(t){n \choose t}p^{t}(1-p)^{n-t}}=(1-p)^{n}\sum _{t=0}^{n}{g(t){n \choose t}\left({\frac {p}{1-p}}\right)^{t}}.$

Заметим также, что ни p, ни 1 − p не могут быть равны 0. Следовательно, $E_{p}(g(T))=0$ тогда и только тогда, когда:

$\sum _{t=0}^{n}g(t){n \choose t}\left({\frac {p}{1-p}}\right)^{t}=0.$

Обозначая p /(1 − p ) через r , получаем:

$\sum _{t=0}^{n}g(t){n \choose t}r^{t}=0.$

Во-первых, обратите внимание, что диапазон r — это положительные действительные числа . Кроме того, E( g ( T )) является многочленом от r и, следовательно, может быть равен 0 только в том случае, если все коэффициенты равны 0, то есть g ( t ) = 0 для всех t .

Важно отметить, что результат, согласно которому все коэффициенты должны быть равны 0, был получен из-за диапазона r . Если бы пространство параметров было конечным и с числом элементов, меньшим или равным n , можно было бы решить линейные уравнения в g ( t ), полученные путем замены значений r, и получить решения, отличные от 0. Например, если n = 1 и пространство параметров равно {0,5}, одно наблюдение и одно значение параметра, T не является полным. Обратите внимание, что с определением:

$g(t)=2(t-0.5),\,$

тогда E( g ( T )) = 0, хотя g ( t ) не равно 0 ни для t = 0, ни для t = 1.

Пример: сумма нормалей

Этот пример покажет, что в выборке X ₁ , X ₂ размера 2 из нормального распределения с известной дисперсией статистика X ₁ + X ₂ является полной и достаточной. Предположим, ( X ₁ , X ₂ ) — независимые , одинаково распределенные случайные величины, нормально распределенные с математическим ожиданием θ и дисперсией 1.Сумма

$s((X_{1},X_{2}))=X_{1}+X_{2}\,\!$

является полной статистикой для θ .

Чтобы это доказать, достаточно доказать, что не существует ненулевой функции. $g$ такое, что ожидание

$g(s(X_{1},X_{2}))=g(X_{1}+X_{2})\,\!$

остается нулевым независимо от значения θ .

Этот факт можно рассматривать следующим образом. Распределение вероятностей X ₁ + X ₂ является нормальным с математическим ожиданием 2 θ и дисперсией 2. Его функция плотности вероятности в $x$ следовательно, пропорциональна

$\exp \left(-(x-2\theta )^{2}/4\right).$

Таким образом, ожидание g выше будет постоянным, раз

$\int _{-\infty }^{\infty }g(x)\exp \left(-(x-2\theta )^{2}/4\right)\,dx.$

Немного алгебры сводит это к

$k(\theta )\int _{-\infty }^{\infty }h(x)e^{x\theta }\,dx\,\!$

где k ( θ ) нигде не равно нулю и

$h(x)=g(x)e^{-x^{2}/4}.\,\!$

Как функция от θ это двустороннее преобразование Лапласа h ( X ) и не может быть тождественно нулевым, если h ( x ) не равно нулю почти всюду. Экспонента не равна нулю, поэтому это может произойти только в том случае, если g ( x ) почти везде равно нулю.

Напротив, статистика ${\textstyle (X_{1},X_{2})}$ достаточно, но не полно. Он допускает ненулевую несмещенную оценку нуля, а именно ${\textstyle X_{1}-X_{2}.}$

Пример: расположение равномерного распределения

Предполагать ${\textstyle X\sim \operatorname {Uniform} (\theta -1,\theta +1).}$ Затем ${\textstyle \operatorname {E} (\sin(\pi X))=0}$ независимо от стоимости ${\textstyle \theta .}$ Таким образом ${\textstyle \sin(\pi X)}$ не является полным.

Отношение к достаточной статистике

Для некоторых параметрических семейств не существует полной достаточной статистики (например, см. Galili and Meilijson 2016). ).

Например, если вы возьмете выборку размером n > 2 из N ( θ , θ ² ) распределение, тогда $\left(\sum _{i=1}^{n}X_{i},\sum _{i=1}^{n}X_{i}^{2}\right)$ является минимальной достаточной статистикой и является функцией любой другой минимальной достаточной статистики, но $2\left(\sum _{i=1}^{n}X_{i}\right)^{2}-(n+1)\sum _{i=1}^{n}X_{i}^{2}$ имеет математическое ожидание 0 для всех θ , поэтому полной статистики быть не может.

Если существует минимально достаточная статистика, то любая полная достаточная статистика также является минимально достаточной. Но есть патологические случаи, когда минимально достаточной статистики не существует, даже если существует полная статистика.

Важность полноты

Понятие полноты имеет множество приложений в статистике, особенно в следующих двух теоремах математической статистики.

Теорема Лемана – Шеффе

Полнота возникает в теореме Лемана – Шеффе , в котором говорится, что если статистика является несмещенной, полной и достаточной для некоторого параметра θ , то это лучшая несмещенная в среднем оценка для θ . Другими словами, эта статистика имеет меньшие ожидаемые потери для любой выпуклой функции потерь; во многих практических приложениях с квадратичной функцией потерь она имеет меньшую среднеквадратичную ошибку среди любых оценок с тем же ожидаемым значением .

Существуют примеры того, что, когда минимальная достаточная статистика не является полной , существует несколько альтернативных статистик для несмещенной оценки θ , при этом некоторые из них имеют меньшую дисперсию, чем другие.

См. также несмещенную оценку минимальной дисперсии .

Теорема Басу

Ограниченная полнота возникает в теореме Басу : который утверждает, что статистика, которая является одновременно ограниченно полной и достаточной, не зависит от любой вспомогательной статистики .

Теорема Бахадура

Ограниченная полнота также встречается в теореме Бахадура . В случае, когда существует хотя бы одна минимальная достаточная статистика, статистика, достаточная и ограниченно полная, обязательно является минимально достаточной.Другая форма теоремы Бахадура утверждает, что любая достаточная и ограниченно полная статистика в конечномерном координатном пространстве также является минимально достаточной.

Ссылки

• Басу, Д. (1988). Дж. К. Гош (ред.). Статистическая информация и вероятность: Сборник критических эссе доктора Д. Басу . Конспект лекций по статистике. Том. 45. Спрингер. ISBN  978-0-387-96751-6 . МР   0953081 .
• Бикель, Питер Дж .; Доксум, Кьелл А. (2001). Математическая статистика, Том 1: Основные и избранные темы (Второе (обновленное издание, 2007 г.) издания Holden-Day 1976 г.). Пирсон Прентис-Холл. ISBN  978-0-13-850363-5 . МР   0443141 .
• ЭЛ, Леманн ; Романо, Джозеф П. (2005). Проверка статистических гипотез . Тексты Springer в статистике (Третье изд.). Нью-Йорк: Спрингер. стр. xiv+784. ISBN  978-0-387-98864-1 . МР   2135927 . Архивировано из оригинала 2 февраля 2013 г.
• Леманн, Эль; Шеффе, Х. (1950). «Полнота, схожие регионы и объективная оценка. I». Санкхья: Индийский статистический журнал . 10 (4): 305–340. дои : 10.1007/978-1-4614-1412-4_23 . JSTOR   25048038 . МР   0039201 .
• Леманн, Эль; Шеффе, Х. (1955). «Полнота, схожие регионы и объективная оценка. II» . Санкхья: Индийский статистический журнал . 15 (3): 219–236. дои : 10.1007/978-1-4614-1412-4_24 . JSTOR   25048243 . МР   0072410 .