Хорошая статистика

Хотя термин «хорошая статистика» часто используется в научной литературе примерно так же, как термин « хорошая статистика » в математике (то есть в значении «непатологический » ) . ) ему также можно придать точное математическое значение, причем несколькими способами. В первом случае значение этого термина будет варьироваться от контекста к контексту. В последнем случае математические условия можно использовать для вывода классов комбинаций распределений со статистикой, которые являются хорошими во всех смыслах.

Первое определение: дисперсия является то , корректной статистической оценки конечна, и одним из условий ее среднего что она дифференцируема по оцениваемому параметру.

Второе определение: статистика монотонна, четко определена и локально достаточна.

корректной статистики:

Более формально условия можно выразить таким образом. ${\textstyle T}$ это статистика для ${\textstyle \theta }$ это функция выборки, ${\textstyle {X}_{1},...,{X}_{n}}$. Для ${\textstyle T}$ Чтобы вести себя хорошо, нам необходимо:

${\textstyle {Var}_{\theta }\left[T\left({X}_{1},...,{X}_{n}\right)\right]<\infty \quad \forall \quad \theta \in \Theta }$: Условие 1

${\textstyle {E}_{\theta }\left(T\right)}$ дифференцируемый в ${\textstyle \theta \quad \forall \quad \theta \in \Theta }$, а производная удовлетворяет:

${\textstyle {\frac {d}{d\theta }}\int {T\left({X}_{1},...,{X}_{n}\right)}\prod _{i=1}^{n}{f\left({x}_{i}|\theta \right)}d{x}_{1}...d{x}_{n}=\int {T\left({X}_{1},...,{X}_{n}\right)\left[{\frac {\partial }{\partial \theta }}\prod _{i=1}^{n}{f\left({x}_{i}|\theta \right)}\right]}d{x}_{1}...d{x}_{n}}$: Условие 2

хорошего поведения статистики:

Чтобы вывести закон распределения параметра T , совместимый с ${\boldsymbol {x}}$, статистика должна подчиняться некоторым техническим свойствам. А именно, статистика s называется « хорошей», если она удовлетворяет следующим трем утверждениям:

1. монотонность . существует равномерно монотонная связь Между s и ? . для любого фиксированного семени $\{z_{1},\ldots ,z_{m}\}$ – так, чтобы иметь единственное решение задачи (1);
2. четко определенный . Для каждого наблюдаемого s статистика четко определена для каждого значения ?, т. е. для любой спецификации выборки. $\{x_{1},\ldots ,x_{m}\}\in {\mathfrak {X}}^{m}$ такой, что $\rho (x_{1},\ldots ,x_{m})=s$ имеет плотность вероятности, отличную от 0, чтобы избежать рассмотрения несюръективного отображения из ${\mathfrak {X}}^{m}$ к ${\mathfrak {S}}$, т.е. связывание через $s$ к образцу $\{x_{1},\ldots ,x_{m}\}$ а? что не удалось сгенерировать сам образец;
3. местная достаточность . $\{{\breve {\theta }}_{1},\ldots ,{\breve {\theta }}_{N}\}$ представляет собой истинную выборку T для наблюдаемого s , так что каждому выбранному значению можно приписать одно и то же распределение вероятностей. Сейчас, ${\breve {\theta }}_{j}=h^{-1}(s,{\breve {z}}_{1}^{j},\ldots ,{\breve {z}}_{m}^{j})$ является решением (1) с затравкой $\{{\breve {z}}_{1}^{j},\ldots ,{\breve {z}}_{m}^{j}\}$. Поскольку семена распределены поровну, единственное предостережение связано с их независимостью или, наоборот, с их зависимостью от ? сам. Эту проверку можно ограничить начальными числами, участвующими в s , т.е. этого недостатка можно избежать, потребовав, чтобы распределение $\{Z_{1},\ldots ,Z_{m}|S=s\}$ не зависит от ?. Простой способ проверить это свойство — сопоставить начальные характеристики с $x_{i}$характеристики. Отображение, конечно, зависит от ?, но распределение $\{X_{1},\ldots ,X_{m}|S=s\}$ не будет зависеть от ?, если сохраняется указанная выше независимость от начального числа – условие, которое выглядит как локальная достаточность статистики S .

Оставшаяся часть настоящей статьи в основном посвящена контексту процедур интеллектуального анализа данных , применяемых для статистического вывода и, в частности, к группе трудоемких процедур, которые называются алгоритмическим выводом .

Алгоритмический вывод

Основная статья: Алгоритмический вывод

В алгоритмическом выводе наиболее важным свойством статистики является поворотный шаг, который позволяет перенести соображения вероятности с выборочного распределения на распределение параметров, представляющих распределение совокупности, таким образом, что вывод этого статистического вывода Шаг вывода совместим с фактически наблюдаемой выборкой.

По умолчанию заглавные буквы (например, U , X ) обозначают случайные величины, а строчные буквы ( u , x ) — их соответствующие реализации, а также готические буквы (например, ${\mathfrak {U}},{\mathfrak {X}}$) область, в которой переменная принимает спецификации. Перед образцом ${\boldsymbol {x}}=\{x_{1},\ldots ,x_{m}\}$, учитывая механизм выборки $(g_{\theta },Z)$, с $\theta$ скаляр, для случайной величины X мы имеем

${\boldsymbol {x}}=\{g_{\theta }(z_{1}),\ldots ,g_{\theta }(z_{m})\}.$

Механизм выборки $(g_{\theta },{\boldsymbol {z}})$, статистики s , как функция ? из $\{x_{1},\ldots ,x_{m}\}$ со спецификациями в ${\mathfrak {S}}$ , имеет объясняющую функцию, определяемую основным уравнением:

$s=\rho (x_{1},\ldots ,x_{m})=\rho (g_{\theta }(z_{1}),\ldots ,g_{\theta }(z_{m}))=h(\theta ,z_{1},\ldots ,z_{m}),\qquad \qquad \qquad (1)$

для подходящих семян ${\boldsymbol {z}}=\{z_{1},\ldots ,z_{m}\}$ и параметр?

Пример

Например, как для распределения Бернулли с параметром p, так и для экспоненциального распределения с параметром ? статистика $\sum _{i=1}^{m}x_{i}$ хорошо себя ведет. Удовлетворение трех вышеупомянутых свойств является очевидным, если рассматривать обе объясняющие функции: $g_{p}(u)=1$ если $u\leq p$, 0 в противном случае в случае случайной величины Бернулли и $g_{\lambda }(u)=-\log u/\lambda$ для экспоненциальной случайной величины, что приводит к статистике

$s_{p}=\sum _{i=1}^{m}I_{[0,p]}(u_{i})$

и

$s_{\lambda }=-{\frac {1}{\lambda }}\sum _{i=1}^{m}\log u_{i}.$

И наоборот , в случае X, следующего за непрерывным равномерным распределением на $[0,A]$ та же статистика не отвечает второму требованию. Например, наблюдаемый образец $\{c,c/2,c/3\}$ дает $s'_{A}=11/6c$. этого X Но объясняющая функция $g_{a}(u)=ua$.Следовательно, основное уравнение $s_{A}=\sum _{i=1}^{m}u_{i}a$ будет производить собразец U ​ $\{0.8,0.8,0.8\}$ и решение ${\breve {a}}=0.76c$. Это противоречит наблюдаемому образцу, поскольку первое наблюдаемое значение должно превышать правый крайний предел X. диапазона Статистика $s_{A}=\max\{x_{1},\ldots ,x_{m}\}$ в данном случае ведет себя хорошо.

Аналогично, для случайной величины X, следующей за распределением Парето с параметрами K и A ( см. в примере Парето подробнее об этом случае ):

$s_{1}=\sum _{i=1}^{m}\log x_{i}$

и

$s_{2}=\min _{i=1,\ldots ,m}\{x_{i}\}$

могут использоваться в качестве совместной статистики для этих параметров.

В качестве общего утверждения, справедливого в слабых условиях, достаточная статистика хорошо себя ведет по отношению к соответствующим параметрам. В таблице ниже приведены достаточные/хорошие статистические данные для параметров некоторых наиболее часто используемых распределений вероятностей.

Общие законы распределения вместе с соответствующей достаточной и корректной статистикой.

Распределение	Определение функции плотности	Достаточная/хорошая статистика
Равномерный дискретный	$f(x;n)=1/nI_{\{1,2,\ldots ,n\}}(x)$	$s_{n}=\max _{i}x_{i}$
Бернулли	$f(x;p)=p^{x}(1-p)^{1-x}I_{\{0,1\}}(x)$	$s_{P}=\sum _{i=1}^{m}x_{i}$
Биномиальный	$f(x;n,p)={\binom {n}{x}}p^{x}(1-p)^{n-x}I_{0,1,\ldots ,n}(x)$	$s_{P}=\sum _{i=1}^{m}x_{i}$
Геометрический	$f(x;p)=p(1-p)^{x}I_{\{0,1,\ldots \}}(x)$	$s_{P}=\sum _{i=1}^{m}x_{i}$
Пуассон	$f(x;\mu )=\mathrm {e} ^{-\mu x}\mu ^{x}/x!I_{\{0,1,\ldots \}}(x)$	$s_{M}=\sum _{i=1}^{m}x_{i}$
Равномерное непрерывное	$f(x;a,b)=1/(b-a)I_{[a,b]}(x)$	$s_{A}=\min _{i}x_{i};s_{B}=\max _{i}x_{i}$
Отрицательная экспонента	$f(x;\lambda )=\lambda \mathrm {e} ^{-\lambda x}I_{[0,\infty ]}(x)$	$s_{\Lambda }=\sum _{i=1}^{m}x_{i}$
Парето	$f(x;a,k)={\frac {a}{k}}\left({\frac {x}{k}}\right)^{-a-1}I_{[k,\infty ]}(x)$	$s_{A}=\sum _{i=1}^{m}\log x_{i};s_{K}=\min _{i}x_{i}$
Гауссовский	$f(x,\mu ,\sigma )=1/({\sqrt {2\pi }}\sigma )\mathrm {e} ^{-(x-\mu ^{2})/(2\sigma ^{2})}$	$s_{M}=\sum _{i=1}^{m}x_{i};s_{\Sigma }={\sqrt {\sum _{i=1}^{m}(x_{i}-{\bar {x}})^{2}}}$
Гамма	$f(x;r,\lambda )=\lambda /\Gamma (r)(\lambda x)^{r-1}\mathrm {e} ^{-\lambda x}I_{[0,\infty ]}(x)$	$s_{\Lambda }=\sum _{i=1}^{m}x_{i};s_{K}=\prod _{i=1}^{m}x_{i}$

Ссылки

• Бахадур, РР ; Леманн, Э.Л. (1955). «Два комментария о достаточности и статистических функциях принятия решений» . Анналы математической статистики . 26 : 139–142. дои : 10.1214/aoms/1177728604 .