Распределение Неймана типа А

Неймана Тип А

Функция массы вероятности Горизонтальная ось — это индекс x , количество вхождений. По вертикальной оси мы имеем вероятность того, что va примет значение x
Кумулятивная функция распределения Горизонтальная ось — это индекс x , количество вхождений. По вертикальной оси мы имеем накопленную сумму вероятностей от $P(Y=0)$ к $P(Y=x)$
Обозначения	$\operatorname {NA} (\lambda ,\phi )$
Параметры	$\lambda >0,\phi >0$
Поддерживать	х € { 0, 1, 2, ... }
ПМФ	${\frac {e^{-\lambda }\phi ^{x}}{x!}}\sum _{j=0}^{\infty }{\frac {(\lambda e^{-\phi })^{j}j^{x}}{j!}}$
CDF	$e^{-\lambda }\sum _{i=0}^{x}\sum _{j=0}^{\infty }{\frac {\phi ^{i}(\lambda e^{-\phi })^{j}j^{i}}{i!j!}}$
Иметь в виду	$\lambda \phi$
Дисперсия	$\lambda \phi (1+\phi )$
асимметрия	${\frac {\lambda \phi (1+3\phi +\phi ^{2})}{(\lambda \phi (1+\phi ))^{3/2}}}$
Избыточный эксцесс	${\frac {1+7\phi +6\phi ^{2}+\phi ^{3}}{\phi \lambda (1+\phi )^{2}}}$
МГФ	$\exp(\lambda (e^{\phi (e^{t}-1)}-1))$
CF	$\exp(\lambda (e^{\phi (e^{it}-1)}-1))$
ПГФ	$\exp(\lambda (e^{\phi (s-1)}-1))$

В статистике и вероятности распределение Неймана типа А представляет собой дискретное распределение вероятностей из семейства составных распределений Пуассона . Прежде всего, чтобы легко понять это распределение, мы продемонстрируем его на следующем примере, объясненном в разделе «Одномерные дискретные распределения»; мы имеем статистическую модель распределения личинок на единицу площади поля (в единицу среды обитания), предполагая, что изменение количества скоплений яиц на единицу площади (на единицу среды обитания) может быть представлено коэффициентом Пуассона распределение с параметром $\lambda$, тогда как предполагается, что число личинок, развивающихся в кластере яиц, имеет независимое распределение Пуассона с одним и тем же параметром $\phi$. Если мы хотим узнать, сколько личинок существует, мы определяем случайную величину Y как сумму количества личинок, вылупившихся в каждой группе (с учетом j групп). Следовательно, Y = X ₁ + X ₂ + ... X _j , где X ₁ ,..., X _j – независимые переменные Пуассона с параметром $\lambda$ и $\phi$.

История

Ежи Нейман родился в России 16 апреля 1894 года. Он был польским статистиком, первую часть своей карьеры проведшим в Европе. В 1939 году он разработал распределение Неймана типа А. описать распространение личинок на опытных полевых участках. Прежде всего, он используется для описания популяций, основанных на заражении, например, в энтомологии (Beall [1940], Эванс [1953] ), несчастные случаи (Кресвелл и Фроггатт [1963]), и бактериология .

Первоначальный вывод этого распределения был основан на биологической модели, и, по-видимому, ожидалось, что хорошее соответствие данным оправдает гипотезу модели. Однако теперь известно, что это распределение можно получить на основе различных моделей ( Уильям Феллер [1943]), и ввиду этого распределение Неймана получается как сложное распределение Пуассона . Такая интерпретация делает их пригодными для моделирования гетерогенных популяций и делает их примерами очевидного заражения.

Несмотря на это, трудности при работе с типом А Неймана возникают из-за того, что его выражения для вероятностей очень сложны. Даже оценки параметров с помощью эффективных методов, таких как метод максимального правдоподобия , утомительны и непросты для понимания уравнений.

Определение

Функция, генерирующая вероятность

Генерирующая функция вероятности (pgf) G ₁ ( z ), которая создает N независимых X _j случайных величин, используется для ветвящегося процесса. Каждый X _j производит случайное количество особей, где X ₁ , X ₂ ,... имеют то же распределение, что и X , то есть распределение X с pgf G ₂ ( z ). Тогда общее количество особей является случайной величиной,

$Y=SN=X_{1}+X_{2}+...+X_{N}$

Pgf распределения SN :

$E[z^{SN}]=E_{N}[E[z^{SN}|N]]=E_{N}[G_{2}(z)]=G_{1}(G_{2}(z))$

Одно из обозначений, которое особенно полезно, позволяет нам использовать символическое представление для обозначения распределения F1, которое было обобщено распределением F2:

$Y\sim F_{1}\bigwedge F_{N}$

В данном случае это записывается так:

$Y\sim \operatorname {Pois(\lambda )} \bigwedge \operatorname {Pois(\phi )}$

Наконец, функция, производящая вероятность :

$G_{Y}(z)=\exp(\lambda (e^{\phi (z-1)}-1))$

Из производящей функции вероятностей мы можем вычислить функцию массы вероятности, объясненную ниже.

Функция массы вероятности

Пусть X ₁ , X ₂ ,... X _j — независимые по Пуассону переменные . Распределение вероятностей случайной величины Y = X ₁ + X ₂ +... X _j представляет собой распределение Неймана типа А с параметрами $\lambda$ и $\phi$.

$p_{x}=P(Y=x)={\frac {e^{-\lambda }\phi ^{x}}{x!}}\sum _{j=0}^{\infty }{\frac {(\lambda e^{-\phi })^{j}j^{x}}{j!}}~~$$~~x=1,2,...$

Альтернативно,

$p_{x}=P(Y=x)={\frac {e^{-\lambda +\lambda e^{-\phi }}\phi ^{x}}{x!}}\sum _{j=0}^{x}S(x,j)\lambda ^{j}e^{-\phi ^{j}}$

Чтобы увидеть, как развивается предыдущее выражение, мы должны иметь в виду, что функция массы вероятности вычисляется на основе производящей функции вероятности , и использовать свойство чисел Стирлинга. Давайте посмотрим на развитие

$G(z)=e^{-\lambda +\lambda e^{-\phi }}\sum _{j=0}^{\infty }{\frac {\lambda ^{j}e^{-j\phi }(e^{\phi z}-1)^{j}}{j|}}$

$=e^{-\lambda +\lambda e^{-\phi }}\sum _{j=0}^{\infty }(\lambda e^{-\phi })^{j}\sum _{x=j}^{\infty }{\frac {S(x,j)\phi ^{x}z^{x}}{x!}}$

$={\frac {e^{-\lambda +\lambda e^{-\phi }}\phi ^{x}}{x!}}\sum _{j=0}^{x}S(x,j)\lambda ^{j}e^{-\phi ^{j}}$

Другая форма оценки вероятностей - это повторяющиеся последовательности:

$p_{x}=P(Y=x)={\frac {\lambda \phi e^{-\phi }}{x}}\sum _{r=0}^{x-1}{\frac {\phi ^{r}}{r!}}p_{x-r-1}~~$, $~~p_{0}=\exp(-\lambda +\lambda e^{-\phi })$

Хотя его длина напрямую зависит от n , это рекуррентное соотношение используется только для численных вычислений и особенно полезно для компьютерных приложений.

где

• x = 0, 1, 2, ..., за исключением вероятностей повторяющихся последовательностей, где x = 1, 2, 3, ...
• $j\leq x$
• $\lambda$, $\phi >0$.
• х ! и Дж ! являются факториалами x j и соответственно .
• одно из свойств чисел Стирлинга второго рода таково:

$(e^{\phi z}-1)^{j}=j!\sum _{x=j}^{\infty }{\frac {S(x,j){\phi z}^{x}}{x!}}$

Обозначения

$Y\ \sim \operatorname {NA} (\lambda ,\phi )\,$

Характеристики

Производящие функции момента и кумулянта

случайной Производящая функция момента величины X определяется как ожидаемое значение e ^т , как функция реального параметра t . Для $\operatorname {NA(\lambda ,\phi )}$, производящая функция момента существует и равна

$M(t)=G_{Y}(e^{t})=\exp(\lambda (e^{\phi (e^{t}-1)}-1))$

Кумулянтная производящая функция представляет собой логарифм и производящей функции момента равна

$K(t)=\log(M(t))=\lambda (e^{\phi (e^{t}-1)}-1)$

В следующей таблице мы видим моменты порядка от 1 до 4.

Заказ	Момент	кумулятивный
1	$\mu _{1}=\lambda \phi$	$\mu$
2	$\mu _{2}=\lambda \phi (1+\phi )$	$\sigma ^{2}$
3	$\mu _{3}=\lambda \phi (1+3\phi +\phi ^{2})$	$k_{3}$
4	$\mu _{4}=\lambda \phi (1+7\phi +6\phi ^{2}+\phi ^{3})+3\lambda ^{2}\phi ^{2}(1+\phi )^{2}$	$k_{4}+3\sigma ^{4}$

асимметрия

Асимметрия среднего — это третий момент, сосредоточенный вокруг значения , деленного на 3/2 степени стандартного отклонения , и для $\operatorname {NA}$ распространение это,

$\gamma _{1}={\frac {\mu _{3}}{\mu _{2}^{3/2}}}={\frac {\lambda \phi (1+3\phi +\phi ^{2})}{(\lambda \phi (1+\phi ))^{3/2}}}$

Куртозис

Эксцесс – это четвертый момент, сосредоточенный вокруг среднего значения , разделенного на квадрат дисперсии , и для $\operatorname {NA}$ распространение это,

$\beta _{2}={\frac {\mu _{4}}{\mu _{2}^{2}}}={\frac {\lambda \phi (1+7\phi +6\phi ^{2}+\phi ^{3})+3\lambda ^{2}\phi ^{2}(1+\phi )^{2}}{\lambda ^{2}\phi ^{2}(1+\phi )^{2}}}={\frac {1+7\phi +6\phi ^{2}+\phi ^{3}}{\phi \lambda (1+\phi )^{2}}}+3$

Избыточный эксцесс — это всего лишь поправка, делающая эксцесс нормального распределения равным нулю, и он заключается в следующем:

$\gamma _{2}={\frac {\mu _{4}}{\mu _{2}^{2}}}-3={\frac {1+7\phi +6\phi ^{2}+\phi ^{3}}{\phi \lambda (1+\phi )^{2}}}$

• Всегда $\beta _{2}>3$, или $\gamma _{2}>0$ распределение имеет высокий острый пик вокруг среднего и более толстых хвостов.

Характеристическая функция

В дискретном распределении характеристическая функция любой вещественной случайной величины определяется как ожидаемое значение $e^{itX}$, где i — мнимая единица и t ∈ R

$\phi (t)=E[e^{itX}]=\sum _{j=0}^{\infty }e^{ijt}P[X=j]$

Эта функция связана с производящей момент функцией через $\phi _{x}(t)=M_{X}(it)$. Следовательно, для этого распределения характеристическая функция равна:

$\phi _{x}(t)=\exp(\lambda (e^{\phi (e^{it}-1)}-1))$

• Обратите внимание, что символ $\phi _{x}$ используется для представления характеристической функции.

Кумулятивная функция распределения

Кумулятивная функция распределения :

${\begin{aligned}F(x;\lambda ,\phi )&=P(Y\leq x)\\&=e^{-\lambda }\sum _{i=0}^{x}{\frac {\phi ^{i}}{i!}}\sum _{j=0}^{\infty }{\frac {(\lambda e^{-\phi })^{j}j^{i}}{j!}}\\&=e^{-\lambda }\sum _{i=0}^{x}\sum _{j=0}^{\infty }{\frac {\phi ^{i}(\lambda e^{-\phi })^{j}j^{i}}{i!j!}}\end{aligned}}$

Другие объекты недвижимости

• Индекс дисперсии является нормированной мерой дисперсии распределения вероятностей . Он определяется как отношение дисперсии $\sigma ^{2}$ к середине $\mu$,

$d={\frac {\sigma ^{2}}{\mu }}=1+\phi$

• Из выборки размером N , где каждая случайная величина Y _i происходит из $\operatorname {NA(\lambda ,\phi )}$, где Y ₁ , Y ₂ , .., Y _n независимы. Это дает оценку MLE как:

$\sum _{i=1}^{N}{\frac {x_{i}}{N}}={\bar {x}}={\bar {\lambda }}{\bar {\phi }}~~~$ где $\mu$ это среднее значение ${\bar {x}}$

• Между двумя предыдущими выражениями мы можем параметризовать, используя $\mu$ и $d$,

${\begin{cases}\mu =\lambda \phi \\d=1+\phi \end{cases}}\longrightarrow \quad \!{\begin{aligned}\lambda ={\frac {\mu }{d-1}}\\\phi =d-1\end{aligned}}$

Оценка параметров

Метод моментов

Среднее значение и дисперсия NA( $\lambda ,\phi$) являются $\mu =\lambda \phi$ и $\lambda \phi (1+\phi )$, соответственно. Итак, у нас есть эти два уравнения:

${\begin{cases}{\bar {x}}=\lambda \phi \\s^{2}=\lambda \phi (1+\phi )\end{cases}}$

• $s^{2}$ и ${\bar {x}}$ являются бостральной дисперсией и средним значением соответственно.

Решая эти два уравнения, мы получаем оценки момента ${\hat {\lambda }}$ и ${\hat {\phi }}$ из $\lambda$ и $\phi$.

${\bar {\lambda }}={\frac {{\bar {x}}^{2}}{s^{2}-{\bar {x}}}}$

${\bar {\phi }}={\frac {s^{2}-{\bar {x}}}{\bar {x}}}$

Максимальная вероятность

Вычисление оценки максимального правдоподобия $\lambda$ и $\phi$ включает умножение всех вероятностей в функции массы вероятности для получения выражения ${\mathcal {L}}(\lambda ,\phi ;x_{1},\ldots ,x_{n})$.

Когда мы применяем настройку параметризации, определенную в «Других свойствах», мы получаем ${\mathcal {L}}(\mu ,d;X)$. Мы можем определить оценку максимального правдоподобия на основе одного параметра, если оценим $\mu$ как ${\bar {x}}$ с учетом выборки X размера N. (выборочное среднее ) Мы можем видеть это ниже.

${\mathcal {L}}(d;X)=\prod _{i=1}^{n}P(x_{i};d)$

• Для оценки вероятностей мы будем использовать PMF повторяющихся последовательностей , чтобы расчет был менее сложным.

Проверка предположения Пуассона

Когда $\operatorname {NA(\lambda ,\phi )}$ используется для моделирования выборки данных, важно проверить, хорошо ли распределение Пуассона соответствует данным. Для этого используется следующая проверка гипотезы:

${\begin{cases}H_{0}:d=1\\H_{1}:d>1\end{cases}}$

Тест отношения правдоподобия

Статистика теста отношения правдоподобия для $\operatorname {NA}$ является,

$W=2({\mathcal {L}}(X;\mu ,d)-{\mathcal {L}}(X;\mu ,1))$

Где вероятность ${\mathcal {L}}()$ – это функция логарифмического правдоподобия. W не имеет асимптотики $\chi _{1}^{2}$ распределение, как и ожидалось при нулевой гипотезе, поскольку d = 1 находится на краю области параметров. В асимптотическом распределении W можно продемонстрировать, что константы 0 и $\chi _{1}^{2}$ есть смесь 50:50. Для этой смеси $\alpha$ процентные пункты верхнего хвоста такие же, как и $2\alpha$ верхние процентные пункты для $\chi _{1}^{2}$

Связанные дистрибутивы

Распределение Пуассона (на {0, 1, 2, 3, ...}) является частным случаем распределения Неймана типа A, с

$\operatorname {Pois} (\lambda )=\operatorname {NA} (\lambda ,\,0).\,$

Из моментов порядка 1 и 2 мы можем записать среднее значение совокупности и дисперсию на основе параметров $\lambda$ и $\phi$.

$\mu =\lambda \phi$

$\sigma ^{2}=\lambda \phi (1+\phi )$

В показателе дисперсии d мы наблюдаем, что, подставляя $\mu$ для параметризованного уравнения порядка 1 и $\sigma$ для порядка 2 получаем $d=1+\phi$. Таким образом, наша переменная Y распределяется как Пуассон параметра $\lambda$ когда d приближается к 1.

Тогда у нас есть это,

$\lim _{d\rightarrow 1}\operatorname {NA} (\lambda ,\,\phi )\rightarrow \operatorname {Pois} (\lambda )$

Приложения

История использования

Когда размножение вида Неймана типа А приводит к образованию кластеров , распределение использовалось для характеристики рассеяния растений. Обычно это происходит, когда вид развивается из потомков родительских растений или из семян, попавших близко к родительскому растению. Однако Арчибальд (1948] заметил, что данных недостаточно, чтобы сделать вывод о типе воспроизводства по типу подобранного распределения. В то время как тип А Неймана дал положительные результаты для распространения растений, Эванс (1953] показали, что отрицательное биномиальное распределение дает положительные результаты для распределения насекомых. Распределение Неймана типа А также изучалось в контексте экологии , и результаты показывают, что, если скопления растений не настолько компактны, чтобы не лежать на краю квадрата, используемого для выбора мест отбора проб, это распределение вряд ли будет применимо к растениям. населения. Согласно Скелламу (1958), компактность кластеров является скрытым предположением в первоначальном выводе распределения Неймана. Было показано, что на результаты существенно влияет выбор размера квадрата.

В контексте несчастных случаев с водителями автобусов Крессвелл и Фроггатт (1963) вывел тип А Неймана на основе следующих гипотез:

1. Каждый водитель подвержен «заклинаниям», количество которых является пуассоновским для любого заданного промежутка времени, с тем же параметром $\lambda$ для всех водителей.
2. Производительность водителя во время периода плоха, и он, вероятно, испытает пуассоновское количество столкновений с тем же параметром. $\phi$ для всех водителей.
3. Каждый водитель ведет себя независимо.
4. Никакие несчастные случаи не могут произойти вне заклинания.

Эти предположения приводят к распределению Неймана типа А через $\operatorname {Pois(\lambda )}$ и $\operatorname {Pois(\phi )}$ модель. В отличие от «короткого распределения» Крессвелл и Фроггатт назвали это «длинным распределением» из-за его длинного хвоста. Согласно Ирвину (1964), распределение типа А можно также получить, если предположить, что разные водители имеют разные уровни склонности, К. или с вероятностью:

$\operatorname {P(K=k\phi )} ={\frac {e^{-\lambda }\lambda ^{k}}{k!}}$

• принимая значения $~0,~\phi ,~2\phi ,~3\phi ,~...$

и что водитель со склонностью k $\phi$ произошло X происшествий, где:

$~\operatorname {P(X=x|k\phi )} ={\frac {e^{-k\phi }(k\phi )^{x}}{x!}}$

Это $~\operatorname {Pois(k\phi )} \wedge \operatorname {Pois(\lambda )}$ модель со смешиванием значений, принимаемых K .

Распределение было также предложено в заявке на группировку палаток меньшинств для еды с 1965 по 1969 год. В этом отношении было предсказано, что необходимо аппроксимировать только показатели кластеризации или среднее количество объектов в группе, а не корректировать распределения по d очень большие базы данных.

• Ссылка на историю использования .

Вычисление вероятностей Неймана типа A в R

• Код ниже имитирует 5000 экземпляров $\operatorname {NA(\lambda ,\phi )}$,

 rNeymanA <- function(n,lambda, phi){
   r <- numeric()
   for (j in 1:n) {
      k = rpois(1,lambda)
      r[j] <- sum(rpois(k,phi)) 
   }
   return(r)
 }

• Массовая функция повторяющихся вероятностей реализована в R для оценки теоретических вероятностей; мы можем увидеть это ниже,

dNeyman.rec <- function(x, lambda, phi){
 p <- numeric()
 p[1]<- exp(-lambda + lambda*exp(-phi))
 c <- lambda*phi*exp(-phi)
 if(x == 0){
   return(p[1])
 }
 else{
   for (i in 1:x) {
     suma = 0
     for (r in 0:(i-1)) {
       suma = suma + (phi^r)/(factorial(r))*p[i-r]
     }
     p[i+1] = (c/(i))*suma # +1 per l'R
   }
   res <- p[i+1]
   return(res)
 }
}

Мы сравниваем результаты относительных частот, полученных с помощью моделирования, и вероятностей, вычисленных с помощью pmf. Учитывая два значения параметров $\lambda =2$ и $\phi =1$. Это показано в следующей таблице:

Х	0	1	2	3	4	5	6	7	8
Оцененный $f_{i}$	.271	.207	.187	.141	.082	.052	.028	.016	.008
Теоретический $P(X=x_{i})$	.282	.207	.180	.129	.084	.051	.029	.016	.008