Биномиальное распределение Пуассона

Бином Пуассона

Параметры	$\mathbf {p} \in [0,1]^{n}$ — вероятности успеха для каждого из n испытаний
Поддерживать	k ∈ { 0, …, n }
ПМФ	$\sum \limits _{A\in F_{k}}\prod \limits _{i\in A}p_{i}\prod \limits _{j\in A^{c}}(1-p_{j})$
CDF	$\sum \limits _{l=0}^{k}\sum \limits _{A\in F_{l}}\prod \limits _{i\in A}p_{i}\prod \limits _{j\in A^{c}}(1-p_{j})$
Иметь в виду	$\sum \limits _{i=1}^{n}p_{i}$
Дисперсия	$\sigma ^{2}=\sum \limits _{i=1}^{n}(1-p_{i})p_{i}$
асимметрия	${\frac {1}{\sigma ^{3}}}\sum \limits _{i=1}^{n}(1-2p_{i})(1-p_{i})p_{i}$
Избыточный эксцесс	${\frac {1}{\sigma ^{4}}}\sum \limits _{i=1}^{n}(1-6(1-p_{i})p_{i})(1-p_{i})p_{i}$
МГФ	$\prod \limits _{j=1}^{n}(1-p_{j}+p_{j}e^{t})$
CF	$\prod \limits _{j=1}^{n}(1-p_{j}+p_{j}e^{it})$
ПГФ	$\prod \limits _{j=1}^{n}(1-p_{j}+p_{j}z)$

В теории вероятностей и статистике биномиальное распределение Пуассона — это дискретное распределение вероятностей суммы независимых испытаний Бернулли , которые не обязательно распределены одинаково. Концепция названа в честь Симеона Дени Пуассона .

Другими словами, это вероятностей распределение количество успехов в наборе из n независимых экспериментов типа «да/нет» с вероятностью успеха $p_{1},p_{2},\dots ,p_{n}$. Обычное биномиальное распределение является частным случаем биномиального распределения Пуассона, когда все вероятности успеха одинаковы, т.е. $p_{1}=p_{2}=\cdots =p_{n}$.

Определения

Функция массы вероятности

Вероятность проведения k успешных испытаний из n можно записать как сумму

$\Pr(K=k)=\sum \limits _{A\in F_{k}}\prod \limits _{i\in A}p_{i}\prod \limits _{j\in A^{c}}(1-p_{j})$

где $F_{k}$ - это набор всех подмножеств k целых чисел, которые можно выбрать из $\{1,2,3,...,n\}$. Например, если n = 3, то $F_{2}=\left\{\{1,2\},\{1,3\},\{2,3\}\right\}$. $A^{c}$ является дополнением ​ $A$, то есть $A^{c}=\{1,2,3,\dots ,n\}\setminus A$.

$F_{k}$ будет содержать $n!/((n-k)!k!)$ элементы, сумму по которым на практике невозможно вычислить, если число испытаний n не мало (например, если n = 30, $F_{15}$ содержит более 10 ²⁰ элементы). Однако есть и другие, более эффективные способы расчета. $\Pr(K=k)$.

Пока ни одна из вероятностей успеха не равна единице, можно вычислить вероятность k успехов, используя рекурсивную формулу

$\Pr(K=k)={\begin{cases}\prod \limits _{i=1}^{n}(1-p_{i})&k=0\\{\frac {1}{k}}\sum \limits _{i=1}^{k}(-1)^{i-1}\Pr(K=k-i)T(i)&k>0\\\end{cases}}$

где

$T(i)=\sum \limits _{j=1}^{n}\left({\frac {p_{j}}{1-p_{j}}}\right)^{i}.$

Рекурсивная формула не является численно стабильной , и ее следует избегать, если $n$ больше примерно 20.

Альтернативой является использование алгоритма «разделяй и властвуй» : если мы предположим, что $n=2^{b}$ представляет собой степень двойки, обозначающую $f(p_{i:j})$ бином Пуассона $p_{i},\dots ,p_{j}$ и $*$ оператор свертки , мы имеем $f(p_{1:2^{b}})=f(p_{1:2^{b-1}})*f(p_{2^{b-1}+1:2^{b}})$.

В более общем смысле, массовая функция вероятности бинома Пуассона может быть выражена как свертка векторов $P_{0},\dots ,P_{n}$ где $P_{i}=[1-p_{i},p_{i}]$. Это наблюдение приводит к алгоритму прямой свертки (DC) для вычисления $\Pr(K=0)$ через $\Pr(K=n)$:

// PMF and nextPMF begin at index 0
function DC($p_{1},\dots ,p_{n}$) is 
     declare new PMF array of size 1
     PMF[0] = [1]
     for i = 1 to $n$ do 
          declare new nextPMF array of size i + 1
          nextPMF[0] = (1 - $p_{i}$) * PMF[0]
          nextPMF[i] = $p_{i}$ * PMF[i - 1]
          for k = 1 to i - 1 do
               nextPMF[k] = $p_{i}$ * PMF[k - 1] + (1 - $p_{i}$) * PMF[k]
          repeat
          PMF = nextPMF
     repeat
     return PMF
end function

$\Pr(K=k)$будет найден в PMF[k]. DC численно стабилен, точен и, при реализации в виде программной процедуры, исключительно быстр для $n\leq 2000$. Это также может быть довольно быстро для больших $n$в зависимости от распределения $p_{i}$.

Другая возможность — использование дискретного преобразования Фурье .

$\Pr(K=k)={\frac {1}{n+1}}\sum \limits _{l=0}^{n}C^{-lk}\prod \limits _{m=1}^{n}\left(1+(C^{l}-1)p_{m}\right)$

где $C=\exp \left({\frac {2i\pi }{n+1}}\right)$ и $i={\sqrt {-1}}$.

Другие методы описаны в книге Чена и Лю «Статистические применения биномиального распределения Пуассона и условного распределения Бернулли». и в «Простом и быстром методе вычисления биномиальной функции распределения Пуассона» Бискарри и др.

Кумулятивная функция распределения

Кумулятивную функцию распределения (CDF) можно выразить как:

$\Pr(K\leq k)=\sum _{l=0}^{k}\sum \limits _{A\in F_{l}}\prod \limits _{i\in A}p_{i}\prod \limits _{j\in A^{c}}(1-p_{j})$ ,

где $F_{l}$ представляет собой набор всех подмножеств размера $l$ который можно выбрать из $\{1,2,3,...,n\}$.

Его можно вычислить, вызвав приведенную выше функцию DC, а затем добавив элементы $0$ через $k$ возвращенного массива PMF.

Характеристики

Среднее и дисперсия

Поскольку биномиально распределенная переменная Пуассона представляет собой сумму n независимых распределенных переменных Бернулли, ее среднее значение и дисперсия будут просто суммами среднего значения и дисперсии n распределений Бернулли:

$\mu =\sum \limits _{i=1}^{n}p_{i}$

$\sigma ^{2}=\sum \limits _{i=1}^{n}(1-p_{i})p_{i}$

Энтропия

Не существует простой формулы для энтропии биномиального распределения Пуассона, но энтропия ограничена сверху энтропией биномиального распределения с тем же числовым параметром и тем же средним значением. Следовательно, энтропия также ограничена сверху энтропией распределения Пуассона с тем же средним значением.

Гипотеза Шеппа-Олкина о вогнутости, выдвинутая Лоуренсом Шеппом и Ингрэмом Олкином в 1981 году, утверждает, что энтропия биномиального распределения Пуассона является вогнутой функцией вероятностей успеха. $p_{1},p_{2},\dots ,p_{n}$. Эту гипотезу доказали Эрван Хиллион и Оливер Джонсон в 2015 году. Гипотеза монотонности Шеппа – Олкина, также из той же статьи 1981 года, заключается в том, что энтропия монотонно возрастает с увеличением $p_{i}$, если все $p_{i}\leq 1/2$. Эту гипотезу также доказали Хиллион и Джонсон в 2019 году.

Чернов связан

Вероятность того, что биномиальное распределение Пуассона станет большим, может быть ограничена с помощью его производящей функции момента следующим образом (действительно, когда $s\geq \mu$ и для любого $t>0$):

${\begin{aligned}\Pr[S\geq s]&\leq \exp(-st)\operatorname {E} \left[\exp \left[t\sum _{i}X_{i}\right]\right]\\&=\exp(-st)\prod _{i}(1-p_{i}+e^{t}p_{i})\\&=\exp \left(-st+\sum _{i}\log \left(p_{i}(e^{t}-1)+1\right)\right)\\&\leq \exp \left(-st+\sum _{i}\log \left(\exp(p_{i}(e^{t}-1))\right)\right)\\&=\exp \left(-st+\sum _{i}p_{i}(e^{t}-1)\right)\\&=\exp \left(s-\mu -s\log {\frac {s}{\mu }}\right),\end{aligned}}$

где мы взяли ${\textstyle t=\log \left(s/\mu \right)}$. Это похоже на хвостовые границы биномиального распределения .

Приближение биномиальным распределением

Биномиальное распределение Пуассона $PB$ может быть аппроксимировано биномиальным распределением $B$ где $\mu$, среднее значение $p_{i}$, – вероятность успеха $B$. Отклонения $PB$ и $B$ связаны формулой

$Var(PB)=Var(B)-\textstyle \sum _{i=1}^{n}\displaystyle (p_{i}-\mu )^{2}$

Как видно, чем ближе $p_{i}$ должны $\mu$, то есть, чем больше $p_{i}$ стремятся к однородности, тем больше $PB$дисперсия. Когда все $p_{i}$равны $\mu$, $PB$ становится $B$, $Var(PB)=Var(B)$, а дисперсия максимальна.

Эм определил границы общего изменения расстояния $PB$ и $B$, фактически ограничивая ошибку, возникающую при аппроксимации $PB$ с $B$. Позволять $\nu =1-\mu$ и $d(PB,B)$ быть полным вариационным расстоянием $PB$ и $B$. Затем

$d(PB,B)\leq (1-\mu ^{n+1}-\nu ^{n+1}){\frac {\sum _{i=1}^{n}\displaystyle (p_{i}-\mu )^{2}}{((n+1)\mu \nu )}}$

$d(PB,B)\geq C\min(1,{\frac {1}{n\mu \nu }})\textstyle \sum _{i=1}^{n}\displaystyle (p_{i}-\mu )^{2}$

где $C\geq {\frac {1}{124}}$.

$d(PB,B)$ стремится к 0 тогда и только тогда, когда $Var(PB)/Var(B)$ стремится к 1.

Аппроксимация распределением Пуассона.

Биномиальное распределение Пуассона $PB$ также может быть аппроксимировано распределением Пуассона $Po$ со средним $\lambda =\sum _{i=1}^{n}\displaystyle p_{i}$. Барбур и Холл показали, что

${\frac {1}{32}}\min({\frac {1}{\lambda }},1)\textstyle \sum _{i=1}^{n}\displaystyle p_{i}^{2}\leq d(PB,Po)\leq {\frac {1-\epsilon ^{-\lambda }}{\lambda }}\sum _{i=1}^{n}\displaystyle p_{i}^{2}$

где $d(PB,B)$ - общее расстояние вариации $PB$ и $Po$. Видно, что чем меньше $p_{i}$, тем лучше $Po$ приближает $PB$.

Как $Var(Po)=\lambda =\sum _{i=1}^{n}\displaystyle p_{i}$ и $Var(PB)=\sum \limits _{i=1}^{n}p_{i}-\sum \limits _{i=1}^{n}p_{i}^{2}$, $Var(Po)>Var(PB)$; поэтому дисперсия биномиального распределения Пуассона ограничена сверху распределением Пуассона с $\lambda =\sum _{i=1}^{n}\displaystyle p_{i}$, и чем меньше $p_{i}$, чем ближе $Var(Po)$ будет $Var(PB)$.

Вычислительные методы

Ссылка обсуждаются методы оценки функции вероятности биномиального распределения Пуассона. На его основе основаны следующие программные реализации:

• пакет R poibin . Вместе с бумагой был предоставлен который доступен для вычисления cdf, pmf, функции квантиля и генерации случайных чисел биномиального распределения Пуассона. Для расчета PMF можно указать алгоритм DFT или рекурсивный алгоритм для расчета точного PMF, а также можно указать методы аппроксимации с использованием нормального распределения и распределения Пуассона.
• poibin — реализация Python — может вычислять PMF и CDF, для этого использует метод DFT, описанный в статье.

См. также

• Теорема Ле Кама