Полиномиальное распределение

В теории вероятностей полиномиальное распределение является обобщением биномиального распределения . Например, он моделирует вероятность выпадения очков для каждой стороны k -сторонней игральной кости, брошенной n раз. Для n независимых испытаний, каждое из которых приводит к успеху ровно одной из k категорий, причем каждая категория имеет заданную фиксированную вероятность успеха, полиномиальное распределение дает вероятность любой конкретной комбинации чисел успехов для различных категорий.

Когда k равно 2, а n равно 1, полиномиальное распределение является распределением Бернулли . Когда k равно 2, а n больше 1, это биномиальное распределение . Когда k больше 2 и n равно 1, это категориальное распределение . Термин «мультинолли» иногда используется для категориального распределения, чтобы подчеркнуть эту четырехстороннюю связь (так n определяет суффикс, а k - префикс).

Распределение Бернулли моделирует результат одного испытания Бернулли . Другими словами, он моделирует, приведет ли однократное подбрасывание монеты (возможно, необъективной ) к успеху (получение орла) или неудаче (получение решки). Биномиальное распределение обобщает это на количество решек в результате выполнения n независимых подбрасываний (испытаний Бернулли) одной и той же монеты. Полиномиальное распределение моделирует результат n экспериментов, где результат каждого испытания имеет категориальное распределение , например, бросок k -сторонней игральной кости n раз.

Пусть k — фиксированное конечное число. Математически у нас есть k возможных взаимоисключающих результатов с соответствующими вероятностями p ₁ , ..., p _k и n независимых испытаний. Поскольку k исходов являются взаимоисключающими и один из них должен произойти, мы имеем p _i ≥ 0 для i = 1, ..., k и $\sum _{i=1}^{k}p_{i}=1$. Тогда, если случайные величины X _i указывают, сколько раз результат номер i наблюдался в n испытаниях, вектор X = ( X ₁ , ..., X _k ) следует полиномиальному распределению с параметрами n и p , где p = ( п ₁ , ..., п _к ). Хотя испытания независимы, их результаты X _i зависимы, поскольку их необходимо просуммировать до n.

Полиномиальный

Параметры	$n>0$ количество испытаний ( целое число ) $k>0$ количество взаимоисключающих событий (целое) $p_{1},\ldots ,p_{k}$ вероятности событий, где $p_{1}+\dots +p_{k}=1$
Поддерживать	$\left\lbrace (x_{1},\dots ,x_{k})\,{\Big \vert }\,\sum _{i=1}^{k}x_{i}=n,x_{i}\geq 0\ (i=1,\dots ,k)\right\rbrace$
ПМФ	${\frac {n!}{x_{1}!\cdots x_{k}!}}p_{1}^{x_{1}}\cdots p_{k}^{x_{k}}$
Иметь в виду	$\operatorname {E} (X_{i})=np_{i}$
Дисперсия	$\operatorname {Var} (X_{i})=np_{i}(1-p_{i})$ $\operatorname {Cov} (X_{i},X_{j})=-np_{i}p_{j}~~(i\neq j)$
Энтропия	$-\log(n!)-n\sum _{i=1}^{k}p_{i}\log(p_{i})+\sum _{i=1}^{k}\sum _{x_{i}=0}^{n}{\binom {n}{x_{i}}}p_{i}^{x_{i}}(1-p_{i})^{n-x_{i}}\log(x_{i}!)$
МГФ	${\biggl (}\sum _{i=1}^{k}p_{i}e^{t_{i}}{\biggr )}^{n}$
CF	$\left(\sum _{j=1}^{k}p_{j}e^{it_{j}}\right)^{n}$ где $i^{2}=-1$
ПГФ	${\biggl (}\sum _{i=1}^{k}p_{i}z_{i}{\biggr )}^{n}{\text{ for }}(z_{1},\ldots ,z_{k})\in \mathbb {C} ^{k}$

Определения

Функция массы вероятности

Предположим, кто-то проводит эксперимент по извлечению n шаров k из мешка разных цветов, заменяя извлеченные шары после каждого розыгрыша. Шары одного цвета эквивалентны. Обозначим переменную, которая представляет собой количество извлеченных шаров цвета i ( i = 1, ..., k ), как X _i , и обозначим как p _i вероятность того, что данное извлечение будет цвета i . Функция массы вероятности этого полиномиального распределения:

${\begin{aligned}f(x_{1},\ldots ,x_{k};n,p_{1},\ldots ,p_{k})&{}=\Pr(X_{1}=x_{1}{\text{ and }}\dots {\text{ and }}X_{k}=x_{k})\\&{}={\begin{cases}{\displaystyle {n! \over x_{1}!\cdots x_{k}!}p_{1}^{x_{1}}\times \cdots \times p_{k}^{x_{k}}},\quad &{\text{when }}\sum _{i=1}^{k}x_{i}=n\\\\0&{\text{otherwise,}}\end{cases}}\end{aligned}}$

для неотрицательных целых чисел x ₁ , ..., x _k .

Массовую функцию вероятности можно выразить с помощью гамма-функции как:

$f(x_{1},\dots ,x_{k};p_{1},\ldots ,p_{k})={\frac {\Gamma (\sum _{i}x_{i}+1)}{\prod _{i}\Gamma (x_{i}+1)}}\prod _{i=1}^{k}p_{i}^{x_{i}}.$

Эта форма показывает свое сходство с распределением Дирихле , которое является его сопряженным априором .

Пример

Предположим, что на трехсторонних выборах в большой стране кандидат А получил 20% голосов, кандидат Б — 30% голосов, а кандидат С — 50% голосов. Если шесть избирателей выбраны случайным образом, какова вероятность того, что в выборке окажется ровно один сторонник кандидата А, два сторонника кандидата В и три сторонника кандидата С?

Примечание. Поскольку мы предполагаем, что голосующее население велико, разумно и допустимо считать вероятности неизменными после того, как избиратель выбран для выборки. Технически говоря, это выборка без замещения, поэтому правильным распределением является многомерное гипергеометрическое распределение , но распределения сходятся по мере увеличения генеральной совокупности по сравнению с фиксированным размером выборки. .

$\Pr(A=1,B=2,C=3)={\frac {6!}{1!2!3!}}(0.2^{1})(0.3^{2})(0.5^{3})=0.135$

Свойства

Нормализация

Полиномиальное распределение нормируется согласно:

$\sum _{\sum _{j=1}^{k}x_{j}=n}f(x_{1},...,x_{k};n,p_{1},...,p_{k})=1$

где сумма ведется по всем перестановкам $x_{j}$такой, что $\sum _{j=1}^{k}x_{j}=n$.

и

Ожидаемое количество раз , когда результат i наблюдался в n испытаниях, равно

$\operatorname {E} (X_{i})=np_{i}.\,$

Ковариационная матрица выглядит следующим образом. Каждый диагональный элемент представляет собой дисперсию биномиально распределенной случайной величины и, следовательно,

$\operatorname {Var} (X_{i})=np_{i}(1-p_{i}).\,$

Внедиагональные записи представляют собой ковариации :

$\operatorname {Cov} (X_{i},X_{j})=-np_{i}p_{j}\,$

для i , j различны.

Все ковариации отрицательны, поскольку при фиксированном n увеличение одного компонента полиномиального вектора требует уменьшения другого компонента.

Когда эти выражения объединяются в матрицу с i, j элементами $\operatorname {cov} (X_{i},X_{j}),$ результатом является размера k × k положительно-полуопределенная ковариационная матрица ранга k - 1. В особом случае, когда k = n и все числа p _i равны, ковариационная матрица является центрирующей матрицей .

Элементы соответствующей корреляционной матрицы :

$\rho (X_{i},X_{i})=1.$

$\rho (X_{i},X_{j})={\frac {\operatorname {Cov} (X_{i},X_{j})}{\sqrt {\operatorname {Var} (X_{i})\operatorname {Var} (X_{j})}}}={\frac {-p_{i}p_{j}}{\sqrt {p_{i}(1-p_{i})p_{j}(1-p_{j})}}}=-{\sqrt {\frac {p_{i}p_{j}}{(1-p_{i})(1-p_{j})}}}.$

Обратите внимание, что количество испытаний n не входит в это выражение.

Каждая из k компонент в отдельности имеет биномиальное распределение с параметрами n и pi _для соответствующего значения индекса i .

Носителем полиномиального распределения является множество

$\{(n_{1},\dots ,n_{k})\in \mathbb {N} ^{k}\mid n_{1}+\cdots +n_{k}=n\}.\,$

Число его элементов равно

${n+k-1 \choose k-1}.$

Матричное обозначение

В матричной записи

$\operatorname {E} (\mathbf {X} )=n\mathbf {p} ,\,$

и

$\operatorname {Var} (\mathbf {X} )=n\lbrace \operatorname {diag} (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace ,\,$

с п ^Т = вектор-строка, транспонированная вектор-столбцом p .

Визуализация

Как срезы

Точно так же, как можно интерпретировать биномиальное распределение как (нормализованные) одномерные (1D) срезы треугольника Паскаля , так же можно интерпретировать полиномиальное распределение как 2D (треугольные) срезы пирамиды Паскаля или 3D/4D/+ (пирамидальные) образные) срезы многомерных аналогов треугольника Паскаля. Это открывает интерпретацию диапазона распределения : дискретизированные равносторонние «пирамиды» в произвольном измерении, то есть симплекс с сеткой.

Как

Точно так же, как можно интерпретировать биномиальное распределение как полиномиальные коэффициенты $(p+q)^{n}$ в расширенном виде можно интерпретировать полиномиальное распределение как коэффициенты $(p_{1}+p_{2}+p_{3}+\cdots +p_{k})^{n}$ при расширении, отметив, что сумма только коэффициентов должна составлять 1.

Теория больших отклонений

Смотрите также: теорема Санова

Асимптотика

По формуле Стирлинга на пределе $n,x_{1},...,x_{k}\to \infty$, у нас есть

$$\ln {\binom {n}{x_{1},\cdots ,x_{k}}}+\sum _{i=1}^{k}x_{i}\ln p_{i}=-nD_{KL}({\hat {p}}\|p)-{\frac {k-1}{2}}\ln(2\pi n)-{\frac {1}{2}}\sum _{i=1}^{k}\ln({\hat {p}}_{i})+o(1)$$

где относительные частоты ${\hat {p}}_{i}=x_{i}/n$ в данных можно интерпретировать как вероятности из эмпирического распределения ${\hat {p}}$, и $D_{KL}$ – расходимость Кульбака–Лейблера .

Эту формулу можно интерпретировать следующим образом.

Учитывать $\Delta _{k}$, пространство всех возможных распределений по категориям $\{1,2,...,k\}$. Это симплекс . После $n$ независимые выборки из категориального распределения $p$ (именно так мы строим полиномиальное распределение), мы получаем эмпирическое распределение ${\hat {p}}$.

По асимптотической формуле вероятность того, что эмпирическое распределение ${\hat {p}}$ отклоняется от фактического распределения $p$ затухает экспоненциально со скоростью $nD_{KL}({\hat {p}}\|p)$. Чем больше экспериментов и тем больше разнообразия ${\hat {p}}$ из $p$, тем меньше вероятность увидеть такое эмпирическое распределение.

Если $A$ является закрытым подмножеством $\Delta _{k}$, затем разделив $A$ на куски, и рассуждая о темпах роста $Pr({\hat {p}}\in A_{\epsilon })$ на каждом кусочке $A_{\epsilon }$, получаем теорему Санова , которая утверждает, что

$$\lim _{n\to \infty }{\frac {1}{n}}\ln Pr({\hat {p}}\in A)=-\inf _{{\hat {p}}\in A}D_{KL}({\hat {p}}\|p)$$

Концентрация в целом n

Из-за экспоненциального затухания в целом $n$, почти вся вероятностная масса сосредоточена в небольшой окрестности $p$. В этой небольшой окрестности мы можем взять первый ненулевой член в разложении Тейлора $D_{KL}$, чтобы получить

$$\ln {\binom {n}{x_{1},\cdots ,x_{k}}}p_{1}^{x_{1}}\cdots p_{k}^{x_{k}}\approx -{\frac {n}{2}}\sum _{i=1}^{k}{\frac {({\hat {p}}_{i}-p_{i})^{2}}{p_{i}}}=-{\frac {1}{2}}\sum _{i=1}^{k}{\frac {(x_{i}-np_{i})^{2}}{np_{i}}}$$

Это напоминает распределение Гаусса, что предполагает следующую теорему:

Теорема. На $n\to \infty$ предел, $n\sum _{i=1}^{k}{\frac {({\hat {p}}_{i}-p_{i})^{2}}{p_{i}}}=\sum _{i=1}^{k}{\frac {(x_{i}-np_{i})^{2}}{np_{i}}}$ сходится по распределению к распределению хи-квадрат $\chi ^{2}(k-1)$.

Продолжительность: 17 секунд. 0:17

Если мы выберем из полиномиального распределения $\mathrm {Multinomial} (n;0.2,0.3,0.5)$и построим тепловую карту образцов внутри двумерного симплекса (здесь показанного в виде черного треугольника), мы заметим, что при $n\to \infty$, распределение сходится к гауссову около точки $(0.2,0.3,0.5)$, с контурами, сходящимися по форме к эллипсам, с радиусами, сходящимися как $1/{\sqrt {n}}$. Между тем, расстояние между дискретными точками сходится как $1/n$, и поэтому дискретное полиномиальное распределение сходится к непрерывному гауссовскому распределению.

show

[Доказательство]

The space of all distributions over categories $\{1,2,\ldots ,k\}$ is a simplex: $\Delta _{k}=\left\{(y_{1},\ldots ,y_{k})\colon y_{1},\ldots ,y_{k}\geq 0,\sum _{i}y_{i}=1\right\}$, and the set of all possible empirical distributions after $n$ experiments is a subset of the simplex: $\Delta _{k,n}=\left\{(x_{1}/n,\ldots ,x_{k}/n)\colon x_{1},\ldots ,x_{k}\in \mathbb {N} ,\sum _{i}x_{i}=n\right\}$. That is, it is the intersection between $\Delta _{k}$ and the lattice $(\mathbb {Z} ^{k})/n$.

As $n$ increases, most of the probability mass is concentrated in a subset of $\Delta _{k,n}$ near $p$, and the probability distribution near $p$ becomes well-approximated by

$${\binom {n}{x_{1},\cdots ,x_{k}}}p_{1}^{x_{1}}\cdots p_{k}^{x_{k}}\approx e^{-{\frac {n}{2}}\sum _{i}{\frac {({\hat {p}}_{i}-p_{i})^{2}}{p_{i}}}}$$

From this, we see that the subset upon which the mass is concentrated has radius on the order of $1/{\sqrt {n}}$, but the points in the subset are separated by distance on the order of $1/n$, so at large $n$, the points merge into a continuum. To convert this from a discrete probability distribution to a continuous probability density, we need to multiply by the volume occupied by each point of $\Delta _{k,n}$ in $\Delta _{k}$. However, by symmetry, every point occupies exactly the same volume (except a negligible set on the boundary), so we obtain a probability density $\rho ({\hat {p}})=Ce^{-{\frac {n}{2}}\sum _{i}{\frac {({\hat {p}}_{i}-p_{i})^{2}}{p_{i}}}}$, where $C$ is a constant.

Finally, since the simplex $\Delta _{k}$ is not all of $\mathbb {R} ^{k}$, but only within a $(k-1)$-dimensional plane, we obtain the desired result.

Условная концентрация в больших n

Вышеописанное явление концентрации можно легко обобщить на случай, когда мы ставим условия на линейные ограничения. Это теоретическое обоснование критерия хи-квадрат Пирсона .

Теорема. Указанные частоты $x_{i}\in \mathbb {N}$ наблюдается в наборе данных с $n$ баллы, мы налагаем $\ell +1$ независимые линейные ограничения

$${\begin{cases}\sum _{i}{\hat {p}}_{i}=1,\\\sum _{i}a_{1i}{\hat {p}}_{i}=b_{1},\\\sum _{i}a_{2i}{\hat {p}}_{i}=b_{2},\\\cdots ,\\\sum _{i}a_{\ell i}{\hat {p}}_{i}=b_{\ell }\end{cases}}$$

(обратите внимание, что первое ограничение — это просто требование, чтобы сумма эмпирических распределений равнялась единице), так что эмпирические ${\hat {p}}_{i}=x_{i}/n$ удовлетворять всем этим ограничениям одновременно. Позволять $q$ обозначают $I$-прогноз предварительного распределения $p$ на подобласти симплекса, разрешенной линейными ограничениями. На $n\to \infty$ предел, количество выборок $n{\hat {p}}_{i}$ из полиномиального распределения, обусловленного линейными ограничениями, определяются формулами $2nD_{KL}({\hat {p}}\vert \vert q)\approx n\sum _{i}{\frac {({\hat {p}}_{i}-q_{i})^{2}}{q_{i}}}$ которое сходится по распределению к распределению хи-квадрат $\chi ^{2}(k-1-\ell )$.

show

[Доказательство]

An analogous proof applies in this Diophantine problem of coupled linear equations in count variables $n{\hat {p}}_{i}$, but this time $\Delta _{k,n}$ is the intersection of $(\mathbb {Z} ^{k})/n$ with $\Delta _{k}$ and $\ell$ hyperplanes, all linearly independent, so the probability density $\rho ({\hat {p}})$ is restricted to a $(k-\ell -1)$-dimensional plane. In particular, expanding the KL divergence $D_{KL}({\hat {p}}\vert \vert p)$ around its minimum $q$ (the $I$-projection of $p$ on $\Delta _{k,n}$) in the constrained problem ensures by the Pythagorean theorem for $I$-divergence that any constant and linear term in the counts $n{\hat {p}}_{i}$ vanishes from the conditional probability to multinationally sample those counts.

Notice that by definition, every one of ${\hat {p}}_{1},{\hat {p}}_{2},...,{\hat {p}}_{k}$ must be a rational number, whereas $p_{1},p_{2},...,p_{k}$ may be chosen from any real number in $[0,1]$ and need not satisfy the Diophantine system of equations. Only asymptotically as $n\rightarrow \infty$, the ${\hat {p}}_{i}$'s can be regarded as probabilities over $[0,1]$.

Вдали от эмпирически наблюдаемых ограничений $b_{1},\ldots ,b_{\ell }$ (например, моменты или превалентности) теорему можно обобщить:

Теорема.

• Данные функции $f_{1},...,f_{\ell }$, такие, что они непрерывно дифференцируемы в окрестности $p$, а векторы $(1,1,...,1),\nabla f_{1}(p),...,\nabla f_{\ell }(p)$ линейно независимы;
• заданные последовательности $\epsilon _{1}(n),...,\epsilon _{\ell }(n)$, такой, что асимптотически ${\frac {1}{n}}\ll \epsilon _{i}(n)\ll {\frac {1}{\sqrt {n}}}$ для каждого $i\in \{1,...,\ell \}$;
• тогда для полиномиального распределения, обусловленного ограничениями $f_{1}({\hat {p}})\in [f_{1}(p)-\epsilon _{1}(n),f_{1}(p)+\epsilon _{1}(n)],...,f_{\ell }({\hat {p}})\in [f_{\ell }(p)-\epsilon _{\ell }(n),f_{\ell }(p)+\epsilon _{\ell }(n)]$, у нас есть количество $n\sum _{i}{\frac {({\hat {p}}_{i}-p_{i})^{2}}{p_{i}}}=\sum _{i}{\frac {(x_{i}-np_{i})^{2}}{np_{i}}}$ сходящиеся в распределении к $\chi ^{2}(k-1-\ell )$ в $n\to \infty$ предел.

В случае, если все ${\hat {p}}_{i}$ равны, теорема сводится к концентрации энтропии вокруг максимальной энтропии.

Связанные дистрибутивы

В некоторых областях, таких как обработка естественного языка , категориальные и полиномиальные распределения являются синонимами, и обычно говорят о полиномиальном распределении, когда на самом деле имеется в виду категориальное распределение . Это связано с тем, что иногда удобно выразить результат категориального распределения как вектор «1 из k» (вектор, в котором один элемент содержит 1, а все остальные элементы содержат 0), а не как целое число. в диапазоне $1\dots k$; в этой форме категориальное распределение эквивалентно полиномиальному распределению по одному испытанию.

• Когда k = 2, полиномиальное распределение является биномиальным распределением .
• Категориальное распределение , распределение каждого испытания; для k = 2 это распределение Бернулли .
• Распределение Дирихле является априорным выражением многочлена в байесовской статистике .
• Дирихле-мультиномиальное распределение .
• Бета-биномиальное распределение .
• Отрицательное полиномиальное распределение
• Принцип Харди – Вайнберга (триномиальное распределение с вероятностями $(\theta ^{2},2\theta (1-\theta ),(1-\theta )^{2})$)

Статистический

Тесты эквивалентности

Целью проверки эквивалентности является установление соответствия между теоретическим полиномиальным распределением и наблюдаемыми частотами счета. Теоретическое распределение может быть полностью заданным полиномиальным распределением или параметрическим семейством полиномиальных распределений.

Позволять $q$ обозначим теоретическое полиномиальное распределение и пусть $p$ быть истинным базовым распределением. Распределения $p$ и $q$ считаются эквивалентными, если $d(p,q)<\varepsilon$ на расстояние $d$ и параметр допуска $\varepsilon >0$. Задача проверки эквивалентности $H_{0}=\{d(p,q)\geq \varepsilon \}$ против $H_{1}=\{d(p,q)<\varepsilon \}$. Истинное базовое распределение $p$ неизвестно. Вместо этого частоты счета $p_{n}$ наблюдаются, где $n$ это размер выборки. В тесте эквивалентности используется $p_{n}$ отвергать $H_{0}$. Если $H_{0}$ можно отвергнуть, тогда эквивалентность между $p$ и $q$ отображается на заданном уровне значимости. Критерий эквивалентности евклидова расстояния можно найти в учебнике Веллека (2010). Тест эквивалентности для общего вариационного расстояния разработан Островским (2017). Точный тест эквивалентности для конкретного совокупного расстояния предложен Фреем (2009).

Расстояние между истинным базовым распределением $p$ и семейство полиномиальных распределений ${\mathcal {M}}$ определяется $d(p,{\mathcal {M}})=\min _{h\in {\mathcal {M}}}d(p,h)$. Тогда задача проверки эквивалентности имеет вид $H_{0}=\{d(p,{\mathcal {M}})\geq \varepsilon \}$ и $H_{1}=\{d(p,{\mathcal {M}})<\varepsilon \}$. Расстояние $d(p,{\mathcal {M}})$ обычно вычисляется с использованием численной оптимизации. Тесты для этого случая недавно разработаны Островским (2018).

двух

В условиях полиномиального распределения строя доверительные интервалы для разницы между долями наблюдений двух событий, $p_{i}-p_{j}$, требует учета отрицательной ковариации между выборочными оценщиками ${\hat {p}}_{i}={\frac {X_{i}}{n}}$ и ${\hat {p}}_{j}={\frac {X_{j}}{n}}$.

Некоторая литература по этому вопросу посвящена варианту использования двоичных данных с согласованными парами, что требует пристального внимания при переводе формул в общий случай $p_{i}-p_{j}$ для любого полиномиального распределения. Формулы в текущем разделе будут обобщены, а формулы в следующем разделе будут посвящены варианту использования двоичных данных совпадающих пар.

Стандартную ошибку Вальда (SE) разницы пропорций можно оценить с помощью:

${\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}={\sqrt {\frac {({\hat {p}}_{i}+{\hat {p}}_{j})-({\hat {p}}_{i}-{\hat {p}}_{j})^{2}}{n}}}$

Для $100(1-\alpha )\%$ Приблизительный доверительный интервал , погрешность может включать соответствующий квантиль стандартного нормального распределения , как показано ниже:

$({\hat {p}}_{i}-{\hat {p}}_{j})\pm z_{\alpha /2}\cdot {\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}$

show

[Доказательство]

As the sample size ($n$) increases, the sample proportions will approximately follow a multivariate normal distribution, thanks to the multidimensional central limit theorem (and it could also be shown using the Cramér–Wold theorem). Therefore, their difference will also be approximately normal. Also, these estimators are weakly consistent and plugging them into the SE estimator makes it also weakly consistent. Hence, thanks to Slutsky's theorem, the pivotal quantity ${\frac {({\hat {p}}_{i}-{\hat {p}}_{j})-(p_{i}-p_{j})}{\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}}$ approximately follows the standard normal distribution. And from that, the above approximate confidence interval is directly derived.

The SE can be constructed using the calculus of the variance of the difference of two random variables: ${\begin{aligned}{\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}&={\sqrt {{\frac {{\hat {p}}_{i}(1-{\hat {p}}_{i})}{n}}+{\frac {{\hat {p}}_{j}(1-{\hat {p}}_{j})}{n}}-2\left(-{\frac {{\hat {p}}_{i}{\hat {p}}_{j}}{n}}\right)}}\\&={\sqrt {{\frac {1}{n}}\left({\hat {p}}_{i}+{\hat {p}}_{j}-{\hat {p}}_{i}^{2}-{\hat {p}}_{j}^{2}+2{\hat {p}}_{i}{\hat {p}}_{j}\right)}}\\&={\sqrt {\frac {({\hat {p}}_{i}+{\hat {p}}_{j})-({\hat {p}}_{i}-{\hat {p}}_{j})^{2}}{n}}}\end{aligned}}$

Модификация, включающая коррекцию непрерывности, добавляет ${\frac {1}{n}}$ с погрешностью следующим образом:

$({\hat {p}}_{i}-{\hat {p}}_{j})\pm \left(z_{\alpha /2}\cdot {\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}+{\frac {1}{n}}\right)$

Другая альтернатива — положиться на байесовскую оценку с использованием априорной оценки Джеффриса , что приводит к использованию распределения Дирихле со всеми параметрами, равными 0,5, в качестве априорной. Апостериорным будут расчеты сверху, но после добавления 1/2 к каждому из k элементов, что приведет к общему увеличению размера выборки на ${\frac {k}{2}}$. Первоначально он был разработан для полиномиального распределения с четырьмя событиями и известен как wald+2 для анализа данных совпадающих пар (более подробную информацию см. в следующем разделе).

Это приводит к следующему SE:

${\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}_{wald+{\frac {k}{2}}}={\sqrt {\frac {\left({\hat {p}}_{i}+{\hat {p}}_{j}+{\frac {1}{n}}\right){\frac {n}{n+{\frac {k}{2}}}}-\left({\hat {p}}_{i}-{\hat {p}}_{j}\right)^{2}\left({\frac {n}{n+{\frac {k}{2}}}}\right)^{2}}{n+{\frac {k}{2}}}}}$

show

[Доказательство]

${\begin{aligned}{\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}_{wald+{\frac {k}{2}}}&={\sqrt {\frac {\left({\frac {x_{i}+1/2}{n+{\frac {k}{2}}}}+{\frac {x_{j}+1/2}{n+{\frac {k}{2}}}}\right)-\left({\frac {x_{i}+1/2}{n+{\frac {k}{2}}}}-{\frac {x_{j}+1/2}{n+{\frac {k}{2}}}}\right)^{2}}{n+{\frac {k}{2}}}}}\\&={\sqrt {\frac {\left({\frac {x_{i}}{n}}+{\frac {x_{j}}{n}}+{\frac {1}{n}}\right){\frac {n}{n+{\frac {k}{2}}}}-\left({\frac {x_{i}}{n}}-{\frac {x_{j}}{n}}\right)^{2}\left({\frac {n}{n+{\frac {k}{2}}}}\right)^{2}}{n+{\frac {k}{2}}}}}\\&={\sqrt {\frac {\left({\hat {p}}_{i}+{\hat {p}}_{j}+{\frac {1}{n}}\right){\frac {n}{n+{\frac {k}{2}}}}-\left({\hat {p}}_{i}-{\hat {p}}_{j}\right)^{2}\left({\frac {n}{n+{\frac {k}{2}}}}\right)^{2}}{n+{\frac {k}{2}}}}}\end{aligned}}$

Которую можно просто подставить в исходную формулу Вальда следующим образом:

$(p_{i}-p_{j}){\frac {n}{n+{\frac {k}{2}}}}\pm z_{\alpha /2}\cdot {\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}_{wald+{\frac {k}{2}}}$

Возникновение и применение

интервалы для разницы в двоичных данных совпадающих пар (с использованием мультинома с = )

Для случая двоичных данных совпадающих пар общей задачей является построение доверительного интервала разницы долей совпавших событий. Например, у нас может быть тест на какое-то заболевание, и мы можем захотеть проверить его результаты для некоторой группы населения в два момента времени (1 и 2), чтобы проверить, произошло ли изменение доли положительных результатов для болезнь за это время.

два на два Такие сценарии можно представить с помощью таблицы непредвиденных обстоятельств с указанием количества элементов, в которых произошла каждая комбинация событий. Мы можем использовать маленькое f для частоты дискретизации: $f_{11},f_{10},f_{01},f_{00}$и заглавная буква F для частот населения: $F_{11},F_{10},F_{01},F_{00}$. Эти четыре комбинации можно смоделировать как исходящие из полиномиального распределения (с четырьмя потенциальными исходами). Размеры выборки и совокупности могут быть n и N соответственно. И в таком случае есть интерес в построении доверительного интервала для разницы пропорций от предельных значений следующей (выборочной) таблицы непредвиденных обстоятельств:

	Тест 2 положительный	Тест 2 отрицательный	Итого по строке
Тест 1 положительный	$f_{11}$	$f_{10}$	$f_{1*}=f_{11}+f_{10}$
Тест 1 отрицательный	$f_{01}$	$f_{00}$	$f_{0*}=f_{01}+f_{00}$
Итого по столбцу	$f_{*1}=f_{11}+f_{01}$	$f_{*0}=f_{10}+f_{00}$	$n$

В этом случае проверка разницы в предельных пропорциях означает, что мы заинтересованы в использовании следующих определений: $p_{1*}={\frac {F_{1*}}{N}}={\frac {F_{11}+F_{10}}{N}}$, $p_{*1}={\frac {F_{*1}}{N}}={\frac {F_{11}+F_{01}}{N}}$. И разница, для которой мы хотим построить доверительные интервалы, заключается в следующем:

$p_{*1}-p_{1*}={\frac {F_{11}+F_{01}}{N}}-{\frac {F_{11}+F_{10}}{N}}={\frac {F_{01}}{N}}-{\frac {F_{10}}{N}}=p_{01}-p_{10}$

Следовательно, доверительные интервалы для предельных положительных долей ( $p_{*1}-p_{1*}$) аналогично построению доверительного интервала для отличия долей от второстепенной диагонали таблицы сопряженности два на два ( $p_{01}-p_{10}$).

Вычисление значения p для такой разницы известно как тест Макнемара . Построение доверительного интервала вокруг него можно построить с помощью методов, описанных выше для Доверительных интервалов для разницы двух долей .

К этому параметру можно применить доверительные интервалы Вальда из предыдущего раздела, и в литературе они представлены в альтернативных обозначениях. В частности, часто представляемая SE основана на частотах таблицы непредвиденных обстоятельств, а не на пропорциях выборки. Например, доверительные интервалы Вальда, приведенные выше, можно записать как:

${\widehat {\operatorname {SE} (p_{*1}-p_{1*})}}={\widehat {\operatorname {SE} (p_{01}-p_{10})}}={\frac {\sqrt {n(f_{10}+f_{01})-(f_{10}-f_{01})^{2}}}{n{\sqrt {n}}}}$

Дальнейшие исследования в литературе выявили ряд недостатков как в методах Вальда, так и в методах Вальда с коррекцией непрерывности, а также были предложены для практического применения другие методы.

Одна из таких модификаций включает «Wald+2» Агрести и Мина (похожий на некоторые другие их работы). ), в котором каждая частота ячейки имела дополнительную ${\frac {1}{2}}$ добавил к этому. Это приводит к доверительным интервалам Вальда+2 . В байесовской интерпретации это похоже на построение оценок, принимая в качестве априора распределение Дирихле со всеми параметрами, равными 0,5 (что, по сути, является априором Джеффриса ). +2 каждому в имени wald+2 теперь может означать, что в контексте таблицы сопряженности два на два, которая представляет собой полиномиальное распределение с четырьмя возможными событиями, тогда, поскольку мы добавляем 1/2 наблюдения к из них, то это означает общее добавление двух наблюдений (из-за предыдущего).

Это приводит к следующему модифицированному SE для случая данных совпадающих пар:

${\widehat {\operatorname {SE} (p_{*1}-p_{1*})}}={\frac {\sqrt {(n+2)(f_{10}+f_{01}+1)-(f_{10}-f_{01})^{2}}}{(n+2){\sqrt {(n+2)}}}}$

Которую можно просто подставить в исходную формулу Вальда следующим образом:

$(p_{*1}-p_{1*}){\frac {n}{n+2}}\pm z_{\alpha /2}\cdot {\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}_{wald+2}$

Другие модификации включают скорректированный Вальд Бонетта и Прайса и показатель Ньюкомба .

Вычислительные методы

Генерация случайной переменной

Дополнительная информация: Генерация неоднородных случайных величин.

Сначала измените порядок параметров $p_{1},\ldots ,p_{k}$ так, что они отсортированы в порядке убывания (это сделано только для ускорения вычислений и не является строго необходимым). Теперь для каждого испытания нарисуйте вспомогательную переменную X из равномерного (0, 1) распределения. Результирующим результатом является компонент

$j=\min \left\{j'\in \{1,\dots ,k\}\colon \left(\sum _{i=1}^{j'}p_{i}\right)-X\geq 0\right\}.$

{ X _j = 1, X _k = 0 для k ≠ j } — это одно наблюдение полиномиального распределения с $p_{1},\ldots ,p_{k}$ и n = 1. Сумма независимых повторений этого эксперимента представляет собой наблюдение из полиномиального распределения с n, равным числу таких повторений.

условных биномиальных выборок

Учитывая параметры $p_{1},p_{2},\ldots ,p_{k}$ и общее количество для выборки $n$ такой, что $\sum _{i=1}^{k}X_{i}=n$, можно последовательно выбирать число в произвольном состоянии $X_{i}$, разделив пространство состояний на $i$ и не- $i$, при условии, что предыдущие образцы были взяты повторно.

условная биномиальная выборка

S = n
rho = 1
for i in [1,k-1]:
    if rho != 0:
        X[i] ~ Binom(S,p[i]/rho)
    else X[i] = 0
    S = S - X[i]
    rho = rho - p[i]
X[k] = S

С эвристической точки зрения каждое применение биномиальной выборки уменьшает доступное число для выборки, а условные вероятности также обновляются для обеспечения логической согласованности.

Программные реализации

• Пакет MultinomialCI R позволяет рассчитывать одновременные доверительные интервалы для вероятностей полиномиального распределения с учетом набора наблюдений.

См. также

• Аддитивное сглаживание

Дальнейшее чтение

• Эванс, Мортон; Гастингс, Николас; Пикок, Брайан (2000). Статистические распределения (3-е изд.). Нью-Йорк: Уайли. стр. 134–136 . ISBN  0-471-37124-6 .
• Вайсштейн, Эрик В. «Мультиномиальное распределение» . Математический мир . Вольфрам Исследования .