Нецентральное гипергеометрическое распределение Фишера

Функция массы вероятности нецентрального гипергеометрического распределения Фишера для различных значений отношения шансов ω.
м ₁ = 80, м ₂ = 60, n = 100, ω = 0,01, ..., 1000

Биолог и статистик Рональд Фишер

В теории вероятностей и статистике , нецентральное гипергеометрическое распределение Фишера представляет собой обобщение гипергеометрического распределения в котором вероятности выборки изменяются с помощью весовых коэффициентов. Его также можно определить как условное распределение двух или более биномиально распределенных переменных, зависящих от их фиксированной суммы.

Распределение можно проиллюстрировать следующей моделью урны . Предположим, например, что в урне находится m ₁ красных шаров и m ₂ белых шаров, всего N = m ₁ + m ₂ шаров. Каждый красный шар имеет вес ω ₁ , а каждый белый шар — вес ω ₂ . Будем говорить, что отношение шансов равно ω = ω ₁ / ω ₂ . Теперь мы берем шары случайным образом таким образом, чтобы вероятность взятия того или иного шара была пропорциональна его весу, но не зависела от того, что происходит с другими шарами. Количество взятых шаров определенного цвета подчиняется биномиальному распределению . Если известно общее количество взятых шаров n , то условное распределение количества взятых красных шаров при заданном n представляет собой нецентральное гипергеометрическое распределение Фишера. Чтобы экспериментально сгенерировать это распределение, нам придется повторять эксперимент до тех пор, пока не будет получено n шаров.

Если мы хотим зафиксировать значение n до начала эксперимента, нам придется брать шары один за другим, пока у нас не будет n шаров. Таким образом, шары больше не являются независимыми. Это дает немного другое распределение, известное как нецентральное гипергеометрическое распределение Валлениуса . Далеко не очевидно, почему эти два распределения различны. См. статью о нецентральных гипергеометрических распределениях , где объясняется разница между этими двумя распределениями и обсуждается, какое распределение использовать в различных ситуациях.

Оба распределения равны (центральному) гипергеометрическому распределению , когда отношение шансов равно 1.

К сожалению, оба распределения известны в литературе как «нецентральное гипергеометрическое распределение». При использовании этого имени важно уточнить, какой дистрибутив имеется в виду.

Нецентральному гипергеометрическому распределению Фишера впервые было дано название расширенного гипергеометрического распределения (Harkness, 1965), и некоторые авторы до сих пор используют это название.

Одномерное распределение

Одномерное нецентральное гипергеометрическое распределение Фишера

Параметры	$m_{1},m_{2}\in \mathbb {N}$ $N=m_{1}+m_{2}$ $n\in [0,N)$ $\omega \in \mathbb {R} _{+}$
Поддерживать	$x\in [x_{\min },x_{\max }]$ $x_{\min }=\max(0,n-m_{2})$ $x_{\max }=\min(n,m_{1})$
ПМФ	${\frac {{\binom {m_{1}}{x}}{\binom {m_{2}}{n-x}}\omega ^{x}}{P_{0}}}$ где $P_{0}=\sum _{y=x_{\min }}^{x_{\max }}{\binom {m_{1}}{y}}{\binom {m_{2}}{n-y}}\omega ^{y}$
Иметь в виду	${\frac {P_{1}}{P_{0}}}$, где $P_{k}=\sum _{y=x_{\min }}^{x_{\max }}{\binom {m_{1}}{y}}{\binom {m_{2}}{n-y}}\omega ^{y}\,y^{k}$
Режим	$\,\,\left\lfloor {\frac {-2C}{B-{\sqrt {B^{2}-4AC}}}}\right\rfloor \,$ , где $A=\omega -1$, $B=m_{1}+n-N-(m_{1}+n+2)\omega$, $C=(m_{1}+1)(n+1)\omega$.
Дисперсия	${\frac {P_{2}}{P_{0}}}-\left({\frac {P_{1}}{P_{0}}}\right)^{2}$, где P k указано выше.

Функция вероятности, среднее значение и дисперсия приведены в соседней таблице.

Альтернативное выражение распределения включает в себя как количество взятых шаров каждого цвета, так и количество не взятых шаров в качестве случайных величин, в результате чего выражение для вероятности становится симметричным.

Время расчета функции вероятности может быть большим, если сумма в P ₀ имеет много членов. Время расчета можно сократить, вычисляя члены суммы рекурсивно относительно члена для y = x и игнорируя незначительные члены в хвостах (Liao and Rosen, 2001).

Среднее значение можно аппроксимировать следующим образом:

$\mu \approx {\frac {-2c}{b-{\sqrt {b^{2}-4ac}}}}\,$ ,

где $a=\omega -1$, $b=m_{1}+n-N-(m_{1}+n)\omega$, $c=m_{1}n\omega$.

Дисперсия может быть аппроксимирована следующим образом:

$\sigma ^{2}\approx {\frac {N}{N-1}}{\bigg /}\left({\frac {1}{\mu }}+{\frac {1}{m_{1}-\mu }}+{\frac {1}{n-\mu }}+{\frac {1}{\mu +m_{2}-n}}\right)$ .

Лучшие приближения к среднему значению и дисперсии даны Левином (1984, 1990), МакКаллахом и Нелдером (1989), Ляо (1992), а также Эйсингой и Пельцером (2011). Методы перевала для аппроксимации среднего значения и дисперсии, предложенные Эйсингой и Пельцером (2011), дают чрезвычайно точные результаты.

Характеристики

Применяются следующие соотношения симметрии:

$\operatorname {fnchypg} (x;n,m_{1},N,\omega )=\operatorname {fnchypg} (n-x;n,m_{2},N,1/\omega )\,.$

$\operatorname {fnchypg} (x;n,m_{1},N,\omega )=\operatorname {fnchypg} (x;m_{1},n,N,\omega )\,.$

$\operatorname {fnchypg} (x;n,m_{1},N,\omega )=\operatorname {fnchypg} (m_{1}-x;N-n,m_{1},N,1/\omega )\,.$

Рекуррентное соотношение:

$\operatorname {fnchypg} (x;n,m_{1},N,\omega )=\operatorname {fnchypg} (x-1;n,m_{1},N,\omega ){\frac {(m_{1}-x+1)(n-x+1)}{x(m_{2}-n+x)}}\omega \,.$

Дистрибутив ласково называют «finchy-pig», основываясь на приведенном выше соглашении об сокращениях.

Вывод

Одномерное нецентральное гипергеометрическое распределение может быть получено альтернативно как условное распределение в контексте двух биномиально распределенных случайных величин, например, при рассмотрении ответа на конкретное лечение в двух разных группах пациентов, участвующих в клиническом исследовании. Важным применением нецентрального гипергеометрического распределения в этом контексте является вычисление точных доверительных интервалов для отношения шансов при сравнении ответа на лечение между двумя группами.

Предположим, X и Y — случайные величины с биномиальным распределением, подсчитывающие количество респондентов в двух соответствующих группах размером m _X и m _Y соответственно,

$X\sim \operatorname {Bin} (m_{X},\pi _{X}),\quad Y\sim \operatorname {Bin} (m_{Y},\pi _{Y})\,$.

Их отношение шансов определяется как

$\omega ={\frac {\omega _{X}}{\omega _{Y}}}={\frac {\pi _{X}/(1-\pi _{X})}{\pi _{Y}/(1-\pi _{Y})}}$.

Распространенность респондентов $\pi _{i}$ полностью определяется с точки зрения шансов $\omega _{i}$, $i\in \{X,Y\}$, которые соответствуют смещению выборки в приведенной выше схеме урны, т.е.

$\pi _{i}={\frac {\omega _{i}}{1+\omega _{i}}}$.

Испытание можно обобщить и проанализировать с помощью следующей таблицы непредвиденных обстоятельств.

Уход Группа	ответчик	не ответивший	Общий
Х	х	.	м Х
И	и	.	мой ​
Общий	н	.	Н

В таблице, $n=x+y$ соответствует общему количеству респондентов в группах, а N — общему количеству пациентов, включенных в исследование. Точки обозначают соответствующие значения частоты, не имеющие дальнейшего значения.

Выборочное распределение респондентов в группе X зависит от результатов исследования и распространенности, $Pr(X=x\;|\;X+Y=n,m_{X},m_{Y},\omega _{X},\omega _{Y})$, является нецентрально гипергеометрическим:

${\begin{aligned}F(X,\omega ):&=Pr(X=x\;|\;X+Y=n,m_{X},m_{Y},\omega _{X},\omega _{Y})\\&={\frac {Pr(X=x,X+Y=n\;|\;m_{X},m_{Y},\omega _{X},\omega _{Y})}{Pr(X+Y=n\;|\;m_{X},m_{Y},\omega _{X},\omega _{Y})}}\\&={\frac {Pr(X=x\;|\;m_{X},\omega _{X})Pr(Y=n-x\;|\;m_{Y},\omega _{Y},X=x)}{Pr(X+Y=n\;|\;m_{X},m_{Y},\omega _{X},\omega _{Y})}}\\&={\frac {{\binom {m_{X}}{x}}\pi _{X}^{x}(1-\pi _{X})^{m_{X}-x}{\binom {m_{Y}}{n-x}}\pi _{Y}^{n-x}(1-\pi _{Y})^{m_{Y}-(n-x)}}{Pr(X+Y=n\;|\;m_{X},m_{Y},\omega _{X},\omega _{Y})}}\\&={\frac {{\binom {m_{X}}{x}}\omega _{X}^{x}(1-\pi _{X})^{m_{X}}{\binom {m_{Y}}{n-x}}\omega _{Y}^{n-x}(1-\pi _{Y})^{m_{Y}}}{Pr(X+Y=n\;|\;m_{X},m_{Y},\omega _{X},\omega _{Y})}}\\&={\frac {{\binom {m_{X}}{x}}{\binom {m_{Y}}{n-x}}\omega ^{x}(1-\pi _{X})^{m_{X}}\omega _{Y}^{n}(1-\pi _{Y})^{m_{Y}}}{(1-\pi _{X})^{m_{X}}\omega _{Y}^{n}(1-\pi _{Y})^{m_{Y}}\sum _{u=\max(0,n-m_{Y})}^{\min(m_{X},n)}{\binom {m_{X}}{u}}{\binom {m_{Y}}{n-u}}\omega ^{u}}}\\&={\frac {{\binom {m_{X}}{x}}{\binom {m_{Y}}{n-x}}\omega ^{x}}{\sum _{u=\max(0,n-m_{Y})}^{\min(m_{X},n)}{\binom {m_{X}}{u}}{\binom {m_{Y}}{n-u}}\omega ^{u}}}\end{aligned}}$

Обратите внимание, что знаменатель — это, по сути, просто числитель, суммированный по всем событиям общего пространства выборок. $(X,Y)$ для чего он считает, что $X+Y=n$. Члены, независимые от X, можно вынести из суммы и сократить с помощью числителя.

Многомерное распределение

Многомерное нецентральное гипергеометрическое распределение Фишера

Параметры	$c\in \mathbb {N}$ $\mathbf {m} =(m_{1},\ldots ,m_{c})\in \mathbb {N} ^{c}$ $N=\sum _{i=1}^{c}m_{i}$ $n\in [0,N)$ ${\boldsymbol {\omega }}=(\omega _{1},\ldots ,\omega _{c})\in \mathbb {R} _{+}^{c}$
Поддерживать	$\mathrm {S} =\left\{\mathbf {x} \in \mathbb {Z} _{0+}^{c}\,:\,\sum _{i=1}^{c}x_{i}=n\right\}$
ПМФ	${\frac {1}{P_{0}}}\prod _{i=1}^{c}{\binom {m_{i}}{x_{i}}}\omega _{i}^{x_{i}}$ где $P_{0}=\sum _{(y_{0},\ldots ,y_{c})\in \mathrm {S} }\prod _{i=1}^{c}{\binom {m_{i}}{y_{i}}}\omega _{i}^{y_{i}}$
Иметь в виду	Среднее значение µ x i можно i аппроксимировать формулой $\mu _{i}={\frac {m_{i}r\omega _{i}}{r\omega _{i}+1}}$ где r — единственное положительное решение задачи $\sum _{i=1}^{c}\mu _{i}=n\,$.

Распределение можно расширить до любого количества цветов шаров в урне. Многомерное распределение используется, когда цветов более двух.

Справа показаны функция вероятности и простое приближение к среднему значению. Лучшие приближения к среднему значению и дисперсии даны МакКаллахом и Нелдером (1989).

Характеристики

Порядок цветов произвольный, поэтому любые цвета можно менять местами.

Веса могут быть произвольно масштабированы:

$\operatorname {mfnchypg} (\mathbf {x} ;n,\mathbf {m} ,{\boldsymbol {\omega }})=\operatorname {mfnchypg} (\mathbf {x} ;n,\mathbf {m} ,r{\boldsymbol {\omega }})\,\,$ для всех $r\in \mathbb {R} _{+}.$

Цвета с нулевым номером ( m _i = 0) или нулевым весом (ω _i = 0) могут быть исключены из уравнений.

Цвета одинакового веса можно объединять:

${\begin{aligned}&{}\operatorname {mfnchypg} \left(\mathbf {x} ;n,\mathbf {m} ,(\omega _{1},\ldots ,\omega _{c-1},\omega _{c-1})\right)\\&{}=\operatorname {mfnchypg} \left((x_{1},\ldots ,x_{c-1}+x_{c});n,(m_{1},\ldots ,m_{c-1}+m_{c}),(\omega _{1},\ldots ,\omega _{c-1})\right)\,\cdot \\&\qquad \operatorname {hypg} (x_{c};x_{c-1}+x_{c},m_{c},m_{c-1}+m_{c})\end{aligned}}$

где $\operatorname {hypg} (x;n,m,N)$ — (одномерная, центральная) вероятность гипергеометрического распределения.

Приложения

Нецентральное гипергеометрическое распределение Фишера полезно для моделей смещенной выборки или смещенного отбора, когда отдельные элементы отбираются независимо друг от друга и без конкуренции. Смещение или шансы можно оценить на основе экспериментального значения среднего. Вместо этого используйте нецентральное гипергеометрическое распределение Валлениуса , если элементы отбираются один за другим с конкуренцией.

Нецентральное гипергеометрическое распределение Фишера используется в основном для тестов в таблицах непредвиденных обстоятельств , где желательно условное распределение для фиксированных полей. Это может быть полезно, например, для тестирования или измерения эффекта лекарства. См. МакКаллах и Нелдер (1989).

Доступное программное обеспечение

• Гипергеометрическое распределение Фишера в системе Mathematica .
• Реализация языка программирования R доступна в виде пакета BiasedUrn . Включает одномерные и многомерные массовые функции вероятности, функции распределения, квантили , производящие функции случайных величин , среднее значение и дисперсию.
• Пакет R . MCMCpack включает в себя одномерную функцию массы вероятности и функцию генерации случайной величины
• Система SAS включает одномерную функцию вероятности и функцию распределения.
• Реализация на C++ доступна на сайте www.agner.org .
• Методы расчета описаны Ляо и Розеном (2001) и Фогом (2008).

См. также

• Нецентральные гипергеометрические распределения
• Нецентральное гипергеометрическое распределение Валлениуса
• Гипергеометрическое распределение
• Модели урн
• Смещенная выборка
• Предвзятость
• Таблица непредвиденных обстоятельств
• Точный тест Фишера

Ссылки

Бреслоу, штат Небраска; Дэй, штат Нью-Йорк (1980), Статистические методы исследования рака , Лион: Международное агентство по исследованию рака .

Эйсинга, Р.; Пельцер, Б. (2011), «Аппроксимации перевала для среднего и дисперсии расширенного гипергеометрического распределения» (PDF) , Statistica Neerlandica , vol. 65, нет. 1, стр. 22–31, doi : 10.1111/j.1467-9574.2010.00468.x .

Фог, А. (2007), Теория случайных чисел .

Фог, А. (2008), «Методы выборки для нецентральных гипергеометрических распределений Валлениуса и Фишера», Communications in Statictics, Simulation and Computing , vol. 37, нет. 2, стр. 241–257, doi : 10.1080/03610910701790236 , S2CID   14904723 .

Джонсон, Нидерланды; Кемп, AW; Коц, С. (2005), Одномерные дискретные распределения , Хобокен, Нью-Джерси: Wiley and Sons .

Левин, Б. (1984), «Простые улучшения аппроксимации Корнфилда к среднему значению нецентральной гипергеометрической случайной величины», Biometrika , vol. 71, нет. 3, стр. 630–632, doi : 10.1093/biomet/71.3.630 .

Левин, Б. (1990), «Поправка седловой точки в анализе условного логистического правдоподобия», Biometrika , vol. 77, нет. 2, [Oxford University Press, Biometrika Trust], стр. 275–285, doi : 10.1093/biomet/77.2.275 , JSTOR   2336805 .

Ляо, Дж. (1992), «Алгоритм определения среднего и дисперсии нецентрального гипергеометрического распределения», Biometrics , vol. 48, нет. 3, [Wiley, Международное биометрическое общество], стр. 889–892, doi : 10.2307/2532354 , JSTOR   2532354 .

Ляо, JG; Розен, О. (2001), «Быстрые и стабильные алгоритмы вычислений и выборки на основе нецентрального гипергеометрического распределения», The American Statistician , vol. 55, нет. 4, стр. 366–369, doi : 10.1198/000313001753272547 , S2CID   121279235 .

МакКаллах, П.; Нелдер, Дж. А. (1989), Обобщенные линейные модели, 2-е изд. , Лондон: Чепмен и Холл .