Нецентральное гипергеометрическое распределение Валлениуса

Функция массы вероятности нецентрального гипергеометрического распределения Валлениуса для различных значений отношения шансов ω.
м ₁ = 80, м ₂ = 60, n = 100, ω = 0,1...20

В теории вероятностей статистике нецентральное и гипергеометрическое распределение Валлениуса (названное в честь Кеннета Теда Валлениуса) представляет собой обобщение гипергеометрического распределения , при котором элементы выбираются со смещением .

Это распределение можно проиллюстрировать в виде модели урны со смещением. Предположим, например, что в урне находится m ₁ красных шаров и m ₂ белых шаров, всего N = m ₁ + m ₂ шаров. Каждый красный шар имеет вес ω ₁ , а каждый белый шар — вес ω ₂ . Будем говорить, что отношение шансов равно ω = ω ₁ / ω ₂ . Теперь мы берем по одному n шаров таким образом, чтобы вероятность взятия определенного шара при конкретном розыгрыше была равна его доле от общего веса всех шаров, лежащих в урне в этот момент. Количество красных шаров x ₁ , которое мы получаем в этом эксперименте, является случайной величиной с нецентральным гипергеометрическим распределением Валлениуса.

Дело осложняется тем, что существует более одного нецентрального гипергеометрического распределения. Нецентральное гипергеометрическое распределение Валлениуса получается, если шары отбираются один за другим таким образом, что существует конкуренция между шарами . Нецентральное гипергеометрическое распределение Фишера получается, если шары отбираются одновременно или независимо друг от друга. К сожалению, оба распределения известны в литературе как «нецентральное гипергеометрическое распределение». При использовании этого имени важно уточнить, какой дистрибутив имеется в виду.

Оба распределения равны (центральному) гипергеометрическому распределению , когда отношение шансов равно 1.

Разница между этими двумя распределениями вероятностей невелика. см. в статье Википедии о нецентральных гипергеометрических распределениях Более подробное объяснение .

Одномерное распределение

Одномерное нецентральное гипергеометрическое распределение Валлениуса

Параметры	$m_{1},m_{2}\in \mathbb {N}$ $N=m_{1}+m_{2}$ $n\in [0,N)$ $\omega \in \mathbb {R} _{+}$
Поддерживать	$x\in [x_{min},x_{max}]$ $x_{min}=\max(0,n-m_{2})$ $x_{max}=\min(n,m_{1})$
ПМФ	${\binom {m_{1}}{x}}{\binom {m_{2}}{n-x}}\int _{0}^{1}(1-t^{\omega /D})^{x}(1-t^{1/D})^{n-x}\operatorname {d} t$ где $D=\omega (m_{1}-x)+(m_{2}-(n-x))$
Иметь в виду	Аппроксимировано решением $\mu$ к ${\frac {\mu }{m_{1}}}+\left(1-{\frac {n-\mu }{m_{2}}}\right)^{\omega }=1$
Дисперсия	$\approx {\frac {Nab}{(N-1)(m_{1}b+m_{2}a)}}\,$, где $a=\mu (m_{1}-\mu ),\;b=(n-\mu )(\mu +m_{2}-n)$

Рекурсивный расчет вероятности f( x , n ) в распределении Валлениуса. Светло-серые поля — возможные точки на пути к конечной точке. Стрелки указывают произвольную траекторию.

Распределение Валлениуса особенно сложно, поскольку вероятность взятия каждого шара зависит не только от его веса, но и от общего веса его конкурентов. А вес конкурирующих шаров зависит от результатов всех предыдущих розыгрышей.

Эта рекурсивная зависимость приводит к разностному уравнению , решение которого в открытом виде дается интегралом в выражении функции массы вероятности в таблице выше.

Выражения в замкнутой форме для функции массы вероятности существуют (Lyons, 1980), но они не очень полезны для практических расчетов из-за крайней численной нестабильности , за исключением вырожденных случаев.

Используются несколько других методов расчета, включая рекурсию , расширение Тейлора и численное интегрирование (Fog, 2007, 2008).

Самый надежный метод расчета — рекурсивное вычисление f( x , n ) из f( x , n -1) и f( x -1, n -1) с использованием рекурсивной формулы, приведенной ниже в разделе свойств. Вероятности всех комбинаций ( x , n ) на всех возможных траекториях, ведущих к желаемой точке, вычисляются, начиная с f(0,0) = 1, как показано на рисунке справа. Общее количество вероятностей для расчета равно n ( x +1)- x ² . Другие методы расчета необходимо использовать, когда n и x настолько велики, что этот метод слишком неэффективен.

Вероятность того, что все шары будут одного цвета, вычислить проще. См. формулу ниже в разделе многомерного распределения.

Точная формула для среднего значения неизвестна (если не считать полного перечисления всех вероятностей). Приведенное выше уравнение достаточно точное. Это уравнение можно решить относительно μ с помощью итерации Ньютона-Рафсона . То же уравнение можно использовать для оценки шансов на основе экспериментально полученного значения среднего.

Свойства одномерного распределения

Распределение Валлениуса имеет меньше отношений симметрии, чем нецентральное гипергеометрическое распределение Фишера . Единственная симметрия связана с заменой цветов:

$\operatorname {wnchypg} (x;n,m_{1},m_{2},\omega )=\operatorname {wnchypg} (n-x;n,m_{2},m_{1},1/\omega )\,.$

В отличие от распределения Фишера, распределение Валлениуса не имеет симметрии относительно количества не взятых шаров.

Следующая формула рекурсии полезна для расчета вероятностей:

$\operatorname {wnchypg} (x;n,m_{1},m_{2},\omega )=$

$\operatorname {wnchypg} (x-1;n-1,m_{1},m_{2},\omega ){\frac {(m_{1}-x+1)\omega }{(m_{1}-x+1)\omega +m_{2}+x-n}}+$

$\operatorname {wnchypg} (x;n-1,m_{1},m_{2},\omega ){\frac {m_{2}+x-n+1}{(m_{1}-x)\omega +m_{2}+x-n+1}}$

Известна также другая формула рекурсии:

$\operatorname {wnchypg} (x;n,m_{1},m_{2},\omega )=$

$\operatorname {wnchypg} (x-1;n-1,m_{1}-1,m_{2},\omega ){\frac {m_{1}\omega }{m_{1}\omega +m_{2}}}+$

$\operatorname {wnchypg} (x;n-1,m_{1},m_{2}-1,\omega ){\frac {m_{2}}{m_{1}\omega +m_{2}}}\,.$

Вероятность ограничена

$\operatorname {f} _{1}(x)\leq \operatorname {wnchypg} (x;n,m_{1},m_{2},\omega )\leq \operatorname {f} _{2}(x)\,,\,\,{\text{for}}\,\,\omega <1\,,$

$\operatorname {f} _{1}(x)\geq \operatorname {wnchypg} (x;n,m_{1},m_{2},\omega )\geq \operatorname {f} _{2}(x)\,,\,\,{\text{for}}\,\,\omega >1\,,{\text{where}}$

$\operatorname {f} _{1}(x)={\binom {m_{1}}{x}}{\binom {m_{2}}{n-x}}{\frac {n!}{(m_{1}+m_{2}/\omega )^{\underline {x}}\,(m_{2}+\omega (m_{1}-x))^{\underline {n-x}}}}$

$\operatorname {f} _{2}(x)={\binom {m_{1}}{x}}{\binom {m_{2}}{n-x}}{\frac {n!}{(m_{1}+(m_{2}-x_{2})/\omega )^{\underline {x}}\,(m_{2}+\omega m_{1})^{\underline {n-x}}}}\,,$

где подчеркнутый верхний индекс указывает на падающий факториал $a^{\underline {b}}=a(a-1)\ldots (a-b+1)$.

Многомерное распределение

Распределение можно расширить до любого количества цветов шаров в урне. Многомерное распределение используется, когда цветов больше двух.

Многомерное нецентральное гипергеометрическое распределение Валлениуса

Параметры	$c\in \mathbb {N}$ $\mathbf {m} =(m_{1},\ldots ,m_{c})\in \mathbb {N} ^{c}$ $N=\sum _{i=1}^{c}m_{i}$ $n\in [0,N)$ ${\boldsymbol {\omega }}=(\omega _{1},\ldots ,\omega _{c})\in \mathbb {R} _{+}^{c}$
Поддерживать	$\mathrm {S} =\left\{\mathbf {x} \in \mathbb {Z} _{0+}^{c}\,:\,\sum _{i=1}^{c}x_{i}=n\right\}$
ПМФ	$\left(\prod _{i=1}^{c}{\binom {m_{i}}{x_{i}}}\right)\int _{0}^{1}\prod _{i=1}^{c}(1-t^{\omega _{i}/D})^{x_{i}}\operatorname {d} t\,,$ где $D={\boldsymbol {\omega }}\cdot (\mathbf {m} -\mathbf {x} )=\sum _{i=1}^{c}\omega _{i}(m_{i}-x_{i})$
Иметь в виду	Аппроксимировано решением $\mu _{1},\ldots ,\mu _{c}$ к $\left(1-{\frac {\mu _{1}}{m_{1}}}\right)^{1/\omega _{1}}=\left(1-{\frac {\mu _{2}}{m_{2}}}\right)^{1/\omega _{2}}=\ldots =\left(1-{\frac {\mu _{c}}{m_{c}}}\right)^{1/\omega _{c}}$ $\wedge \,\sum _{i=1}^{c}\mu _{i}=n\,\wedge \,\forall \,i\in [0,c]\,:\,0\leq \mu _{i}\leq m_{i}\,.$
Дисперсия	Аппроксимировано дисперсией нецентрального гипергеометрического распределения Фишера с тем же средним значением.

Функция массы вероятности может быть рассчитана с помощью различных методов разложения Тейлора или путем численного интегрирования (Fog, 2008).

Вероятность того, что все шары будут одного цвета j , можно рассчитать как:

$\operatorname {mwnchypg} ((0,\ldots ,0,x_{j},0,\ldots );n,\mathbf {m} ,{\boldsymbol {\omega }})={\frac {m_{j}^{\,\,{\underline {n}}}}{\left({\frac {1}{\omega _{j}}}\sum _{i=1}^{c}m_{i}\omega _{i}\right)^{\underline {n}}}}$

для x _j = n ≤ m _j , где подчеркнутый верхний индекс обозначает падающий факториал .

Достаточно хорошее приближение к среднему значению можно рассчитать с помощью приведенного выше уравнения. Уравнение можно решить, определив θ так, чтобы

$\mu _{i}=m_{i}(1-e^{\omega _{i}\theta })$

и решение

$\sum _{i=1}^{c}\mu _{i}=n$

для θ с помощью итерации Ньютона-Рафсона .

Уравнение среднего значения также полезно для оценки шансов на основе экспериментально полученных значений среднего значения.

Хороший способ расчета дисперсии неизвестен. Самый известный метод - аппроксимировать многомерное распределение Валлениуса многомерным нецентральным гипергеометрическим распределением Фишера с тем же средним значением и вставить среднее значение, рассчитанное выше, в приближенную формулу для дисперсии последнего распределения.

Свойства многомерного распределения

Порядок цветов произвольный, поэтому любые цвета можно менять местами.

Веса могут быть произвольно масштабированы:

$\operatorname {mwnchypg} (\mathbf {x} ;n,\mathbf {m} ,{\boldsymbol {\omega }})=\operatorname {mwnchypg} (\mathbf {x} ;n,\mathbf {m} ,r{\boldsymbol {\omega }})\,\,$ для всех $r\in \mathbb {R} _{+}$.

Цвета с нулевым номером ( m _i = 0) или нулевым весом (ω _i = 0) могут быть исключены из уравнений.

Цвета одинакового веса можно объединять:

$\operatorname {mwnchypg} \left(\mathbf {x} ;n,\mathbf {m} ,(\omega _{1},\ldots ,\omega _{c-1},\omega _{c-1})\right)\,=$

$\operatorname {mwnchypg} \left((x_{1},\ldots ,x_{c-1}+x_{c});n,(m_{1},\ldots ,m_{c-1}+m_{c}),(\omega _{1},\ldots ,\omega _{c-1})\right)\,\cdot$

$\operatorname {hypg} (x_{c};x_{c-1}+x_{c},m_{c},m_{c-1}+m_{c})\,,$

где $\operatorname {hypg} (x;n,m,N)$ — (одномерная, центральная) вероятность гипергеометрического распределения.

Дополнительное нецентральное гипергеометрическое распределение Валлениуса

Функция массы вероятности для дополнительного нецентрального гипергеометрического распределения Валлениуса для различных значений отношения шансов ω.
м ₁ = 80, м ₂ = 60, n = 40, ω = 0,05...10

Шары, не взятые в эксперимент с урной, имеют распределение, отличное от нецентрального гипергеометрического распределения Валлениуса из-за отсутствия симметрии. Распределение не взятых шаров можно назвать дополнительным нецентральным гипергеометрическим распределением Валлениуса .

Вероятности в дополнительном распределении рассчитываются на основе распределения Валлениуса путем замены n на N - n , xi _на ω m _i - x _i и ω _i на 1/ _i .

Доступное программное обеспечение

• Валлениус «Гипергеометрическое распределение» в системе Mathematica .
• Реализация языка программирования R доступна в виде пакета BiasedUrn . Включает одномерные и многомерные массовые функции вероятности, функции распределения, квантили , производящие функции случайных величин , среднее значение и дисперсию.
• Реализация на C++ доступна на сайте www.agner.org .

См. также

• Нецентральные гипергеометрические распределения
• Нецентральное гипергеометрическое распределение Фишера
• Смещенная выборка
• Предвзятость
• Популяционная генетика
• Точный тест Фишера

Ссылки

• Чессон, Дж. (1976). «Нецентральное многомерное гипергеометрическое распределение, возникающее в результате смещенной выборки с применением к выборочному хищничеству». Журнал прикладной вероятности . Том. 13, нет. 4. Прикладное вероятностное доверие. стр. 795–797. дои : 10.2307/3212535 . JSTOR   3212535 .
• Туман, А. (2007). «Теория случайных чисел» .
• Туман, А. (2008). «Методы расчета нецентрального гипергеометрического распределения Валлениуса». Коммуникации в статике, моделировании и вычислениях . 37 (2): 258–273. дои : 10.1080/03610910701790269 . S2CID   9040568 .
• Джонсон, Нидерланды; Кемп, AW; Коц, С. (2005). Одномерные дискретные распределения . Хобокен, Нью-Джерси: Уайли и сыновья.
• Лайонс, Нью-Йорк (1980). «Замкнутые выражения для нецентральных гипергеометрических вероятностей». Коммуникации в статистике – моделирование и вычисления . Том. 9, нет. 3. С. 313–314. дои : 10.1080/03610918008812156 .
• Мэнли, BFJ (1974). «Модель для некоторых видов селекционных экспериментов». Биометрия . Том. 30, нет. 2. Международное биометрическое общество. стр. 281–294. дои : 10.2307/2529649 . JSTOR   2529649 .
• Валлениус, КТ (1963). Смещенная выборка: нецентральное гипергеометрическое распределение вероятностей. доктор философии Диссертация (Диссертация). Стэнфордский университет, факультет статистики.