Маргинальное распределение

В теории вероятностей и статистике маргинальное распределение подмножества . набора величин случайных подмножестве — это распределение вероятностей переменных, содержащихся в Он дает вероятности различных значений переменных в подмножестве без ссылки на значения других переменных. Это контрастирует с условным распределением , которое дает вероятности, зависящие от значений других переменных.

Маргинальные переменные — это те переменные в подмножестве переменных, которые сохраняются. Эти понятия являются «маргинальными», поскольку их можно найти, суммируя значения таблицы по строкам или столбцам и записывая сумму на полях таблицы. Распределение маргинальных переменных (маргинальное распределение) получается путем маргинализации (то есть сосредоточения внимания на суммах в маргиналах) над распределением отбрасываемых переменных, и говорят, что отброшенные переменные были маргинализированы .

Контекст здесь таков, что проводимые теоретические исследования или анализ данных включают более широкий набор случайных величин, но внимание ограничивается уменьшенным числом этих переменных. Во многих приложениях анализ может начинаться с заданного набора случайных величин, затем сначала расширять этот набор путем определения новых (например, суммы исходных случайных величин) и, наконец, уменьшать число, обращая внимание на маргинальное распределение подмножество (например, сумма). Можно провести несколько различных анализов, каждый из которых рассматривает различное подмножество переменных как предельное распределение.

Определение

Маргинальная функция массы вероятности

При известном совместном распределении двух дискретных случайных величин , скажем, X и Y , предельное распределение любой переменной ( , X например ) представляет собой распределение вероятностей X , когда значения Y не принимаются во внимание. Это можно вычислить путем суммирования совместного распределения вероятностей по всем значениям Y . Естественно, верно и обратное: предельное распределение может быть получено для путем суммирования отдельных значений X. Y

$p_{X}(x_{i})=\sum _{j}p(x_{i},y_{j})$, и $p_{Y}(y_{j})=\sum _{i}p(x_{i},y_{j})$

Совместное и маргинальное распределения пары дискретных случайных величин, X и Y , зависимы, таким образом, имея ненулевую взаимную информацию I ( X ; Y ) . Значения совместного распределения находятся в прямоугольнике 3×4; значения маргинальных распределений расположены вдоль правого и нижнего полей.

Х И	х 1	х 2	х 3	х 4	п Y ( y ) ↓
у 1	⁠ 4 / 32 ⁠	⁠ 2 / 32 ⁠	⁠ 1 / 32 ⁠	⁠ 1 / 32 ⁠	⁠ 8 / 32 ⁠
у 2	⁠ 3 / 32 ⁠	⁠ 6 / 32 ⁠	⁠ 3 / 32 ⁠	⁠ 3 / 32 ⁠	⁠ 15 / 32 ⁠
yy3	⁠ 9 / 32 ⁠	0	0	0	⁠ 9 / 32 ⁠
п Икс ( Икс ) →	⁠ 16 / 32 ⁠	⁠ 8 / 32 ⁠	⁠ 4 / 32 ⁠	⁠ 4 / 32 ⁠	⁠ 32 / 32 ⁠

Предельную вероятность всегда можно записать как ожидаемое значение : $$p_{X}(x)=\int _{y}p_{X\mid Y}(x\mid y)\,p_{Y}(y)\,\mathrm {d} y=\operatorname {E} _{Y}[p_{X\mid Y}(x\mid y)]\;.$$

предельная вероятность X вычисляется путем изучения условной вероятности X при конкретном значении Y и последующего усреднения этой условной вероятности по распределению всех значений Y. Интуитивно понятно, что

Это следует из определения ожидаемой ценности (после применения закона бессознательного статистика ) $$\operatorname {E} _{Y}[f(Y)]=\int _{y}f(y)p_{Y}(y)\,\mathrm {d} y.$$

Следовательно, маргинализация обеспечивает правило преобразования распределения вероятностей случайной величины Y и другой случайной величины X = g ( Y ) : $$p_{X}(x)=\int _{y}p_{X\mid Y}(x\mid y)\,p_{Y}(y)\,\mathrm {d} y=\int _{y}\delta {\big (}x-g(y){\big )}\,p_{Y}(y)\,\mathrm {d} y.$$

Функция предельной плотности вероятности

Учитывая две непрерывные случайные величины X и Y, которых совместное распределение известно, предельную функцию плотности вероятности можно получить путем интегрирования вероятностей совместного распределения f по Y, и наоборот. То есть

$f_{X}(x)=\int _{c}^{d}f(x,y)\,dy$

$f_{Y}(y)=\int _{a}^{b}f(x,y)\,dx$

где $x\in [a,b]$, и $y\in [c,d]$.

Маргинальная кумулятивная функция распределения

Найти предельную кумулятивную функцию распределения по совместной кумулятивной функции распределения легко. Напомним, что:

• Для дискретных случайных величин $$F(x,y)=P(X\leq x,Y\leq y)$$
• Для непрерывных случайных величин $$F(x,y)=\int _{a}^{x}\int _{c}^{y}f(x',y')\,dy'dx'$$

Если X и Y совместно принимают значения на [ a , b ] × [ c , d ], то

$F_{X}(x)=F(x,d)$ и $F_{Y}(y)=F(b,y)$

Если d равно ∞, то это становится пределом ${\textstyle F_{X}(x)=\lim _{y\to \infty }F(x,y)}$. Аналогично для $F_{Y}(y)$.

Маргинальное распределение против условного распределения

Определение

Предельная вероятность — это вероятность того, что одно событие произойдет независимо от других событий. Условная вероятность , с другой стороны, — это вероятность того, что событие произойдет при условии, что другое конкретное событие уже произошло. Это означает, что вычисление одной переменной зависит от другой переменной.

Условное распределение переменной с учетом другой переменной — это совместное распределение обеих переменных, разделенное на предельное распределение другой переменной. То есть,

• Для дискретных случайных величин $$p_{Y|X}(y|x)=P(Y=y\mid X=x)={\frac {P(X=x,Y=y)}{P_{X}(x)}}$$
• Для непрерывных случайных величин $$f_{Y|X}(y|x)={\frac {f_{X,Y}(x,y)}{f_{X}(x)}}$$

Пример

Предположим, есть данные из класса из 200 учеников о количестве изученного времени ( X ) и проценте правильных ответов ( Y ). Предполагая, что X и Y являются дискретными случайными величинами, совместное распределение X и Y можно описать, перечислив все возможные значения p ( x _i , y _j ), как показано в Таблице 3.

Двусторонняя таблица набора данных о взаимосвязи в классе из 200 учащихся между количеством изученного времени и процентом правильных ответов.

Х И	Изученное время (минуты)
% правильный		х 1 (0-20)	х 2 (21-40)	х 3 (41-60)	х 4 (>60)	п Y ( y ) ↓
	y 1 (0-20)	⁠ 2 / 200 ⁠	0	0	⁠ 8 / 200 ⁠	⁠ 10 / 200 ⁠
	2 ) (21-40	⁠ 10 / 200 ⁠	⁠ 2 / 200 ⁠	⁠ 8 / 200 ⁠	0	⁠ 20 / 200 ⁠
	y3 ) (41-59	⁠ 2 / 200 ⁠	⁠ 4 / 200 ⁠	⁠ 32 / 200 ⁠	⁠ 32 / 200 ⁠	⁠ 70 / 200 ⁠
	y 4 (60-79)	0	⁠ 20 / 200 ⁠	⁠ 30 / 200 ⁠	⁠ 10 / 200 ⁠	⁠ 60 / 200 ⁠
	у 5 (80-100)	0	⁠ 4 / 200 ⁠	⁠ 16 / 200 ⁠	⁠ 20 / 200 ⁠	⁠ 40 / 200 ⁠
	п Икс ( Икс ) →	⁠ 14 / 200 ⁠	⁠ 30 / 200 ⁠	⁠ 86 / 200 ⁠	⁠ 70 / 200 ⁠	1

Маргинальное распределение можно использовать для определения количества студентов, набравших 20 или ниже: $p_{Y}(y_{1})=P_{Y}(Y=y_{1})=\sum _{i=1}^{4}P(x_{i},y_{1})={\frac {2}{200}}+{\frac {8}{200}}={\frac {10}{200}}$, что означает 10 студентов или 5%.

Условное распределение можно использовать для определения вероятности того, что учащийся, изучавший 60 минут или более, получит оценку 20 или ниже: $p_{Y|X}(y_{1}|x_{4})=P(Y=y_{1}|X=x_{4})={\frac {P(X=x_{4},Y=y_{1})}{P(X=x_{4})}}={\frac {8/200}{70/200}}={\frac {8}{70}}={\frac {4}{35}}$Это означает, что вероятность набрать 20 баллов после изучения в течение как минимум 60 минут составляет около 11%.

Реальный пример

Предположим, что необходимо вычислить вероятность того, что пешехода, переходящего дорогу по пешеходному переходу, не обращая внимания на сигнал светофора, собьет машина. Пусть H — дискретная случайная величина , принимающая одно значение из {Hit, Not Hit}. Пусть L (для светофора) — дискретная случайная величина, принимающая одно значение из {Красный, Желтый, Зеленый}.

На самом деле H будет зависеть от L. То есть P(H = Hit) будет принимать разные значения в зависимости от того, является ли L красным, желтым или зеленым (и аналогично для P(H = Not Hit)). Например, человек с гораздо большей вероятностью будет сбит машиной при попытке перейти дорогу, когда свет перпендикулярного движения горит зеленым, чем если бы он был красным. Другими словами, для любой данной возможной пары значений H и L необходимо рассмотреть совместное распределение вероятностей H и L, чтобы найти вероятность того, что эта пара событий произойдет вместе, если пешеход проигнорирует состояние светофора.

Однако при попытке вычислить предельную вероятность P(H = Hit) мы ищем вероятность того, что H = Hit в ситуации, в которой конкретное значение L неизвестно и в которой пешеход игнорирует состояние светофора. . В общем, пешехода можно сбить, если свет горит красным, ИЛИ если свет желтый, ИЛИ если свет зеленый. Итак, ответ на предельную вероятность можно найти путем суммирования P(H | L) для всех возможных значений L, при этом каждое значение L взвешивается по вероятности его появления.

Вот таблица, показывающая условные вероятности попадания в зависимости от состояния огней. (Обратите внимание, что сумма столбцов в этой таблице должна составлять 1, поскольку вероятность попадания или не попадания равна 1 независимо от состояния источника света.)

Условное распределение: $P(H\mid L)$

л ЧАС	Красный	Желтый	Зеленый
Не попал	0.99	0.9	0.2
Ударять	0.01	0.1	0.8

Чтобы найти совместное распределение вероятностей, требуется больше данных. Например, предположим, что P(L = красный) = 0,2, P(L = желтый) = 0,1 и P(L = зеленый) = 0,7. Умножение каждого столбца в условном распределении на вероятность появления этого столбца приводит к совместному распределению вероятностей H и L, заданному в центральном блоке записей 2×3. (Обратите внимание, что сумма ячеек в этом блоке 2×3 равна 1).

Совместное распространение: ⁠ $P(H,L)$⁠

л ЧАС	Красный	Желтый	Зеленый	Предельная вероятность P( H )
Не попал	0.198	0.09	0.14	0.428
Ударять	0.002	0.01	0.56	0.572
Общий	0.2	0.1	0.7	1

Предельная вероятность P(H = попадание) представляет собой сумму 0,572 по строке H = попадание этой совместной таблицы распределения, поскольку это вероятность попадания в свет, когда свет горит красным ИЛИ желтым ИЛИ зеленым. Аналогично, предельная вероятность того, что P(H = Not Hit) представляет собой сумму по строке H = Not Hit.

Многомерные распределения

Многие выборки из двумерного нормального распределения. Предельные распределения показаны красным и синим цветом. Маргинальное распределение X также аппроксимируется путем создания гистограммы координат X без учета координат Y.

Для многомерных распределений применяются формулы, аналогичные приведенным выше, при этом символы X и/или Y интерпретируются как векторы. В частности, каждое суммирование или интегрирование будет осуществляться по всем переменным, кроме тех, которые содержатся X. в

Это означает, что если X ₁ , X ₂ ,…, X _n являются дискретными случайными величинами , то предельная функция массы вероятности должна быть равна $$p_{X_{i}}(k)=\sum p(x_{1},x_{2},\dots ,x_{i-1},k,x_{i+1},\dots ,x_{n});$$если X ₁ , X ₂ ,…, X _n являются непрерывными случайными величинами , то предельная функция плотности вероятности должна быть равна $$f_{X_{i}}(x_{i})=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }\cdots \int _{-\infty }^{\infty }f(x_{1},x_{2},\dots ,x_{n})dx_{1}dx_{2}\cdots dx_{i-1}dx_{i+1}\cdots dx_{n}.$$

См. также

• Сложное распределение вероятностей
• Совместное распределение вероятностей
• Предельная вероятность
• Метрика Вассерштейна
• Условное распределение

Библиография

• Эверитт, бакалавр наук; Скрондал, А. (2010). Кембриджский статистический словарь . Издательство Кембриджского университета .
• Деккинг, FM; Краайкамп, К.; Лопухаа, Х.П.; Мистер, Л.Е. (2005). Современное введение в вероятность и статистику . Лондон: Спрингер. ISBN  9781852338961 .