Алгебра случайных величин

Алгебра случайных величин в статистике предоставляет правила для символических манипуляций со случайными величинами , избегая при этом слишком глубокого погружения в математически сложные идеи теории вероятностей . Его символика позволяет обрабатывать суммы, произведения, отношения и общие функции случайных величин, а также выполнять такие операции, как нахождение распределений вероятностей и ожиданий (или ожидаемых значений), дисперсий и ковариаций таких комбинаций.

В принципе, элементарная алгебра случайных величин эквивалентна алгебре обычных неслучайных (или детерминированных) переменных. Однако изменения, происходящие в распределении вероятностей случайной величины, полученном после выполнения алгебраических операций, не являются однозначными. Следовательно, поведение различных операторов распределения вероятностей, таких как ожидаемые значения, дисперсии, ковариации и моменты , может отличаться от поведения, наблюдаемого для случайной величины с использованием символьной алгебры. Для каждого из этих операторов можно определить некоторые ключевые правила, в результате чего возникают различные типы алгебры для случайных величин, помимо элементарной символьной алгебры: алгебра ожиданий, алгебра дисперсии, алгебра ковариации, алгебра моментов и т. д.

Элементарная символьная алгебра случайных величин

Учитывая две случайные величины $X$ и $Y$ , возможны следующие алгебраические операции:

Добавление : $Z=X+Y=Y+X$
Вычитание : $Z=X-Y=-Y+X$
Умножение : $Z=XY=YX$
Разделение : $Z=X/Y=X\cdot (1/Y)=(1/Y)\cdot X$
Возведение в степень : $Z=X^{Y}=e^{Y\ln(X)}$

Во всех случаях переменная $Z$ результат каждой операции также является случайной величиной. Все коммутативные и ассоциативные свойства обычных алгебраических операций справедливы и для случайных величин. Если любая из случайных величин заменяется детерминированной переменной или постоянным значением, все предыдущие свойства остаются действительными.

Алгебра ожиданий для случайных величин

Ожидаемое значение $E$ случайной величины $Z$ результат алгебраической операции между двумя случайными величинами можно вычислить с использованием следующего набора правил:

Добавление : $E[Z]=E[X+Y]=E[X]+E[Y]=E[Y]+E[X]$
Вычитание : $E[Z]=E[X-Y]=E[X]-E[Y]=-E[Y]+E[X]$
Умножение : $E[Z]=E[XY]=E[YX]$ . В частности, если $X$ и $Y$ независимы друг от друга, то: $E[XY]=E[X]\cdot E[Y]=E[Y]\cdot E[X]$ .
Разделение : $E[Z]=E[X/Y]=E[X\cdot (1/Y)]=E[(1/Y)\cdot X]$ . В частности, если $X$ и $Y$ независимы друг от друга, то: $E[X/Y]=E[X]\cdot E[1/Y]=E[1/Y]\cdot E[X]$ .
Возведение в степень : $E[Z]=E[X^{Y}]=E[e^{Y\ln(X)}]$

Если любую из случайных величин заменить детерминированной переменной или постоянной величиной ( $k$ ), предыдущие свойства остаются в силе, учитывая, что $P[X=k]=1$ и, следовательно, $E[X]=k$ .

Если $Z$ определяется как общая нелинейная алгебраическая функция $f$ случайной величины $X$ , затем:

$E[Z]=E[f(X)]\neq f(E[X])$

Некоторые примеры этого свойства включают в себя:

$E[X^{2}]\neq E[X]^{2}$
$E[1/X]\neq 1/E[X]$
$E[e^{X}]\neq e^{E[X]}$
$E[\ln(X)]\neq \ln(E[X])$

Точное значение ожидания нелинейной функции будет зависеть от конкретного распределения вероятностей случайной величины. $X$ .

Дисперсионная алгебра случайных величин

Дисперсия $\mathrm {Var}$ случайной величины $Z$ результат алгебраической операции между случайными величинами можно вычислить с помощью следующего набора правил:

Добавление : $\mathrm {Var} [Z]=\mathrm {Var} [X+Y]=\mathrm {Var} [X]+2\mathrm {Cov} [X,Y]+\mathrm {Var} [Y]$ . В частности, если $X$ и $Y$ независимы друг от друга, то: $\mathrm {Var} [X+Y]=\mathrm {Var} [X]+\mathrm {Var} [Y]$ .
Вычитание : $\mathrm {Var} [Z]=\mathrm {Var} [X-Y]=\mathrm {Var} [X]-2\mathrm {Cov} [X,Y]+\mathrm {Var} [Y]$ . В частности, если $X$ и $Y$ независимы друг от друга, то: $\mathrm {Var} [X-Y]=\mathrm {Var} [X]+\mathrm {Var} [Y]$ . То есть для независимых случайных величин дисперсия одинакова для сложений и вычитаний: $\mathrm {Var} [X+Y]=\mathrm {Var} [X-Y]=\mathrm {Var} [Y-X]=\mathrm {Var} [-X-Y]$
Умножение : $\mathrm {Var} [Z]=\mathrm {Var} [XY]=\mathrm {Var} [YX]$ . В частности, если $X$ и $Y$ независимы друг от друга, то: $\mathrm {Var} [XY]=E[X^{2}]\cdot E[Y^{2}]-(E[X]\cdot E[Y])^{2}=\mathrm {Var} [X]\cdot \mathrm {Var} [Y]+\mathrm {Var} [X]\cdot (E[Y])^{2}+\mathrm {Var} [Y]\cdot (E[X])^{2}$ .
Разделение : $\mathrm {Var} [Z]=\mathrm {Var} [X/Y]=\mathrm {Var} [X\cdot (1/Y)]=\mathrm {Var} [(1/Y)\cdot X]$ . В частности, если $X$ и $Y$ независимы друг от друга, то: $\mathrm {Var} [X/Y]=E[X^{2}]\cdot E[1/Y^{2}]-(E[X]\cdot E[1/Y])^{2}=\mathrm {Var} [X]\cdot \mathrm {Var} [1/Y]+\mathrm {Var} [X]\cdot (E[1/Y])^{2}+\mathrm {Var} [1/Y]\cdot (E[X])^{2}$ .
Возведение в степень : $\mathrm {Var} [Z]=\mathrm {Var} [X^{Y}]=\mathrm {Var} [e^{Y\ln(X)}]$

где $\mathrm {Cov} [X,Y]=\mathrm {Cov} [Y,X]$ представляет ковариационный оператор между случайными величинами $X$ и $Y$ .

Дисперсия случайной величины также может быть выражена непосредственно через ковариацию или через ожидаемое значение:

$\mathrm {Var} [X]=\mathrm {Cov} (X,X)=E[X^{2}]-E[X]^{2}$

Если любую из случайных величин заменить детерминированной переменной или постоянной величиной ( $k$ ), предыдущие свойства остаются в силе, учитывая, что $P[X=k]=1$ и $E[X]=k$ , $\mathrm {Var} [X]=0$ и $\mathrm {Cov} [Y,k]=0$ . Особыми случаями являются сложение и умножение случайной величины на детерминированную переменную или константу, где:

$\mathrm {Var} [k+Y]=\mathrm {Var} [Y]$
$\mathrm {Var} [kY]=k^{2}\mathrm {Var} [Y]$

Если $Z$ определяется как общая нелинейная алгебраическая функция $f$ случайной величины $X$ , затем:

$\mathrm {Var} [Z]=\mathrm {Var} [f(X)]\neq f(\mathrm {Var} [X])$

Точное значение дисперсии нелинейной функции будет зависеть от конкретного распределения вероятностей случайной величины. $X$ .

Ковариационная алгебра случайных величин

Ковариация ( $\mathrm {Cov}$ ) между случайной величиной $Z$ результат алгебраической операции и случайной величины $X$ можно рассчитать по следующему набору правил:

Добавление : $\mathrm {Cov} [Z,X]=\mathrm {Cov} [X+Y,X]=\mathrm {Var} [X]+\mathrm {Cov} [X,Y]$ . Если $X$ и $Y$ независимы друг от друга, то: $\mathrm {Cov} [X+Y,X]=\mathrm {Var} [X]$ .
Вычитание : $\mathrm {Cov} [Z,X]=\mathrm {Cov} [X-Y,X]=\mathrm {Var} [X]-\mathrm {Cov} [X,Y]$ . Если $X$ и $Y$ независимы друг от друга, то: $\mathrm {Cov} [X-Y,X]=\mathrm {Var} [X]$ .
Умножение : $\mathrm {Cov} [Z,X]=\mathrm {Cov} [XY,X]=E[X^{2}Y]-E[XY]E[X]$ . Если $X$ и $Y$ независимы друг от друга, то: $\mathrm {Cov} [XY,X]=\mathrm {Var} [X]\cdot E[Y]$ .
Деление (ковариация относительно числителя): $\mathrm {Cov} [Z,X]=\mathrm {Cov} [X/Y,X]=E[X^{2}/Y]-E[X/Y]E[X]$ . Если $X$ и $Y$ независимы друг от друга, то: $\mathrm {Cov} [X/Y,X]=\mathrm {Var} [X]\cdot E[1/Y]$ .
Деление (ковариация по знаменателю): $\mathrm {Cov} [Z,X]=\mathrm {Cov} [Y/X,X]=E[Y]-E[Y/X]E[X]$ . Если $X$ и $Y$ независимы друг от друга, то: $\mathrm {Cov} [Y/X,X]=E[Y]\cdot (1-E[X]\cdot E[1/X])$ .
Возведение в степень (ковариация по базе): $\mathrm {Cov} [Z,X]=\mathrm {Cov} [X^{Y},X]=E[X^{Y+1}]-E[X^{Y}]E[X]$ .
Возведение в степень (ковариация по степени): $\mathrm {Cov} [Z,X]=\mathrm {Cov} [Y^{X},X]=E[XY^{X}]-E[Y^{X}]E[X]$ .

Ковариация случайной величины также может быть выражена непосредственно через ожидаемое значение:

$\mathrm {Cov} (X,Y)=E[XY]-E[X]E[Y]$

Если любую из случайных величин заменить детерминированной переменной или постоянной величиной ( $k$ ), предыдущие свойства остаются в силе, учитывая, что $E[k]=k$ , $\mathrm {Var} [k]=0$ и $\mathrm {Cov} [X,k]=0$ .

Если $Z$ определяется как общая нелинейная алгебраическая функция $f$ случайной величины $X$ , затем:

$\mathrm {Cov} [Z,X]=\mathrm {Cov} [f(X),X]=E[Xf(X)]-E[f(X)]E[X]$

Точное значение дисперсии нелинейной функции будет зависеть от конкретного распределения вероятностей случайной величины. $X$ .

Приближения разложениями моментов в ряд Тейлора

Если моменты некоторой случайной величины $X$ известны (или могут быть определены путем интегрирования, если известна функция плотности вероятности ), то можно аппроксимировать ожидаемое значение любой общей нелинейной функции $f(X)$ как разложение моментов в ряд Тейлора следующим образом:

$f(X)=\displaystyle \sum _{n=0}^{\infty }\displaystyle {\frac {1}{n!}}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }(X-\mu )^{n}$ , где $\mu =E[X]$ это среднее значение $X$ .

$E[f(X)]=E{\biggl (}\textstyle \sum _{n=0}^{\infty }\displaystyle {1 \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }(X-\mu )^{n}{\biggr )}=\displaystyle \sum _{n=0}^{\infty }\displaystyle {1 \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }E[(X-\mu )^{n}]=\textstyle \sum _{n=0}^{\infty }\displaystyle {\frac {1}{n!}}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }\mu _{n}(X)$ , где $\mu _{n}(X)=E[(X-\mu )^{n}]$ это n -й момент $X$ о его значении. Обратите внимание, что по их определению $\mu _{0}(X)=1$ и $\mu _{1}(X)=0$ . Член первого порядка всегда исчезает, но сохраняется для получения выражения в замкнутой форме.

Затем,

$E[f(X)]\approx \textstyle \sum _{n=0}^{n_{max}}\displaystyle {1 \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }\mu _{n}(X)$ , где разложение Тейлора обрезается после $n_{max}$ -й момент.

В частности, для функций нормальных случайных величин можно получить разложение Тейлора в терминах стандартного нормального распределения : ^[1]

$f(X)=\textstyle \sum _{n=0}^{\infty }\displaystyle {\sigma ^{n} \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }\mu _{n}(Z)$ , где $X\sim N(\mu ,\sigma ^{2})$ является нормальной случайной величиной, а $Z\sim N(0,1)$ является стандартным нормальным распределением. Таким образом,

$E[f(X)]\approx \textstyle \sum _{n=0}^{n_{max}}\displaystyle {\sigma ^{n} \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }\mu _{n}(Z)$ , где моменты стандартного нормального распределения определяются выражением:

$\mu _{n}(Z)={\begin{cases}\prod _{i=1}^{n/2}(2i-1),&{\text{if }}n{\text{ is even}}\\0,&{\text{if }}n{\text{ is odd}}\end{cases}}$

Аналогично для обычных случайных величин также можно аппроксимировать дисперсию нелинейной функции как разложение в ряд Тейлора следующим образом:

$Var[f(X)]\approx \textstyle \sum _{n=1}^{n_{max}}\displaystyle {\biggl (}{\sigma ^{n} \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }{\biggr )}^{2}Var[Z^{n}]+\textstyle \sum _{n=1}^{n_{max}}\displaystyle \textstyle \sum _{m\neq n}\displaystyle {\sigma ^{n+m} \over {n!m!}}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }{\biggl (}{d^{m}f \over dX^{m}}{\biggr )}_{X=\mu }Cov[Z^{n},Z^{m}]$ , где

$Var[Z^{n}]={\begin{cases}\prod _{i=1}^{n}(2i-1)-\prod _{i=1}^{n/2}(2i-1)^{2},&{\text{if }}n{\text{ is even}}\\\prod _{i=1}^{n}(2i-1),&{\text{if }}n{\text{ is odd}}\end{cases}}$ , и

$Cov[Z^{n},Z^{m}]={\begin{cases}\prod _{i=1}^{(n+m)/2}(2i-1)-\prod _{i=1}^{n/2}(2i-1)\prod _{j=1}^{m/2}(2j-1),&{\text{if }}n{\text{ and }}m{\text{ are even}}\\\prod _{i=1}^{(n+m)/2}(2i-1),&{\text{if }}n{\text{ and }}m{\text{ are odd}}\\0,&{\text{otherwise}}\end{cases}}$

Алгебра комплексных случайных величин

В алгебраической аксиоматизации теории вероятностей основным понятием является не вероятность события, а понятие случайной величины . Распределение вероятностей определяется путем присвоения математического ожидания каждой случайной величине. Измеримое пространство и вероятностная мера возникают из случайных величин и ожиданий посредством известных теорем представления анализа. Одной из важных особенностей алгебраического подхода является то, что, по-видимому, бесконечномерные распределения вероятностей формализовать не сложнее, чем конечномерные.

Предполагается, что случайные величины обладают следующими свойствами:

комплексные константы — возможные реализации случайной величины;
сумма двух случайных величин является случайной величиной;
произведение двух случайных величин является случайной величиной;
Сложение и умножение случайных величин коммутативны ; и
существует понятие сопряжения случайных величин, удовлетворяющее $(XY) * = И * Х *$ и $Х ** = X$ для всех случайных величин $X, Y$ и совпадающий с комплексным сопряжением, если $X$ — константа.

Это означает, что случайные величины образуют сложные коммутативные *-алгебры . Если $Х = Х *$ тогда случайная величина $X$ называется «действительной».

Ожидание $E$ на алгебре $A$ случайных величин представляет собой нормированный положительный линейный функционал . Это означает, что

$E [k] = k$ , где $k$ — константа;
$И [* X] \geq 0$ для всех случайных величин $X$ ;
$E [X + Y] = E [X] + E [Y]$ для всех случайных величин $X$ и $Y$ ; и
$E [kX] = kE [X],$ если $k$ — константа.

Эту установку можно обобщить, сделав алгебру некоммутативной. Это ведет к другим областям некоммутативной вероятности, таким как квантовая вероятность , теория случайных матриц и свободная вероятность .

См. также

Ссылки

^ Эрнандес, Хьюго (2016). «Моделирование эффекта флуктуации в нелинейных системах с использованием дисперсионной алгебры - Приложение к рассеянию света идеальных газов». Отчеты об исследованиях ForsChem . 2016–1. дои : 10.13140/rg.2.2.36501.52969 .

Дальнейшее чтение

Уиттл, Питер (2000). Вероятность через ожидание (4-е изд.). Нью-Йорк, штат Нью-Йорк: Спрингер. ISBN 978-0-387-98955-6 . Проверено 24 сентября 2012 г.
Спрингер, Мелвин Дейл (1979). Алгебра случайных величин . Уайли . ISBN 0-471-01406-0 . Проверено 24 сентября 2012 г.
«Алгебра мер» , Энциклопедия математики , EMS Press , 2001 [1994]

[1] Эрнандес, Хьюго (2016). «Моделирование эффекта флуктуации в нелинейных системах с использованием дисперсионной алгебры - Приложение к рассеянию света идеальных газов». Отчеты об исследованиях ForsChem . 2016–1. дои : 10.13140/rg.2.2.36501.52969 .

[1]