Натуральное экспоненциальное семейство

В теории вероятности и статистике естественное экспоненциальное семейство ( NEF ) — это класс вероятностных распределений , который является частным случаем экспоненциального семейства (EF).

Определение

Одномерный случай

Естественные экспоненциальные семейства (NEF) являются подмножеством экспоненциальных семейств . NEF — это экспоненциальное семейство, в котором натуральный параметр η и естественная статистика T ( x ) являются тождественными. Распределение в экспоненциальном семействе с параметром θ можно записать с помощью функции плотности вероятности (PDF) $f_{X}(x\mid \theta )=h(x)\ \exp {\Big (}\ \eta (\theta )T(x)-A(\theta )\ {\Big )}\,\!,$ где $h(x)$ и $A(\theta )$ являются известными функциями. Таким образом, распределение в естественном экспоненциальном семействе с параметром θ можно записать с помощью PDF. $f_{X}(x\mid \theta )=h(x)\ \exp {\Big (}\ \theta x-A(\theta )\ {\Big )}\,\!.$ [Обратите внимание, что создатель NEF Карл Моррис использует несколько иные обозначения. ^{[ 1 ]} Моррис использует ω вместо η и ψ вместо A. ]

Общий многомерный случай

Предположим, что $\mathbf {x} \in {\mathcal {X}}\subseteq \mathbb {R} ^{p}$ , то естественное показательное семейство порядка p имеет плотность или функцию массы вида: $f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\ \exp {\Big (}{\boldsymbol {\theta }}^{\rm {T}}\mathbf {x} -A({\boldsymbol {\theta }})\ {\Big )}\,\!,$ где в данном случае параметр ${\boldsymbol {\theta }}\in \mathbb {R} ^{p}.$

Производящие функции момента и кумулянта

Член натурального экспоненциального семейства имеет производящую функцию момента (МГФ) вида $M_{X}(\mathbf {t} )=\exp {\Big (}\ A({\boldsymbol {\theta }}+\mathbf {t} )-A({\boldsymbol {\theta }})\ {\Big )}\,.$

Кумулянтная производящая функция по определению является логарифмом MGF, поэтому она равна $K_{X}(\mathbf {t} )=A({\boldsymbol {\theta }}+\mathbf {t} )-A({\boldsymbol {\theta }})\,.$

Примеры

Пять наиболее важных одномерных случаев:

нормальное распределение с известной дисперсией
Распределение Пуассона
гамма-распределение с известным параметром формы α (или k в зависимости от используемой системы обозначений)
биномиальное распределение с известным количеством испытаний, n
отрицательное биномиальное распределение с известным $r$

Эти пять примеров — пуассоновский, биномиальный, отрицательный биномиальный, нормальный и гамма — представляют собой специальное подмножество NEF, называемое NEF с квадратичной функцией дисперсии (NEF-QVF), поскольку дисперсию можно записать как квадратичную функцию среднего значения. NEF-QVF обсуждаются ниже.

Некоторые экспоненциальные семейные распределения не являются NEF. Логнормальное относятся и бета-распределение к экспоненциальному семейству, но не к естественному экспоненциальному семейству. Гамма -распределение с двумя параметрами представляет собой экспоненциальное семейство, но не NEF, а распределение хи-квадрат представляет собой частный случай гамма-распределения с фиксированным масштабом. параметр и, таким образом, также является экспоненциальным семейством, но не NEF (обратите внимание, что только гамма-распределение с фиксированной формой параметр — NEF).

Обратное распределение Гаусса представляет собой NEF с кубической функцией дисперсии.

Параметризация большинства вышеперечисленных распределений написана иначе, чем параметризация, обычно используемая в учебниках и на страницах по ссылкам выше. Например, приведенная выше параметризация отличается от параметризации в связанной статье в случае Пуассона. Две параметризации связаны соотношением $\theta =\log(\lambda )$ , где λ — средний параметр, и поэтому плотность можно записать как $f(k;\theta )={\frac {1}{k!}}\exp {\Big (}\ \theta \ k-\exp(\theta )\ {\Big )}\ ,$ для $\theta \in \mathbb {R}$ , так $h(k)={\frac {1}{k!}},{\text{ and }}A(\theta )=\exp(\theta )\ .$

Эта альтернативная параметризация может значительно упростить вычисления в математической статистике . Например, в байесовском выводе апостериорное распределение вероятностей рассчитывается как произведение двух распределений. Обычно этот расчет требует записи функций распределения вероятностей (PDF) и их интегрирования; однако при указанной выше параметризации этого расчета можно избежать. Вместо этого отношения между распределениями можно абстрагировать благодаря свойствам NEF, описанным ниже.

Примером многомерного случая является полиномиальное распределение с известным количеством испытаний.

Характеристики

Свойства семейства натуральных экспонент можно использовать для упрощения вычислений с использованием этих распределений.

Одномерный случай

Натуральные экспоненциальные семейства (NEF) замкнуты при свертке. ^{[ 2 ]} Учитывая независимые одинаково распределенные (iid) $X_{1},\ldots ,X_{n}$ с распространением из NEF, то $\sum _{i=1}^{n}X_{i}\,$ является NEF, хотя и не обязательно исходным NEF. Это следует из свойств кумулянтной производящей функции.
Функцию дисперсии для случайных величин с распределением NEF можно записать через среднее значение. ^{[ 2 ]} $\operatorname {Var} (X)=V(\mu ).$
Первые два момента распределения NEF однозначно определяют распределение внутри этого семейства распределений. ^{[ 2 ]} $X\sim \operatorname {NEF} [\mu ,V(\mu )].$

Многомерный случай

В многомерном случае средний вектор и ковариационная матрица равны ^{[ нужна ссылка ]} $\operatorname {E} [X]=\nabla A({\boldsymbol {\theta }}){\text{ and }}\operatorname {Cov} [X]=\nabla \nabla ^{\rm {T}}A({\boldsymbol {\theta }})\,,$ где $\nabla$ это градиент и $\nabla \nabla ^{\rm {T}}$ – матрица Гессе .

Семейства натуральных экспонент с квадратичными функциями дисперсии (NEF-QVF)

Особым случаем натуральных экспоненциальных семейств являются семейства с квадратичными функциями дисперсии. Шесть NEF имеют квадратичные функции дисперсии (QVF), в которых дисперсию распределения можно записать как квадратичную функцию среднего значения. Они называются NEF-QVF. Свойства этих распределений были впервые описаны Карлом Моррисом . ^{[ 3 ]}

$\operatorname {Var} (X)=V(\mu )=\nu _{0}+\nu _{1}\mu +\nu _{2}\mu ^{2}.$

Шесть NEF-QVF

Шесть NEF-QVF записаны здесь с возрастающей сложностью взаимосвязи между дисперсией и средним значением.

Нормальное распределение с фиксированной дисперсией $X\sim N(\mu ,\sigma ^{2})$ является NEF-QVF, поскольку дисперсия постоянна. Отклонение можно записать $\operatorname {Var} (X)=V(\mu )=\sigma ^{2}$ , поэтому дисперсия является функцией среднего значения степени 0.
Распределение Пуассона $X\sim \operatorname {Poisson} (\mu )$ является NEF-QVF, поскольку все распределения Пуассона имеют дисперсию, равную среднему значению. $\operatorname {Var} (X)=V(\mu )=\mu$ , поэтому дисперсия является линейной функцией среднего значения.
Гамма-распределение $X\sim \operatorname {Gamma} (r,\lambda )$ является NEF-QVF, потому что среднее значение гамма-распределения равно $\mu =r\lambda$ а дисперсия гамма-распределения равна $\operatorname {Var} (X)=V(\mu )=\mu ^{2}/r$ , поэтому дисперсия является квадратичной функцией среднего значения.
Биномиальное распределение $X\sim \operatorname {Binomial} (n,p)$ является NEF-QVF, потому что среднее значение равно $\mu =np$ и дисперсия $\operatorname {Var} (X)=np(1-p)$ которое можно записать через среднее значение как
$V(X)=-np^{2}+np=-\mu ^{2}/n+\mu .$
Отрицательное биномиальное распределение $X\sim \operatorname {NegBin} (n,p)$ является NEF-QVF, потому что среднее значение равно $\mu =np/(1-p)$ и дисперсия $V(\mu )=\mu ^{2}/n+\mu .$
(Не очень известное) распределение, порожденное обобщенным ^{[ нужны разъяснения ]} гиперболическое секансное распределение (NEF-GHS) имеет ^{[ нужна ссылка ]} $V(\mu )=\mu ^{2}/n+n$ и $\mu >0.$

Свойства НЭФ-QVF

Свойства NEF-QVF могут упростить вычисления, использующие эти распределения.

Семейства натуральных экспонент с квадратичными функциями дисперсии (NEF-QVF) замкнуты относительно сверток линейного преобразования. ^{[ 4 ]} То есть свертка линейного преобразования NEF-QVF также является NEF-QVF, хотя и не обязательно исходной.
Учитывая независимые одинаково распределенные (iid) $X_{1},\ldots ,X_{n}$ с распространением через NEF-QVF. Свертка линейного преобразования NEF-QVF также является NEF-QVF.
Позволять $Y=\sum _{i=1}^{n}(X_{i}-b)/c\,$ быть сверткой линейного преобразования X . значение Y Среднее $\mu ^{*}=n(\mu -b)/c\,$ . Дисперсия Y может быть записана через функцию дисперсии исходного NEF-QVF. Если бы исходный NEF-QVF имел функцию отклонения $\operatorname {Var} (X)=V(\mu )=\nu _{0}+\nu _{1}\mu +\nu _{2}\mu ^{2},$ тогда новый NEF-QVF имеет функцию отклонения $\operatorname {Var} (Y)=V^{*}(\mu ^{*})=\nu _{0}^{*}+\nu _{1}^{*}\mu +\nu _{2}^{*}\mu ^{2},$ где $\nu _{0}^{*}=nV(b)/c^{2}\,,$ $\nu _{1}^{*}=V'(b)/c\,,$
$\nu _{2}^{*}/n=\nu _{2}/n\,.$
Позволять $X_{1}$ и $X_{2}$ — независимый НЭФ с тем же параметром θ и пусть $Y=X_{1}+X_{2}$ . Тогда условное распределение $X_{1}$ данный $Y$ имеет квадратичную дисперсию $Y$ тогда и только тогда, когда $X_{1}$ и $X_{2}$ являются НЭФ-QVF. Примерами таких условных распределений являются нормальное , биномиальное , бета- , гипергеометрическое и геометрическое распределения , которые не все являются NEF-QVF. ^{[ 1 ]}
NEF-QVF имеет сопряженные априорные распределения по μ в системе распределений Пирсона (также называемой распределением Пирсона , хотя система распределений Пирсона на самом деле представляет собой семейство распределений, а не одно распределение). Примеры сопряженных априорных распределений распределений NEF-QVF - нормальное , гамма , обратное гамма, бета , F- и t- распределения. Опять же, не все эти сопряженные априорные значения являются NEF-QVF. ^{[ 1 ]}
Если $X\mid \mu$ имеет распределение NEF-QVF, а μ имеет сопряженное априорное распределение, то маргинальные распределения являются хорошо известными распределениями. ^{[ 1 ]} Эти свойства вместе с приведенными выше обозначениями могут упростить вычисления в математической статистике , которые обычно выполняются с использованием сложных вычислений и исчислений.

См. также

Ссылки

^ Перейти обратно: ^а ^б ^с ^д Моррис К. (2006) «Естественные показательные семейства», Энциклопедия статистических наук .
^ Перейти обратно: ^а ^б ^с Карл Н. Моррис. «Естественные экспоненциальные семейства с квадратичными функциями дисперсии: статистическая теория». Энн. Статист. 11 (2) 515–529, июнь 1983 г. дои : 10.1214/aos/1176346158
^ Моррис, Карл (1982). «Натуральные экспоненциальные семейства с квадратичными дисперсионными функциями» . Анналы статистики . 10 (1): 65–80. дои : 10.1214/aos/1176345690 .
^ Моррис, Карл; Лок, Кари Ф. (2009). «Объединение названных естественных экспоненциальных семейств и их родственников». Американский статистик . 63 (3): 247–253. дои : 10.1198/tast.2009.08145 . S2CID 7095121 .

Моррис К. (1982) Естественные экспоненциальные семейства с квадратичными функциями дисперсии: статистическая теория . Кафедра математики Статистического института Техасского университета в Остине.

[Morris2006-1] Перейти обратно: ^а ^б ^с ^д Моррис К. (2006) «Естественные показательные семейства», Энциклопедия статистических наук .

[:0-2] Перейти обратно: ^а ^б ^с Карл Н. Моррис. «Естественные экспоненциальные семейства с квадратичными функциями дисперсии: статистическая теория». Энн. Статист. 11 (2) 515–529, июнь 1983 г. дои : 10.1214/aos/1176346158

[3] Моррис, Карл (1982). «Натуральные экспоненциальные семейства с квадратичными дисперсионными функциями» . Анналы статистики . 10 (1): 65–80. дои : 10.1214/aos/1176345690 .

[4] Моррис, Карл; Лок, Кари Ф. (2009). «Объединение названных естественных экспоненциальных семейств и их родственников». Американский статистик . 63 (3): 247–253. дои : 10.1198/tast.2009.08145 . S2CID 7095121 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]