Усеченное нормальное распределение

Не путать с выпрямленным нормальным распределением , где отрицательные элементы обнуляются, или с цензурированным нормальным распределением, где известно, что некоторые элементы находятся за пределами определенного диапазона.

Функция плотности вероятности Функция плотности вероятности для усеченного нормального распределения для разных наборов параметров. Во всех случаях a = −10 и b = 10. Для чёрного: µ = −8, σ = 2; синий: μ = 0, σ = 2; красный: μ = 9, σ = 10; оранжевый: μ = 0, σ = 10.
Кумулятивная функция распределения Кумулятивная функция распределения усеченного нормального распределения для разных наборов параметров. Во всех случаях a = −10 и b = 10. Для чёрного: µ = −8, σ = 2; синий: μ = 0, σ = 2; красный: μ = 9, σ = 10; оранжевый: μ = 0, σ = 10.
Обозначения	$\xi ={\frac {x-\mu }{\sigma }},\ \alpha ={\frac {a-\mu }{\sigma }},\ \beta ={\frac {b-\mu }{\sigma }}$ $Z=\Phi (\beta )-\Phi (\alpha )$
Параметры	$\mu \in \mathbb {R}$ $\sigma ^{2}\geq 0$ (но см. определение) $a\in \mathbb {R}$ — минимальное значение $x$ $b\in \mathbb {R}$ — максимальное значение $x$ ( $b>a$)
Поддерживать	$x\in [a,b]$
PDF	$f(x;\mu ,\sigma ,a,b)={\frac {\varphi (\xi )}{\sigma Z}}\,$
CDF	$F(x;\mu ,\sigma ,a,b)={\frac {\Phi (\xi )-\Phi (\alpha )}{Z}}$
Иметь в виду	$\mu +{\frac {\varphi (\alpha )-\varphi (\beta )}{Z}}\sigma$
медиана	$\mu +\Phi ^{-1}\left({\frac {\Phi (\alpha )+\Phi (\beta )}{2}}\right)\sigma$
Режим	$\left\{{\begin{array}{ll}a,&\mathrm {if} \ \mu <a\\\mu ,&\mathrm {if} \ a\leq \mu \leq b\\b,&\mathrm {if} \ \mu >b\end{array}}\right.$
Дисперсия	$\sigma ^{2}\left[1-{\frac {\beta \varphi (\beta )-\alpha \varphi (\alpha )}{Z}}-\left({\frac {\varphi (\alpha )-\varphi (\beta )}{Z}}\right)^{2}\right]$
Энтропия	$\ln({\sqrt {2\pi e}}\sigma Z)+{\frac {\alpha \varphi (\alpha )-\beta \varphi (\beta )}{2Z}}$
МГФ	$e^{\mu t+\sigma ^{2}t^{2}/2}\left[{\frac {\Phi (\beta -\sigma t)-\Phi (\alpha -\sigma t)}{\Phi (\beta )-\Phi (\alpha )}}\right]$

В теории вероятности и статистике усеченное нормальное распределение — это распределение вероятностей, полученное из распределения нормально распределенной случайной величины путем ограничения случайной величины снизу или сверху (или того и другого). Усеченное нормальное распределение имеет широкое применение в статистике и эконометрике .

Определения

Предполагать $X$ имеет нормальное распределение со средним $\mu$ и дисперсия $\sigma ^{2}$ и лежит внутри интервала $(a,b),{\text{with}}\;-\infty \leq a<b\leq \infty$. Затем $X$ при условии $a<X<b$ имеет усеченное нормальное распределение.

Его функция плотности вероятности , $f$, для $a\leq x\leq b$, определяется

$$f(x;\mu ,\sigma ,a,b)={\frac {1}{\sigma }}\,{\frac {\varphi ({\frac {x-\mu }{\sigma }})}{\Phi ({\frac {b-\mu }{\sigma }})-\Phi ({\frac {a-\mu }{\sigma }})}}$$

и по $f=0$ в противном случае.

Здесь, $$\varphi (\xi )={\frac {1}{\sqrt {2\pi }}}\exp \left(-{\frac {1}{2}}\xi ^{2}\right)$$- функция плотности вероятности стандартного нормального распределения и $\Phi (\cdot )$ это его кумулятивная функция распределения $$\Phi (x)={\frac {1}{2}}\left(1+\operatorname {erf} (x/{\sqrt {2}})\right).$$ По определению, если $b=\infty$, затем $\Phi \left({\tfrac {b-\mu }{\sigma }}\right)=1$, и аналогично, если $a=-\infty$, затем $\Phi \left({\tfrac {a-\mu }{\sigma }}\right)=0$.

Приведенные выше формулы показывают, что когда $-\infty <a<b<+\infty$ параметр масштаба $\sigma ^{2}$ усеченного нормального распределения допускается принимать отрицательные значения. Параметр $\sigma$ в данном случае мнимая, но функция $f$ тем не менее реален, положителен и нормален. Параметр масштаба $\sigma ^{2}$ неусеченного нормального распределения должно быть положительным, поскольку в противном случае распределение не поддавалось бы нормализации. С другой стороны, дважды усеченное нормальное распределение в принципе может иметь отрицательный масштабный параметр (который отличается от дисперсии, см. сводные формулы), поскольку в ограниченной области такие проблемы интегрируемости не возникают. В этом случае распределение нельзя интерпретировать как неусеченный нормальный кондиционал на $a<X<b$, конечно, но все же может быть интерпретировано как распределение максимальной энтропии с первым и вторым моментами в качестве ограничений и имеет дополнительную особенность: оно представляет два локальных максимума вместо одного, расположенного в точке $x=a$ и $x=b$.

Характеристики

Усеченное нормальное — это одно из двух возможных распределений вероятностей максимальной энтропии ограниченной интервалом [a,b], второе — усеченное U. для фиксированного среднего и дисперсии , Усеченные нормали с фиксированной поддержкой образуют экспоненциальное семейство.Нильсен сообщил о формуле закрытой формы для расчета расхождения Кульбака-Лейблера и расстояния Бхаттачарьи между двумя усеченными нормальными распределениями с поддержкой первого распределения, вложенной в поддержку второго распределения.

Моменты

Если случайная величина была усечена только снизу, некоторая вероятностная масса была сдвинута к более высоким значениям, что дало стохастически доминирующее распределение первого порядка и, следовательно, увеличило среднее значение до значения, превышающего среднее значение. $\mu$ исходного нормального распределения. Аналогично, если случайная величина была усечена только сверху, усеченное распределение имеет среднее значение меньше, чем $\mu .$

Независимо от того, ограничена ли случайная величина сверху, снизу или и то, и другое, усечение представляет собой сокращение, сохраняющее среднее значение, в сочетании с жестким сдвигом, изменяющим среднее значение, и, следовательно, дисперсия усеченного распределения меньше, чем дисперсия $\sigma ^{2}$ исходного нормального распределения.

Двустороннее усечение

Позволять $\alpha =(a-\mu )/\sigma$ и $\beta =(b-\mu )/\sigma$. Затем: $$\operatorname {E} (X\mid a<X<b)=\mu -\sigma {\frac {\varphi (\beta )-\varphi (\alpha )}{\Phi (\beta )-\Phi (\alpha )}}$$и $$\operatorname {Var} (X\mid a<X<b)=\sigma ^{2}\left[1-{\frac {\beta \varphi (\beta )-\alpha \varphi (\alpha )}{\Phi (\beta )-\Phi (\alpha )}}-\left({\frac {\varphi (\beta )-\varphi (\alpha )}{\Phi (\beta )-\Phi (\alpha )}}\right)^{2}\right]$$

Необходимо соблюдать осторожность при числовом вычислении этих формул, поскольку это может привести к катастрофическому сокращению при превышении интервала $[a,b]$ не включает $\mu$. Есть более эффективные способы их переписать, чтобы избежать этой проблемы.

Одностороннее усечение (нижнего хвоста)

В этом случае $\;b=\infty ,\;\varphi (\beta )=0,\;\Phi (\beta )=1,$ затем

$$\operatorname {E} (X\mid X>a)=\mu +\sigma \varphi (\alpha )/Z,\!$$

и

$$\operatorname {Var} (X\mid X>a)=\sigma ^{2}[1+\alpha \varphi (\alpha )/Z-(\varphi (\alpha )/Z)^{2}],$$

где $Z=1-\Phi (\alpha ).$

Одностороннее усечение (верхнего хвоста)

В этом случае $\;a=\alpha =-\infty ,\;\varphi (\alpha )=0,\;\Phi (\alpha )=0,$ затем

$$\operatorname {E} (X\mid X<b)=\mu -\sigma {\frac {\varphi (\beta )}{\Phi (\beta )}},$$$$\operatorname {Var} (X\mid X<b)=\sigma ^{2}\left[1-\beta {\frac {\varphi (\beta )}{\Phi (\beta )}}-\left({\frac {\varphi (\beta )}{\Phi (\beta )}}\right)^{2}\right].$$

Барр и Шеррилл (1999) дают более простое выражение для дисперсии односторонних сокращений. Их формула выражается в виде CDF хи-квадрат, который реализован в стандартных библиотеках программного обеспечения. Бебу и Мэтью (2009) предоставляют формулы для (обобщенных) доверительных интервалов вокруг усеченных моментов.

Рекурсивная формула

Что касается неусеченного случая, то для усеченных моментов существует рекуррентная формула.

Многомерный

Вычислить моменты многомерной усеченной нормали сложнее.

Генерация значений из усеченного нормального распределения

Дополнительная информация: Выборка псевдослучайных чисел.

Случайная переменная $x$ определяется как $x=\Phi ^{-1}(\Phi (\alpha )+U\cdot (\Phi (\beta )-\Phi (\alpha )))\sigma +\mu$ с $\Phi$ кумулятивная функция распределения и $\Phi ^{-1}$ его инверсия, $U$ однородное случайное число на $(0,1)$, соответствует распределению, усеченному до диапазона $(a,b)$. Это просто метод обратного преобразования для моделирования случайных величин. Хотя этот метод является одним из самых простых, он может либо дать сбой при выборке в хвосте нормального распределения, либо при выборке в хвосте нормального распределения. или быть слишком медленным. Таким образом, на практике приходится искать альтернативные методы моделирования.

Один из таких усеченных нормальных генераторов (реализованный в Matlab ив R (язык программирования) как trandn.R ) основан на идее отказа от принятия из-за Марсальи. Несмотря на несколько неоптимальную скорость принятия Марсальи (1964) по сравнению с Робертом (1995) , метод Марсальи обычно быстрее, потому что это не требует дорогостоящего численного вычисления экспоненциальной функции.

Подробнее о моделировании усеченного нормального распределения см. Robert (1995) , Lynch (2007 , раздел 8.1.3 (страницы 200–206)), Devroye (1986) . В пакете MSM в R есть функция rtnorm , которая вычисляет отрисовку на основе усеченной нормали. Пакет truncnorm в R также имеет функции для рисования усеченной нормали.

Шопен (2011) предложил ( arXiv ) алгоритм, вдохновленный алгоритмом Зиккурата Марсальи и Цанга (1984, 2000), который обычно считается самым быстрым гауссовским сэмплером, а также очень близок к алгоритму Аренса (1995). Реализации можно найти на C , C++ , Matlab и Python .

Отбор выборки из многомерного усеченного нормального распределения значительно сложнее. Точное или идеальное моделирование возможно только в случае усечения нормального распределения до многогранной области. В более общих случаях Дэмиен и Уокер (2001) представляют общую методологию выборки усеченных плотностей в рамках системы выборки Гиббса . Их алгоритм вводит одну скрытую переменную и в рамках системы выборки Гиббса более эффективен в вычислительном отношении, чем алгоритм Роберта (1995) .

См. также

• Свернутое нормальное распределение
• Полунормальное распределение
• Модифицированное полунормальное распределение с PDF-файлом на $(0,\infty )$ дается как $f(x)={\frac {2\beta ^{\frac {\alpha }{2}}x^{\alpha -1}\exp(-\beta x^{2}+\gamma x)}{\Psi {\left({\frac {\alpha }{2}},{\frac {\gamma }{\sqrt {\beta }}}\right)}}}$, где $\Psi (\alpha ,z)={}_{1}\Psi _{1}\left({\begin{matrix}\left(\alpha ,{\frac {1}{2}}\right)\\(1,0)\end{matrix}};z\right)$ обозначает Пси-функцию Фокса–Райта .
• Нормальное распределение
• Выпрямленное распределение Гаусса
• Усеченное распространение
• Распределение PERT

Ссылки

• Ботев, Здравко и Л'Экуйер, Пьер (2018). «Глава 8: Моделирование хвоста одномерного и многомерного нормального распределения». В Пулиафито, Антонио (ред.). Системное моделирование: методологии и инструменты . EAI/Springer Инновации в области связи и вычислений. Спрингер, Чам. стр. 115–132. дои : 10.1007/978-3-319-92378-9_8 . ISBN  978-3-319-92377-2 . S2CID   125554530 .
• Деврой, Люк (1986). Генерация неравномерных случайных переменных (PDF) . Нью-Йорк: Springer-Verlag. Архивировано из оригинала (PDF) 18 августа 2014 г. Проверено 12 апреля 2012 г.
• Грин, Уильям Х. (2003). Эконометрический анализ (5-е изд.) . Прентис Холл. ISBN  978-0-13-066189-0 .
• Норман Л. Джонсон и Сэмюэл Коц (1970). Непрерывные одномерные распределения-1 , глава 13. John Wiley & Sons.
• Линч, Скотт (2007). Введение в прикладную байесовскую статистику и оценку для социологов . Нью-Йорк: Спрингер. ISBN  978-1-4419-2434-6 .
• Роберт, Кристиан П. (1995). «Моделирование усеченных нормальных переменных». Статистика и вычисления . 5 (2): 121–125. arXiv : 0907.4010 . дои : 10.1007/BF00143942 . S2CID   15943491 .
• Барр, Дональд Р.; Шерилл, Э.Тодд (1999). «Среднее значение и дисперсия усеченного нормального распределения». Американский статистик . 53 (4): 357–361. дои : 10.1080/00031305.1999.10474490 .
• Бебу, Ионут; Мэтью, Томас (2009). «Доверительные интервалы для ограниченных моментов и усеченных моментов в нормальных и логнормальных моделях». Статистика и вероятностные буквы . 79 (3): 375–380. дои : 10.1016/j.spl.2008.09.006 .
• Дэмиен, Пол; Уокер, Стивен Г. (2001). «Отбор усеченных нормальных, бета- и гамма-плотностей». Журнал вычислительной и графической статистики . 10 (2): 206–215. дои : 10.1198/10618600152627906 . S2CID   123156320 .
• Шопен, Николя (01 апреля 2011 г.). «Быстрое моделирование усеченных гауссовских распределений» . Статистика и вычисления . 21 (2): 275–288. arXiv : 1201.6140 . дои : 10.1007/s11222-009-9168-1 . ISSN   1573-1375 .
• Буркардт, Джон. «Усеченное нормальное распределение» (PDF) . Сайт Департамента научных вычислений . Университет штата Флорида . Проверено 15 февраля 2018 г.