Экспоненциальный наклон

Экспоненциальный наклон (ET), экспоненциальное скручивание или экспоненциальное изменение меры (ECM) — это метод сдвига распределения, используемый во многих разделах математики.Различные экспоненциальные наклоны случайной величины $X$ известно как естественное экспоненциальное семейство $X$.

Экспоненциальный наклон используется в оценке Монте-Карло для моделирования редких событий, в частности, для отбраковки и выборки важности .В математических финансах Экспоненциальный наклон также известен как наклон Эшера (или преобразование Эшера ), часто сочетается с косвенной аппроксимацией Эджворта и используется в таких контекстах, как ценообразование страховых фьючерсов.

Самая ранняя формализация экспоненциального наклона часто приписывается Эшеру. его использование в выборке по важности приписывается Дэвиду Зигмунду .

Обзор

Учитывая случайную величину $X$ с распределением вероятностей $\mathbb {P}$, плотность $f$, и производящая функция момента (MGF) $M_{X}(\theta )=\mathbb {E} [e^{\theta X}]<\infty$, экспоненциально наклоненная мера $\mathbb {P} _{\theta }$ определяется следующим образом:

$\mathbb {P} _{\theta }(X\in dx)={\frac {\mathbb {E} [e^{\theta X}\mathbb {I} [X\in dx]]}{M_{X}(\theta )}}=e^{\theta x-\kappa (\theta )}\mathbb {P} (X\in dx),$

где $\kappa (\theta )$ - кумулянтная производящая функция (CGF), определяемая как

$\kappa (\theta )=\log \mathbb {E} [e^{\theta X}]=\log M_{X}(\theta ).$

Мы звоним

$\mathbb {P} _{\theta }(X\in dx)=f_{\theta }(x)$

тот $\theta$- плотность наклонная $X$. Это удовлетворяет $f_{\theta }(x)\propto e^{\theta x}f(x)$.

Экспоненциальный наклон случайного вектора $X$ имеет аналогичное определение:

$\mathbb {P} _{\theta }(X\in dx)=e^{\theta ^{T}x-\kappa (\theta )}\mathbb {P} (X\in dx),$

где $\kappa (\theta )=\log \mathbb {E} [\exp\{\theta ^{T}X\}]$.

Пример

Экспоненциально наклоненная мера во многих случаях имеет ту же параметрическую форму, что и мера $X$. Одномерные примеры включают нормальное распределение, экспоненциальное распределение, биномиальное распределение и распределение Пуассона.

Например, в случае нормального распределения $N(\mu ,\sigma ^{2})$ наклонная плотность $f_{\theta }(x)$ это $N(\mu +\theta \sigma ^{2},\sigma ^{2})$ плотность. В таблице ниже приведены дополнительные примеры наклонной плотности.

Оригинальный дистрибутив	θ-наклонное распределение
$\mathrm {Gamma} (\alpha ,\beta )$	$\mathrm {Gamma} (\alpha ,\beta -\theta )$
$\mathrm {Binomial} (n,p)$	$\mathrm {Binomial} \left(n,{\frac {pe^{\theta }}{1-p+pe^{\theta }}}\right)$
$\mathrm {Poisson} (\lambda )$	$\mathrm {Poisson} (\lambda e^{\theta })$
$\mathrm {Exponential} (\lambda )$	$\mathrm {Exponential} (\lambda -\theta )$
${\mathcal {N}}(\mu ,\sigma ^{2})$	${\mathcal {N}}(\mu +\theta \sigma ^{2},\sigma ^{2})$
${\mathcal {N}}(\mu ,\Sigma )$	${\mathcal {N}}(\mu +\Sigma \theta ,\Sigma )$
$\chi ^{2}(\kappa )$	$\mathrm {Gamma} \left({\frac {\kappa }{2}},{\frac {2}{1-2\theta }}\right)$

Однако для некоторых распределений экспоненциально наклоненное распределение не принадлежит к тому же параметрическому семейству, что и $f$. Примером этого является распределение Парето с $f(x)=\alpha /(1+x)^{\alpha },x>0$, где $f_{\theta }(x)$ хорошо определен для $\theta <0$ но это не стандартный дистрибутив. В таких примерах генерация случайной величины не всегда может быть простой.

В статистической механике энергия системы, находящейся в равновесии с тепловой баней, имеет распределение Больцмана : $\mathbb {P} (E\in dE)\propto e^{-\beta E}dE$, где $\beta$ – обратная температура . Тогда экспоненциальный наклон соответствует изменению температуры: $\mathbb {P} _{\theta }(E\in dE)\propto e^{-(\beta -\theta )E}dE$.

Точно так же энергия и число частиц системы, находящейся в равновесии с ванной с теплом и частицами, имеют большое каноническое распределение : $\mathbb {P} ((N,E)\in (dN,dE))\propto e^{\beta \mu N-\beta E}dNdE$, где $\mu$ – химический потенциал . Тогда экспоненциальный наклон соответствует изменению как температуры, так и химического потенциала.

Преимущества

Во многих случаях наклонное распределение принадлежит к тому же параметрическому семейству, что и исходное. Это особенно верно, когда исходная плотность принадлежит экспоненциальному семейству распределения. Это упрощает генерацию случайных величин во время моделирования Монте-Карло. Экспоненциальный наклон все еще может быть полезен, если это не так, хотя нормализация должна быть возможной и могут потребоваться дополнительные алгоритмы выборки.

Кроме того, существует простая связь между исходным и наклоненным CGF:

$\kappa _{\theta }(\eta )=\log(\mathbb {E} _{\theta }[e^{\eta X}])=\kappa (\theta +\eta )-\kappa (\theta ).$

Мы можем увидеть это, наблюдая, что

$F_{\theta }(x)=\int \limits _{\infty }^{x}\exp\{\theta y-\kappa (\theta )\}f(y)dy.$

Таким образом,

${\begin{aligned}\kappa _{\theta }(\eta )&=\log \int e^{\eta x}dF_{\theta }(x)\\&=\log \int e^{\eta x}e^{\theta x-\kappa (\theta )}dF(x)\\&=\log \mathbb {E} [e^{(\eta +\theta )X-\kappa (\theta )}]\\&=\log(e^{\kappa (\eta +\theta )-\kappa (\theta )})\\&=\kappa (\eta +\theta )-\kappa (\theta )\end{aligned}}$.

Очевидно, что это соотношение позволяет легко вычислить CGF наклонного распределения и, следовательно, моменты распределений. Более того, это приводит к простой форме отношения правдоподобия. Конкретно,

$\ell ={\frac {d\mathbb {P} }{d\mathbb {P} _{\theta }}}={\frac {f(x)}{f_{\theta }(x)}}=e^{-\theta x+\kappa (\theta )}$.

Характеристики

• Если $\kappa (\eta )=\log \mathrm {E} [\exp(\eta X)]$ является CGF $X$, то CGF $\theta$-наклоненный $X$ является

$\kappa _{\theta }(\eta )=\kappa (\theta +\eta )-\kappa (\theta ).$

Это означает, что $i$-й кумулянт наклоненного $X$ является $\kappa ^{(i)}(\theta )$. В частности, ожидание наклонного распределения равно

$\mathrm {E} _{\theta }[X]={\tfrac {d}{d\eta }}\kappa _{\theta }(\eta )|_{\eta =0}=\kappa '(\theta )$.

Дисперсия наклонного распределения равна

$\mathrm {Var} _{\theta }[X]={\tfrac {d^{2}}{d\eta ^{2}}}\kappa _{\theta }(\eta )|_{\eta =0}=\kappa ''(\theta )$.

• Повторяющиеся наклоны являются аддитивными. То есть, наклонившись сначала на $\theta _{1}$ а потом $\theta _{2}$ это то же самое, что наклонить один раз на $\theta _{1}+\theta _{2}$.

• Если $X$ представляет собой сумму независимых, но не обязательно одинаковых случайных величин $X_{1},X_{2},\dots$, тогда $\theta$- наклонное распределение $X$ это сумма $X_{1},X_{2},\dots$ каждый $\theta$- наклон индивидуально.

• Если $\mu =\mathrm {E} [X]$, затем $\kappa (\theta )-\theta \mu$ это расхождение Кульбака – Лейблера

$D_{\text{KL}}(P\parallel P_{\theta })=\mathrm {E} \left[\log {\tfrac {P}{P_{\theta }}}\right]$

между наклонным распределением $P_{\theta }$ и оригинальный дистрибутив $P$ из $X$.

• Аналогично, поскольку $\mathrm {E} _{\theta }[X]=\kappa '(\theta )$, мы имеем расхождение Кульбака-Лейблера как

$D_{\text{KL}}(P_{\theta }\parallel P)=\mathrm {E} _{\theta }\left[\log {\tfrac {P_{\theta }}{P}}\right]=\theta \kappa '(\theta )-\kappa (\theta )$.

Приложения

Моделирование редких событий

Экспоненциальный наклон $X$, предполагая, что оно существует, предоставляет семейство распределений, которые можно использовать в качестве распределений предложений для выборки принятия-отклонения или распределений важности для выборки важности . Одним из распространенных приложений является выборка из распределения, обусловленного субрегионом домена, т.е. $X|X\in A$. При соответствующем выборе $\theta$, выборка из $\mathbb {P} _{\theta }$ может существенно уменьшить требуемый объем выборки или дисперсию оценщика.

Приближение седловой точки

— Метод аппроксимации седловой точки это метод аппроксимации плотности, часто используемый для распределения сумм и средних независимых, одинаково распределенных случайных величин, в котором используются ряды Эджворта , но который обычно работает лучше при экстремальных значениях. Из определения натурального показательного семейства следует, что

$f_{\theta }({\bar {x}})=f({\bar {x}})\exp\{n(\theta {\bar {x}}-\kappa (\theta ))\}$.

Применяя расширение Эджворта для $f_{\theta }({\bar {x}})$, у нас есть

$f_{\theta }({\bar {x}})=\psi (z)(\mathrm {Var} [{\bar {X}}])^{-1/2}\left\{1+{\frac {\rho _{3}(\theta )h_{3}(z)}{6}}+{\frac {\rho _{4}(\theta )h_{4}(z)}{24}}\dots \right\},$

где $\psi (z)$ стандартная нормальная плотность

$z={\frac {{\bar {x}}-\kappa _{\bar {x}}'(\theta )}{\kappa _{\bar {x}}''(\theta )}}$,

$\rho _{n}(\theta )=\kappa ^{(n)}(\theta )\{\kappa ''(\theta )^{n/2}\}$,

и $h_{n}$ являются полиномами Эрмита .

При рассмотрении значений ${\bar {x}}$ постепенно дальше от центра распределения, $|z|\rightarrow \infty$ и $h_{n}(z)$ термины становятся неограниченными. Однако для каждого значения ${\bar {x}}$, мы можем выбрать $\theta$ такой, что

$\kappa '(\theta )={\bar {x}}.$

Это значение $\theta$ называется седловой точкой, и приведенное выше разложение всегда оценивается с учетом наклонного распределения. Этот выбор $\theta$ приводит к окончательному представлению приближения, заданному формулой

$f({\bar {x}})\approx \left({\frac {n}{2\pi \kappa ''(\theta )}}\right)^{1/2}\exp\{n(\kappa (\theta )-\theta {\bar {x}})\}.$

Отбраковочная выборка

Использование наклонного распределения $\mathbb {P} _{\theta }$ Согласно предложению, алгоритм отбраковки выборки предписывает выборку из $f_{\theta }(x)$ и принять с вероятностью

${\frac {1}{c}}\exp(-\theta x+\kappa (\theta )),$

где

$c=\sup \limits _{x\in X}{\frac {d\mathbb {P} }{d\mathbb {P} _{\theta }}}(x).$

То есть равномерно распределенная случайная величина $p\sim {\mbox{Unif}}(0,1)$ генерируется, и образец из $f_{\theta }(x)$ принимается, если

$p\leq {\frac {1}{c}}\exp(-\theta x+\kappa (\theta )).$

Выборка по важности

Применение экспоненциально наклоненного распределения в качестве распределения важности дает уравнение

$\mathbb {E} (h(X))=\mathbb {E} _{\theta }[\ell (X)h(X)]$,

где

$\ell (X)={\frac {d\mathbb {P} }{d\mathbb {P} _{\theta }}}$

— функция правдоподобия. Итак, один образец из $f_{\theta }$ оценить вероятность при распределении важности $\mathbb {P} (dX)$ а затем умножает его на отношение правдоподобия. Более того, мы имеем дисперсию, определяемую выражением

${\mbox{Var}}(X)=\mathbb {E} [(\ell (X)h(X)^{2}]$.

Пример

Предположим, что они независимы и одинаково распределены. $\{X_{i}\}$ такой, что $\kappa (\theta )<\infty$. Чтобы оценить $\mathbb {P} (X_{1}+\cdots +X_{n}>c)$, мы можем использовать выборку по важности, взяв

$h(X)=\mathbb {I} (\sum _{i=1}^{n}X_{i}>c)$.

Константа $c$ можно переписать как $na$ для какой-то другой константы $a$. Затем,

$\mathbb {P} (\sum _{i=1}^{n}X_{i}>na)=\mathbb {E} _{\theta _{a}}\left[\exp\{-\theta _{a}\sum _{i=1}^{n}X_{i}+n\kappa (\theta _{a})\}\mathbb {I} (\sum _{i=1}^{n}X_{i}>na)\right]$,

где $\theta _{a}$ обозначает $\theta$ определяется уравнением перевала

$\kappa '(\theta _{a})=a$.

Случайные процессы

Учитывая наклон обычного RV, интуитивно понятно, что экспоненциальный наклон $X_{t}$, броуновское движение со сносом $\mu$ и дисперсия $\sigma ^{2}$, представляет собой броуновское движение со сносом $\mu +\theta \sigma ^{2}$ и дисперсия $\sigma ^{2}$. Таким образом, любое броуновское движение со сносом под $\mathbb {P}$ можно представить как броуновское движение без дрейфа $\mathbb {P} _{\theta ^{*}}$. Чтобы это заметить, рассмотрим процесс $X_{t}=B_{t}+\mu _{t}$. $f(X_{t})=f_{\theta ^{*}}(X_{t}){\frac {d\mathbb {P} }{d\mathbb {P} _{\theta ^{*}}}}=f(B_{t})\exp\{\mu B_{T}-{\frac {1}{2}}\mu ^{2}T\}$. Член отношения правдоподобия, $\exp\{\mu B_{T}-{\frac {1}{2}}\mu ^{2}T\}$, является мартингалом и обычно обозначается $M_{T}$. Таким образом, броуновское движение с процессом дрейфа (как и многие другие непрерывные процессы, адаптированные к броуновской фильтрации) является $\mathbb {P} _{\theta ^{*}}$-мартингейл.

Стохастические дифференциальные уравнения

Вышеизложенное приводит к альтернативному представлению стохастического дифференциального уравнения. $dX(t)=\mu (t)dt+\sigma (t)dB(t)$: $dX_{\theta }(t)=\mu _{\theta }(t)dt+\sigma (t)dB(t)$, где $\mu _{\theta }(t)$ = $\mu (t)+\theta \sigma (t)$. Формула Гирсанова определяет отношение правдоподобия. ${\frac {d\mathbb {P} }{d\mathbb {P} _{\theta }}}=\exp\{-\int \limits _{0}^{T}{\frac {\mu _{\theta }(t)-\mu (t)}{\sigma ^{2}(t)}}dB(t)+\int \limits _{0}^{T}({\frac {\sigma ^{2}(t)}{2}})dt\}$. Следовательно, формулу Гирсанова можно использовать для реализации выборки по важности для определенных СДУ.

Наклон также может быть полезен для моделирования процесса. $X(t)$ посредством браковочной выборки SDE $dX(t)=\mu (X(t))dt+dB(t)$. Мы можем сосредоточиться на SDE, поскольку знаем, что $X(t)$ можно написать $\int \limits _{0}^{t}dX(t)+X(0)$. Как говорилось ранее, броуновское движение со сносом можно превратить в броуновское движение без дрейфа. Поэтому мы выбираем $\mathbb {P} _{proposal}=\mathbb {P} _{\theta ^{*}}$. Отношение правдоподобия ${\frac {d\mathbb {P} _{\theta ^{*}}}{d\mathbb {P} }}(dX(s):0\leq s\leq t)=$$\prod \limits _{\tau \geq t}\exp\{\mu (X(\tau ))dX(\tau )-{\frac {\mu (X(\tau ))^{2}}{2}}\}dt=\exp\{\int \limits _{0}^{t}\mu (X(\tau ))dX(\tau )-\int \limits _{0}^{t}{\frac {\mu (X(s))^{2}}{2}}\}dt$. Это отношение правдоподобия будем обозначать $M(t)$. Чтобы убедиться, что это истинное отношение правдоподобия, необходимо показать, что $\mathbb {E} [M(t)]=1$. Предполагая, что это условие выполнено, можно показать, что $f_{X(t)}(y)=f_{X(t)}^{\theta ^{*}}(y)\mathbb {E} _{\theta ^{*}}[M(t)|X(t)=y]$. Итак, отбраковочная выборка предписывает отбирать стандартное броуновское движение и принимать его с вероятностью. ${\frac {f_{X(t)}(y)}{f_{X(t)}^{\theta ^{*}}(y)}}{\frac {1}{c}}={\frac {1}{c}}\mathbb {E} _{\theta ^{*}}[M(t)|X(t)=y]$.

Выбор параметра наклона

Алгоритм Зигмунда

Предположим, что iid X имеет легкохвостое распределение и $\mathbb {E} [X]>0$. Чтобы оценить $\psi (c)=\mathbb {P} (\tau (c)<\infty )$ где $\tau (c)=\inf\{t:\sum \limits _{i=1}^{t}X_{i}>c\}$, когда $c$ велико и, следовательно, $\psi (c)$ небольшой, алгоритм использует экспоненциальный наклон для получения распределения важности. Алгоритм используется во многих аспектах, таких как последовательные тесты, время ожидания в очереди G/G/1 и $\psi$ используется как вероятность окончательного разорения в теории разорения . В этом контексте логично обеспечить, чтобы $\mathbb {P} _{\theta }(\tau (c)<\infty )=1$. Критерий $\theta >\theta _{0}$, где $\theta _{0}$ ул. $\kappa '(\theta _{0})=0$ достигает этого. Алгоритм Зигмунда использует $\theta =\theta ^{*}$, если он существует, где $\theta ^{*}$ определяется следующим образом: $\kappa (\theta ^{*})=0$. Было показано, что $\theta ^{*}$ является единственным параметром наклона, вызывающим ограниченную относительную ошибку ( ${\underset {x\rightarrow \infty }{\lim \sup }}{\frac {Var\mathbb {I} _{A(x)}}{\mathbb {P} A(x)^{2}}}<\infty$).

Алгоритмы черного ящика

Мы можем видеть только входные и выходные данные черного ящика, не зная его структуры. Алгоритм заключается в использовании только минимальной информации о его структуре. Когда мы генерируем случайные числа, результат может быть не таким. в пределах одного и того же общего параметрического класса, такого как нормальное или экспоненциальное распределение. Для выполнения ECM может использоваться автоматизированный способ. Позволять $X_{1},X_{2},...$быть iidrv с дистрибутивом $G$; для простоты мы предполагаем $X\geq 0$. Определять ${\mathfrak {F}}_{n}=\sigma (X_{1},...,X_{n},U_{1},...,U_{n})$, где $U_{1},U_{2}$, . . . являются независимыми (0, 1) униформами. Рандомизированное время остановки для $X_{1},X_{2}$, . . . тогда время остановки относительно фильтрации $\{{\mathfrak {F}}_{n}\}$, . . . Пусть дальше ${\mathfrak {G}}$ быть классом распределений $G$ на $[0,\infty )$ с $k_{G}=\int _{0}^{\infty }e^{\theta x}G(dx)<\infty$ и определить $G_{\theta }$ к ${\frac {dG_{\theta }}{dG(x)}}=e^{\theta x-k_{G}}$. Мы определяем алгоритм черного ящика для ECM для заданных $\theta$ и данный класс ${\mathfrak {G}}$распределений как пары случайных моментов остановки $\tau$ и ${\mathfrak {F}}_{\tau }-$ измеримая с.в. $Z$ такой, что $Z$ распределяется по $G_{\theta }$ для любого $G\in {\mathfrak {G}}$. Формально мы запишем это как $\mathbb {P} _{G}(Z<x)=G_{\theta }(x)$ для всех $x$. Другими словами, правила игры заключаются в том, что алгоритм может использоватьсмоделированные значения из $G$ и дополнительную униформу для изготовления автофургона из $G_{\theta }$.

См. также

• Выборка по важности
• Отбраковочная выборка
• Метод Монте-Карло
• Экспоненциальное семейство
• Преобразование Эшера