метод Лапласа

Не путать с аппроксимацией Лапласа или сглаживанием Лапласа .

В математике аппроксимации метод Лапласа , названный в честь Пьера-Симона Лапласа , представляет собой метод, используемый для интегралов вида

$\int _{a}^{b}e^{Mf(x)}\,dx,$

где $f$ — дважды дифференцируемая функция , $M$ большое число , а конечные точки $a$ и $b$ может быть бесконечным. Первоначально этот прием был представлен в книге Лапласа (1774) .

В байесовской статистике аппроксимация Лапласа может относиться либо к аппроксимации апостериорной нормализующей константы с помощью метода Лапласа, либо к аппроксимации апостериорного распределения с помощью гауссиана, центрированного по максимальной апостериорной оценке . Аппроксимации Лапласа используются в интегрированном методе вложенных аппроксимаций Лапласа для быстрой аппроксимации байесовского вывода .

Концепция

$f(x)={\tfrac {\sin(x)}{x}}$ имеет глобальный максимум в $x=0$. $e^{Mf(x)}$ отображается сверху для $M=0.5$ и внизу для $M=3$ (оба синие). Как $M$ растет, аппроксимация этой функции функцией Гаусса (показана красным) улучшается. Это наблюдение лежит в основе метода Лапласа.

Пусть функция $f(x)$ иметь уникальный глобальный максимум в $x_{0}$. $M>0$ здесь константа. Рассматриваются следующие две функции:

${\begin{aligned}g(x)&=Mf(x),\\h(x)&=e^{Mf(x)}.\end{aligned}}$

Следует отметить, что $x_{0}$ будет глобальный максимум $g$ и $h$ также. Таким образом, наблюдается:

${\begin{aligned}{\frac {g(x_{0})}{g(x)}}&={\frac {Mf(x_{0})}{Mf(x)}}={\frac {f(x_{0})}{f(x)}},\\[4pt]{\frac {h(x_{0})}{h(x)}}&={\frac {e^{Mf(x_{0})}}{e^{Mf(x)}}}=e^{M(f(x_{0})-f(x))}.\end{aligned}}$

С увеличением M соотношение для $h$ будет расти в геометрической прогрессии, а соотношение $g$ не меняется. Таким образом, существенный вклад в интеграл этой функции будут вносить только точки $x$ в районе ​ $x_{0}$, который затем можно оценить.

Общая теория

Чтобы сформулировать и мотивировать метод, необходимо сделать несколько предположений. Предполагается, что $x_{0}$ не является конечной точкой интервала интегрирования и что значения $f(x)$ не может быть очень близко к $f(x_{0})$ пока не $x$ близко к $x_{0}$_.

$f(x)$ можно разложить вокруг x ₀ по теореме Тейлора ,

$f(x)=f(x_{0})+f'(x_{0})(x-x_{0})+{\frac {1}{2}}f''(x_{0})(x-x_{0})^{2}+R$

где $R=O\left((x-x_{0})^{3}\right)$ (см.: обозначение большого О ).

С $f$ имеет глобальный максимум в $x_{0}$, и $x_{0}$ это не конечная точка, это стационарная точка , т.е. $f'(x_{0})=0$. Следовательно, полином Тейлора второго порядка, аппроксимирующий $f(x)$ является

$f(x)\approx f(x_{0})+{\frac {1}{2}}f''(x_{0})(x-x_{0})^{2}.$

Тогда потребуется еще один шаг, чтобы получить распределение Гаусса. С $x_{0}$ является глобальным максимумом функции $f$ можно сказать по определению второй производной , что $f''(x_{0})\leq 0$, что дает соотношение

$f(x)\approx f(x_{0})-{\frac {1}{2}}|f''(x_{0})|(x-x_{0})^{2}$

для $x$ близко к $x_{0}$. Тогда интеграл можно аппроксимировать формулой:

$\int _{a}^{b}e^{Mf(x)}\,dx\approx e^{Mf(x_{0})}\int _{a}^{b}e^{-{\frac {1}{2}}M|f''(x_{0})|(x-x_{0})^{2}}\,dx$

Если $f''(x_{0})<0$ этот последний интеграл становится интегралом Гаусса , если мы заменим пределы интегрирования на $-\infty$ и $+\infty$; когда $M$ велика, это создает лишь небольшую ошибку, поскольку экспонента очень быстро затухает при удалении от $x_{0}$. Вычисляя этот гауссов интеграл, получаем:

$\int _{a}^{b}e^{Mf(x)}\,dx\approx {\sqrt {\frac {2\pi }{M|f''(x_{0})|}}}e^{Mf(x_{0})}{\text{ as }}M\to \infty .$

Обобщение этого метода и его распространение на произвольную точность представлено в книге Fog (2008) .

Официальное заявление и доказательство

Предполагать $f(x)$ — дважды непрерывно дифференцируемая функция на $[a,b],$ и существует единственная точка $x_{0}\in (a,b)$ такой, что:

$f(x_{0})=\max _{x\in [a,b]}f(x)\quad {\text{and}}\quad f''(x_{0})<0.$

Затем:

$\lim _{n\to \infty }{\frac {\int _{a}^{b}e^{nf(x)}\,dx}{e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n\left(-f''(x_{0})\right)}}}}}=1.$

показывать

Доказательство

Lower bound: Let $\varepsilon >0$. Since $f''$ is continuous there exists $\delta >0$ such that if $|x_{0}-c|<\delta$ then $f''(c)\geq f''(x_{0})-\varepsilon .$ By Taylor's Theorem, for any $x\in (x_{0}-\delta ,x_{0}+\delta ),$

$f(x)\geq f(x_{0})+{\frac {1}{2}}(f''(x_{0})-\varepsilon )(x-x_{0})^{2}.$

Then we have the following lower bound:

${\begin{aligned}\int _{a}^{b}e^{nf(x)}\,dx&\geq \int _{x_{0}-\delta }^{x_{0}+\delta }e^{nf(x)}\,dx\\&\geq e^{nf(x_{0})}\int _{x_{0}-\delta }^{x_{0}+\delta }e^{{\frac {n}{2}}(f''(x_{0})-\varepsilon )(x-x_{0})^{2}}\,dx\\&=e^{nf(x_{0})}{\sqrt {\frac {1}{n(-f''(x_{0})+\varepsilon )}}}\int _{-\delta {\sqrt {n(-f''(x_{0})+\varepsilon )}}}^{\delta {\sqrt {n(-f''(x_{0})+\varepsilon )}}}e^{-{\frac {1}{2}}y^{2}}\,dy\end{aligned}}$

where the last equality was obtained by a change of variables

$y={\sqrt {n(-f''(x_{0})+\varepsilon )}}(x-x_{0}).$

Remember $f''(x_{0})<0$ so we can take the square root of its negation.

If we divide both sides of the above inequality by

$e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0}))}}}$

and take the limit we get:

$\lim _{n\to \infty }{\frac {\int _{a}^{b}e^{nf(x)}\,dx}{e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0}))}}}}}\geq \lim _{n\to \infty }{\frac {1}{\sqrt {2\pi }}}\int _{-\delta {\sqrt {n(-f''(x_{0})+\varepsilon )}}}^{\delta {\sqrt {n(-f''(x_{0})+\varepsilon )}}}e^{-{\frac {1}{2}}y^{2}}\,dy\,\cdot {\sqrt {\frac {-f''(x_{0})}{-f''(x_{0})+\varepsilon }}}={\sqrt {\frac {-f''(x_{0})}{-f''(x_{0})+\varepsilon }}}$

since this is true for arbitrary $\varepsilon$ we get the lower bound:

$\lim _{n\to \infty }{\frac {\int _{a}^{b}e^{nf(x)}\,dx}{e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0}))}}}}}\geq 1$

Note that this proof works also when $a=-\infty$ or $b=\infty$ (or both).

Upper bound: The proof is similar to that of the lower bound but there are a few inconveniences. Again we start by picking an $\varepsilon >0$ but in order for the proof to work we need $\varepsilon$ small enough so that $f''(x_{0})+\varepsilon <0.$ Then, as above, by continuity of $f''$ and Taylor's Theorem we can find $\delta >0$ so that if $|x-x_{0}|<\delta$, then

$f(x)\leq f(x_{0})+{\frac {1}{2}}(f''(x_{0})+\varepsilon )(x-x_{0})^{2}.$

Lastly, by our assumptions (assuming $a,b$ are finite) there exists an $\eta >0$ such that if $|x-x_{0}|\geq \delta$, then $f(x)\leq f(x_{0})-\eta$.

Then we can calculate the following upper bound:

${\begin{aligned}\int _{a}^{b}e^{nf(x)}\,dx&\leq \int _{a}^{x_{0}-\delta }e^{nf(x)}\,dx+\int _{x_{0}-\delta }^{x_{0}+\delta }e^{nf(x)}\,dx+\int _{x_{0}+\delta }^{b}e^{nf(x)}\,dx\\&\leq (b-a)e^{n(f(x_{0})-\eta )}+\int _{x_{0}-\delta }^{x_{0}+\delta }e^{nf(x)}\,dx\\&\leq (b-a)e^{n(f(x_{0})-\eta )}+e^{nf(x_{0})}\int _{x_{0}-\delta }^{x_{0}+\delta }e^{{\frac {n}{2}}(f''(x_{0})+\varepsilon )(x-x_{0})^{2}}\,dx\\&\leq (b-a)e^{n(f(x_{0})-\eta )}+e^{nf(x_{0})}\int _{-\infty }^{+\infty }e^{{\frac {n}{2}}(f''(x_{0})+\varepsilon )(x-x_{0})^{2}}\,dx\\&\leq (b-a)e^{n(f(x_{0})-\eta )}+e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0})-\varepsilon )}}}\end{aligned}}$

If we divide both sides of the above inequality by

$e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0}))}}}$

and take the limit we get:

$\lim _{n\to \infty }{\frac {\int _{a}^{b}e^{nf(x)}\,dx}{e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0}))}}}}}\leq \lim _{n\to \infty }(b-a)e^{-\eta n}{\sqrt {\frac {n(-f''(x_{0}))}{2\pi }}}+{\sqrt {\frac {-f''(x_{0})}{-f''(x_{0})-\varepsilon }}}={\sqrt {\frac {-f''(x_{0})}{-f''(x_{0})-\varepsilon }}}$

Since $\varepsilon$ is arbitrary we get the upper bound:

$\lim _{n\to \infty }{\frac {\int _{a}^{b}e^{nf(x)}\,dx}{e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0}))}}}}}\leq 1$

And combining this with the lower bound gives the result.

Note that the above proof obviously fails when $a=-\infty$ or $b=\infty$ (or both). To deal with these cases, we need some extra assumptions. A sufficient (not necessary) assumption is that for $n=1,$

$\int _{a}^{b}e^{nf(x)}\,dx<\infty ,$

and that the number $\eta$ as above exists (note that this must be an assumption in the case when the interval $[a,b]$ is infinite). The proof proceeds otherwise as above, but with a slightly different approximation of integrals:

$\int _{a}^{x_{0}-\delta }e^{nf(x)}\,dx+\int _{x_{0}+\delta }^{b}e^{nf(x)}\,dx\leq \int _{a}^{b}e^{f(x)}e^{(n-1)(f(x_{0})-\eta )}\,dx=e^{(n-1)(f(x_{0})-\eta )}\int _{a}^{b}e^{f(x)}\,dx.$

When we divide by

$e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0}))}}},$

we get for this term

${\frac {e^{(n-1)(f(x_{0})-\eta )}\int _{a}^{b}e^{f(x)}\,dx}{e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0}))}}}}}=e^{-(n-1)\eta }{\sqrt {n}}e^{-f(x_{0})}\int _{a}^{b}e^{f(x)}\,dx{\sqrt {\frac {-f''(x_{0})}{2\pi }}}$

whose limit as $n\to \infty$ is $0$. The rest of the proof (the analysis of the interesting term) proceeds as above.

The given condition in the infinite interval case is, as said above, sufficient but not necessary. However, the condition is fulfilled in many, if not in most, applications: the condition simply says that the integral we are studying must be well-defined (not infinite) and that the maximum of the function at $x_{0}$ must be a "true" maximum (the number $\eta >0$ must exist). There is no need to demand that the integral is finite for $n=1$ but it is enough to demand that the integral is finite for some $n=N.$

Этот метод основан на 4 основных понятиях, таких как

показывать

Концепции

1. Relative error

The “approximation” in this method is related to the relative error and not the absolute error. Therefore, if we set

$s={\sqrt {\frac {2\pi }{M\left|f''(x_{0})\right|}}},$

the integral can be written as

${\begin{aligned}\int _{a}^{b}e^{Mf(x)}\,dx&=se^{Mf(x_{0})}{\frac {1}{s}}\int _{a}^{b}e^{M(f(x)-f(x_{0}))}\,dx\\&=se^{Mf(x_{0})}\int _{\frac {a-x_{0}}{s}}^{\frac {b-x_{0}}{s}}e^{M(f(sy+x_{0})-f(x_{0}))}\,dy\end{aligned}}$

where $s$ is a small number when $M$ is a large number obviously and the relative error will be

$\left|\int _{\frac {a-x_{0}}{s}}^{\frac {b-x_{0}}{s}}e^{M(f(sy+x_{0})-f(x_{0}))}dy-1\right|.$

Now, let us separate this integral into two parts: $y\in [-D_{y},D_{y}]$ region and the rest.

2. $e^{M(f(sy+x_{0})-f(x_{0}))}\to e^{-\pi y^{2}}$ around the stationary point when $M$ is large enough

Let’s look at the Taylor expansion of $M(f(x)-f(x_{0}))$ around x₀ and translate x to y because we do the comparison in y-space, we will get

$M(f(x)-f(x_{0}))={\frac {Mf''(x_{0})}{2}}s^{2}y^{2}+{\frac {Mf'''(x_{0})}{6}}s^{3}y^{3}+\cdots =-\pi y^{2}+O\left({\frac {1}{\sqrt {M}}}\right).$

Note that $f'(x_{0})=0$ because $x_{0}$ is a stationary point. From this equation you will find that the terms higher than second derivative in this Taylor expansion is suppressed as the order of ${\tfrac {1}{\sqrt {M}}}$ so that $\exp(M(f(x)-f(x_{0})))$ will get closer to the Gaussian function as shown in figure. Besides,

$\int _{-\infty }^{\infty }e^{-\pi y^{2}}dy=1.$

The figure of $e^{M[f(sy+x_{0})-f(x_{0})]}$ with $M$ equals 1, 2 and 3, and the red line is the curve of function $e^{-\pi y^{2}}$ .

3. The larger $M$ is, the smaller range of $x$ is related

Because we do the comparison in y-space, $y$ is fixed in $y\in [-D_{y},D_{y}]$ which will cause $x\in [-sD_{y},sD_{y}]$; however, $s$ is inversely proportional to ${\sqrt {M}}$, the chosen region of $x$ will be smaller when $M$ is increased.

4. If the integral in Laplace's method converges, the contribution of the region which is not around the stationary point of the integration of its relative error will tend to zero as $M$ grows.

Relying on the 3rd concept, even if we choose a very large D_y, sD_y will finally be a very small number when $M$ is increased to a huge number. Then, how can we guarantee the integral of the rest will tend to 0 when $M$ is large enough?

The basic idea is to find a function $m(x)$ such that $m(x)\geq f(x)$ and the integral of $e^{Mm(x)}$ will tend to zero when $M$ grows. Because the exponential function of $Mm(x)$ will be always larger than zero as long as $m(x)$ is a real number, and this exponential function is proportional to $m(x),$ the integral of $e^{Mf(x)}$ will tend to zero. For simplicity, choose $m(x)$ as a tangent through the point $x=sD_{y}$ as shown in the figure:

$m(x)$ is denoted by the two tangent lines passing through $x=\pm sD_{y}+x_{0}$. When $sD_{y}$ gets smaller, the cover region will be larger.

If the interval of the integration of this method is finite, we will find that no matter $f(x)$ is continue in the rest region, it will be always smaller than $m(x)$ shown above when $M$ is large enough. By the way, it will be proved later that the integral of $e^{Mm(x)}$ will tend to zero when $M$ is large enough.

If the interval of the integration of this method is infinite, $m(x)$ and $f(x)$ might always cross to each other. If so, we cannot guarantee that the integral of $e^{Mf(x)}$ will tend to zero finally. For example, in the case of $f(x)={\tfrac {\sin(x)}{x}},$ $\int _{0}^{\infty }e^{Mf(x)}dx$ will always diverge. Therefore, we need to require that $\int _{d}^{\infty }e^{Mf(x)}dx$ can converge for the infinite interval case. If so, this integral will tend to zero when $d$ is large enough and we can choose this $d$ as the cross of $m(x)$ and $f(x).$

You might ask why not choose $\int _{d}^{\infty }e^{f(x)}dx$ as a convergent integral? Let me use an example to show you the reason. Suppose the rest part of $f(x)$ is $-\ln x,$ then $e^{f(x)}={\tfrac {1}{x}}$ and its integral will diverge; however, when $M=2,$ the integral of $e^{Mf(x)}={\tfrac {1}{x^{2}}}$ converges. So, the integral of some functions will diverge when $M$ is not a large number, but they will converge when $M$ is large enough.

Основываясь на этих четырех понятиях, мы можем вывести относительную погрешность этого метода.

Другие составы

Приближение Лапласа иногда записывается как

$\int _{a}^{b}h(x)e^{Mg(x)}\,dx\approx {\sqrt {\frac {2\pi }{M|g''(x_{0})|}}}h(x_{0})e^{Mg(x_{0})}\ {\text{ as }}M\to \infty$

где $h$ является положительным.

Важно отметить, что точность аппроксимации зависит от переменной интегрирования, то есть от того, что остается в $g(x)$ и что входит в $h(x).$

показывать

Вывод его относительной погрешности

First, use $x_{0}=0$ to denote the global maximum, which will simplify this derivation. We are interested in the relative error, written as $|R|$,

$\int _{a}^{b}h(x)e^{Mg(x)}\,dx=h(0)e^{Mg(0)}s\underbrace {\int _{a/s}^{b/s}{\frac {h(x)}{h(0)}}e^{M\left[g(sy)-g(0)\right]}dy} _{1+R},$

where

$s\equiv {\sqrt {\frac {2\pi }{M\left|g''(0)\right|}}}.$

So, if we let

$A\equiv {\frac {h(sy)}{h(0)}}e^{M\left[g(sy)-g(0)\right]}$

and $A_{0}\equiv e^{-\pi y^{2}}$, we can get

$\left|R\right|=\left|\int _{a/s}^{b/s}A\,dy-\int _{-\infty }^{\infty }A_{0}\,dy\right|$

since $\int _{-\infty }^{\infty }A_{0}\,dy=1$.

For the upper bound, note that $|A+B|\leq |A|+|B|,$ thus we can separate this integration into 5 parts with 3 different types (a), (b) and (c), respectively. Therefore,

$|R|<\underbrace {\left|\int _{D_{y}}^{\infty }A_{0}dy\right|} _{(a_{1})}+\underbrace {\left|\int _{D_{y}}^{b/s}Ady\right|} _{(b_{1})}+\underbrace {\left|\int _{-D_{y}}^{D_{y}}\left(A-A_{0}\right)dy\right|} _{(c)}+\underbrace {\left|\int _{a/s}^{-D_{y}}Ady\right|} _{(b_{2})}+\underbrace {\left|\int _{-\infty }^{-D_{y}}A_{0}dy\right|} _{(a_{2})}$

where $(a_{1})$ and $(a_{2})$ are similar, let us just calculate $(a_{1})$ and $(b_{1})$ and $(b_{2})$ are similar, too, I’ll just calculate $(b_{1})$.

For $(a_{1})$, after the translation of $z\equiv \pi y^{2}$, we can get

$(a_{1})=\left|{\frac {1}{2{\sqrt {\pi }}}}\int _{\pi D_{y}^{2}}^{\infty }e^{-z}z^{-1/2}dz\right|<{\frac {e^{-\pi D_{y}^{2}}}{2\pi D_{y}}}.$

This means that as long as $D_{y}$ is large enough, it will tend to zero.

For $(b_{1})$, we can get

$(b_{1})\leq \left|\int _{D_{y}}^{b/s}\left[{\frac {h(sy)}{h(0)}}\right]_{\text{max}}e^{Mm(sy)}dy\right|$

where

$m(x)\geq g(x)-g(0){\text{as}}x\in [sD_{y},b]$

and $h(x)$ should have the same sign of $h(0)$ during this region. Let us choose $m(x)$ as the tangent across the point at $x=sD_{y}$ , i.e. $m(sy)=g(sD_{y})-g(0)+g'(sD_{y})\left(sy-sD_{y}\right)$ which is shown in the figure

$m(x)$ is the tangent lines across the point at $x=sD_{y}$ .

From this figure you can find that when $s$ or $D_{y}$ gets smaller, the region satisfies the above inequality will get larger. Therefore, if we want to find a suitable $m(x)$ to cover the whole $f(x)$ during the interval of $(b_{1})$, $D_{y}$ will have an upper limit. Besides, because the integration of $e^{-\alpha x}$ is simple, let me use it to estimate the relative error contributed by this $(b_{1})$.

Based on Taylor expansion, we can get

${\begin{aligned}M\left[g(sD_{y})-g(0)\right]&=M\left[{\frac {g''(0)}{2}}s^{2}D_{y}^{2}+{\frac {g'''(\xi )}{6}}s^{3}D_{y}^{3}\right]&&{\text{as }}\xi \in [0,sD_{y}]\\&=-\pi D_{y}^{2}+{\frac {(2\pi )^{3/2}g'''(\xi )D_{y}^{3}}{6{\sqrt {M}}|g''(0)|^{\frac {3}{2}}}},\end{aligned}}$

and

${\begin{aligned}Msg'(sD_{y})&=Ms\left(g''(0)sD_{y}+{\frac {g'''(\zeta )}{2}}s^{2}D_{y}^{2}\right)&&{\text{as }}\zeta \in [0,sD_{y}]\\&=-2\pi D_{y}+{\sqrt {\frac {2}{M}}}\left({\frac {\pi }{|g''(0)|}}\right)^{\frac {3}{2}}g'''(\zeta )D_{y}^{2},\end{aligned}}$

and then substitute them back into the calculation of $(b_{1})$; however, you can find that the remainders of these two expansions are both inversely proportional to the square root of $M$, let me drop them out to beautify the calculation. Keeping them is better, but it will make the formula uglier.

${\begin{aligned}(b_{1})&\leq \left|\left[{\frac {h(sy)}{h(0)}}\right]_{\max }e^{-\pi D_{y}^{2}}\int _{0}^{b/s-D_{y}}e^{-2\pi D_{y}y}dy\right|\\&\leq \left|\left[{\frac {h(sy)}{h(0)}}\right]_{\max }e^{-\pi D_{y}^{2}}{\frac {1}{2\pi D_{y}}}\right|.\end{aligned}}$

Therefore, it will tend to zero when $D_{y}$ gets larger, but don't forget that the upper bound of $D_{y}$ should be considered during this calculation.

About the integration near $x=0$, we can also use Taylor's Theorem to calculate it. When $h'(0)\neq 0$

${\begin{aligned}(c)&\leq \int _{-D_{y}}^{D_{y}}e^{-\pi y^{2}}\left|{\frac {sh'(\xi )}{h(0)}}y\right|\,dy\\&<{\sqrt {\frac {2}{\pi M|g''(0)|}}}\left|{\frac {h'(\xi )}{h(0)}}\right|_{\max }\left(1-e^{-\pi D_{y}^{2}}\right)\end{aligned}}$

and you can find that it is inversely proportional to the square root of $M$. In fact, $(c)$ will have the same behave when $h(x)$ is a constant.

Conclusively, the integral near the stationary point will get smaller as ${\sqrt {M}}$ gets larger, and the rest parts will tend to zero as long as $D_{y}$ is large enough; however, we need to remember that $D_{y}$ has an upper limit which is decided by whether the function $m(x)$ is always larger than $g(x)-g(0)$ in the rest region. However, as long as we can find one $m(x)$ satisfying this condition, the upper bound of $D_{y}$ can be chosen as directly proportional to ${\sqrt {M}}$ since $m(x)$ is a tangent across the point of $g(x)-g(0)$ at $x=sD_{y}$. So, the bigger $M$ is, the bigger $D_{y}$ can be.

В многомерном случае, когда $\mathbf {x}$ это $d$-мерный вектор и $f(\mathbf {x} )$ является скалярной функцией $\mathbf {x}$, приближение Лапласа обычно записывается как:

$\int h(\mathbf {x} )e^{Mf(\mathbf {x} )}\,d\mathbf {x} \approx \left({\frac {2\pi }{M}}\right)^{d/2}{\frac {h(\mathbf {x} _{0})e^{Mf(\mathbf {x} _{0})}}{\left|-H(f)(\mathbf {x} _{0})\right|^{1/2}}}{\text{ as }}M\to \infty$

где $H(f)(\mathbf {x} _{0})$ представляет собой Гессе матрицу $f$ оценивается в $\mathbf {x} _{0}$ и где $|\cdot |$ обозначает определитель матрицы . Аналогично одномерному случаю, гессиан должен быть отрицательно определенным .

Кстати, хотя $\mathbf {x}$ обозначает $d$-мерный вектор, термин $d\mathbf {x}$ здесь обозначает бесконечно малый объем , т.е. $d\mathbf {x} :=dx_{1}dx_{2}\cdots dx_{d}$.

Расширение самого крутого спуска

Основная статья: Метод наискорейшего спуска

В расширениях метода Лапласа комплексный анализ и, в частности, интегральная формула Коши используются для нахождения контура наискорейшего спуска для (асимптотически с большим M ) эквивалентного интеграла, выраженного как линейный интеграл . В частности, если нет точки x _0, где производная $f$ исчезает на действительной прямой, может возникнуть необходимость деформировать контур интегрирования до оптимального, при котором будет возможен приведенный выше анализ. Опять же, основная идея состоит в том, чтобы свести, по крайней мере асимптотически, вычисление данного интеграла к вычислению более простого интеграла, который можно вычислить явно. Простое обсуждение см. в книге Эрдели (1956) (где этот метод называется « наискорейшим спуском »).

Соответствующая формулировка для комплексной z -плоскости такова:

$\int _{a}^{b}e^{Mf(z)}\,dz\approx {\sqrt {\frac {2\pi }{-Mf''(z_{0})}}}e^{Mf(z_{0})}{\text{ as }}M\to \infty .$

для пути, проходящего через седло в точке z ₀ . Обратите внимание на явное появление знака минус для обозначения направления второй производной: нельзя модуль брать . Также обратите внимание, что если подынтегральная функция мероморфна , возможно, придется добавить вычеты, соответствующие полюсам, пройденным при деформации контура (см., например, раздел 3 статьи Окунькова « Симметричные функции и случайные разбиения » ).

Дальнейшие обобщения

Расширением метода наискорейшего спуска является так называемый нелинейный метод стационарной фазы/наискорейшего спуска . Здесь вместо интегралов нужно асимптотически оценивать решения задач факторизации Римана–Гильберта .

Учитывая контур C в комплексной сфере , функция $f$ определенная на этом контуре и в специальной точке, такой как бесконечность, голоморфная функция M ищется вдали от C с заданным скачком через C и с заданной нормировкой на бесконечности. Если $f$ и, следовательно, M являются матрицами, а не скалярами. Это проблема, которая, вообще говоря, не допускает явного решения.

Тогда возможна асимптотическая оценка в соответствии с методом линейной стационарной фазы/наискорейшего спуска. Идея состоит в том, чтобы асимптотически свести решение данной проблемы Римана–Гильберта к решению более простой, явно решаемой проблемы Римана–Гильберта. Теорема Коши используется для обоснования деформаций контура скачка.

Нелинейная стационарная фаза была введена Дейфтом и Чжоу в 1993 году на основе более ранних работ Итса. (Собственно говоря) нелинейный метод наискорейшего спуска был представлен Камвиссисом, К. Маклафлином и П. Миллером в 2003 году на основе предыдущих работ Лакса, Левермора, Дейфта, Венакидеса и Чжоу. Как и в линейном случае, «контуры наикрутейшего спуска» решают задачу мин-макс. В нелинейном случае они оказываются «S-образными кривыми» (определенными в другом контексте еще в 80-х годах Шталем, Гончаром и Рахмановым).

Нелинейный метод стационарной фазы/наискорейшего спуска имеет приложения в теории солитонных уравнений и интегрируемых моделях , случайных матрицах и комбинаторике .

Обобщение аппроксимации медианной точки

В обобщении вычисление интеграла считается эквивалентным нахождению нормы распределения с плотностью

$e^{Mf(x)}.$

Обозначая кумулятивное распределение $F(x)$, если существует диффеоморфное гауссово распределение с плотностью

$e^{-g-{\frac {\gamma }{2}}y^{2}}$

норма определяется

${\sqrt {2\pi \gamma ^{-1}}}e^{-g}$

и соответствующий диффеоморфизм есть

$y(x)={\frac {1}{\sqrt {\gamma }}}\Phi ^{-1}{\left({\frac {F(x)}{F(\infty )}}\right)},$

где $\Phi$ обозначает кумулятивную стандартную функцию нормального распределения .

В общем, любое распределение, диффеоморфное распределению Гаусса, имеет плотность

$e^{-g-{\frac {\gamma }{2}}y^{2}(x)}y'(x)$

и медианная точка отображается в медиану гауссова распределения. Сопоставление логарифмов функций плотности и их производных в медианной точке до заданного порядка дает систему уравнений, определяющую приближенные значения $\gamma$ и $g$.

Приближение было введено в 2019 году Д. Макогоном и К. Морайсом Смитом прежде всего в контексте вычисления статистической суммы системы взаимодействующих фермионов.

Комплексные интегралы

Для комплексных интегралов вида:

${\frac {1}{2\pi i}}\int _{c-i\infty }^{c+i\infty }g(s)e^{st}\,ds$

с $t\gg 1,$ делаем замену t = iu и замену переменной $s=c+ix$ чтобы получить двустороннее преобразование Лапласа:

${\frac {1}{2\pi }}\int _{-\infty }^{\infty }g(c+ix)e^{-ux}e^{icu}\,dx.$

Затем мы разделяем g ( c + ix ) на действительную и комплексную части, после чего восстанавливаем u = t / i . Это полезно для обратных преобразований Лапласа , формулы Перрона и комплексного интегрирования.

Пример: приближение Стирлинга

Метод Лапласа можно использовать для вывода приближения Стирлинга.

$N!\approx {\sqrt {2\pi N}}({\frac {N}{e}})^{N}\,$

большого целого числа N. для

Из определения гамма-функции имеем

$N!=\Gamma (N+1)=\int _{0}^{\infty }e^{-x}x^{N}\,dx.$

Теперь мы меняем переменные, позволяя $x=Nz$ так что $dx=Ndz.$ Подставьте эти значения обратно, чтобы получить

${\begin{aligned}N!&=\int _{0}^{\infty }e^{-Nz}(Nz)^{N}N\,dz\\&=N^{N+1}\int _{0}^{\infty }e^{-Nz}z^{N}\,dz\\&=N^{N+1}\int _{0}^{\infty }e^{-Nz}e^{N\ln z}\,dz\\&=N^{N+1}\int _{0}^{\infty }e^{N(\ln z-z)}\,dz.\end{aligned}}$

Этот интеграл имеет вид, необходимый для метода Лапласа с

$f(z)=\ln {z}-z$

который дважды дифференцируем:

$f'(z)={\frac {1}{z}}-1,$

$f''(z)=-{\frac {1}{z^{2}}}.$

Максимум $f(z)$ лежит в точке z ₀ = 1, а вторая производная $f(z)$ имеет значение −1 в этот момент. Таким образом, мы получаем

$N!\approx N^{N+1}{\sqrt {\frac {2\pi }{N}}}e^{-N}={\sqrt {2\pi N}}N^{N}e^{-N}.$

См. также

• Метод стационарной фазы
• Метод наискорейшего спуска
• Теория больших отклонений
• Принцип Лапласа (теория больших уклонений)
• Приближение Лапласа

Ссылки

• Азеведо-Фильо, А.; Шахтер, Р. (1994), «Аппроксимации метода Лапласа для вероятностного вывода в сетях убеждений с непрерывными переменными», в Мантарасе, Р.; Пул, Д. (ред.), Неопределенность в искусственном интеллекте , Сан-Франциско, Калифорния: Морган Кауфманн , CiteSeerX   10.1.1.91.2064 .
• Дейфт, П.; Чжоу, X. (1993), «Метод наискорейшего спуска для колебательных задач Римана – Гильберта. Асимптотика уравнения МКдВ», Ann. математики. , том. 137, нет. 2, стр. 295–368, arXiv : math/9201261 , doi : 10.2307/2946540 , JSTOR   2946540 .
• Эрдели А. (1956), Асимптотические разложения , Дувр .
• Фог, А. (2008), «Методы расчета нецентрального гипергеометрического распределения Валлениуса», Коммуникации в статистике, моделировании и вычислениях , том. 37, нет. 2, стр. 258–273, номер документа : 10.1080/03610910701790269 , S2CID   9040568 .
• Лаплас, PS (1774), «Mémoires de Mathématique et de Physique, Tome Sixième» [Мемуары о вероятности причин событий], Statistical Science , 1 (3): 366–367, JSTOR   2245476
• Ван, Сян-Шэн; Вонг, Родерик (2007). «Дискретные аналоги приближения Лапласа». Асимптот. Анал . 54 (3–4): 165–180.

Эта статья включает в себя материал из аппроксимации седловой точки в PlanetMath , который доступен под лицензией Creative Commons Attribution/Share-Alike License .