Серия Эджворта

Ряд Грама -Шарлье A (названный в честь Йоргена Педерсена Грама и Карла Шарлье ) и ряд Эджворта (названный в честь Фрэнсиса Исидро Эджворта ) представляют собой ряды , которые аппроксимируют распределение вероятностей с точки зрения его кумулянтов . Серии те же самые; но расположение членов (и, следовательно, точность усечения ряда) различаются. Ключевая идея этих разложений состоит в том, чтобы записать характеристическую функцию распределения, функция плотности вероятности f которой должна быть аппроксимирована через характеристическую функцию распределения с известными и подходящими свойствами, и восстановить f с помощью обратного преобразования Фурье .

Серия Грэм – Шарлье

Мы рассматриваем непрерывную случайную величину. Позволять ${\hat {f}}$ быть характеристической функцией его распределения, функция плотности которой равна f , и $\kappa _{r}$ его кумулянты . Мы разлагаем в терминах известного распределения с функцией плотности вероятности ψ , характеристической функцией ${\hat {\psi }}$, и кумулянты $\gamma _{r}$. Плотность ψ обычно выбирается равной плотности нормального распределения , но возможны и другие варианты. По определению кумулянтов имеем (см. Уоллес, 1958)

${\hat {f}}(t)=\exp \left[\sum _{r=1}^{\infty }\kappa _{r}{\frac {(it)^{r}}{r!}}\right]$ и

${\hat {\psi }}(t)=\exp \left[\sum _{r=1}^{\infty }\gamma _{r}{\frac {(it)^{r}}{r!}}\right],$

что дает следующее формальное тождество:

${\hat {f}}(t)=\exp \left[\sum _{r=1}^{\infty }(\kappa _{r}-\gamma _{r}){\frac {(it)^{r}}{r!}}\right]{\hat {\psi }}(t)\,.$

По свойствам преобразования Фурье $(it)^{r}{\hat {\psi }}(t)$ представляет собой преобразование Фурье $(-1)^{r}[D^{r}\psi ](-x)$, где D — дифференциальный оператор по x . Таким образом, после изменения $x$ с $-x$ в обеих частях уравнения находим для f формальное разложение

$f(x)=\exp \left[\sum _{r=1}^{\infty }(\kappa _{r}-\gamma _{r}){\frac {(-D)^{r}}{r!}}\right]\psi (x)\,.$

Если ψ выбрано в качестве нормальной плотности

$\phi (x)={\frac {1}{{\sqrt {2\pi }}\sigma }}\exp \left[-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right]$

со средним значением и дисперсией, заданными f , то есть средним значением $\mu =\kappa _{1}$ и дисперсия $\sigma ^{2}=\kappa _{2}$, то расширение становится

$f(x)=\exp \left[\sum _{r=3}^{\infty }\kappa _{r}{\frac {(-D)^{r}}{r!}}\right]\phi (x),$

с $\gamma _{r}=0$ для всех r > 2, поскольку старшие кумулянты нормального распределения равны 0. Раскладывая экспоненту и собирая члены в соответствии с порядком производных, мы приходим к ряду Грама – Шарлье A. Такое разложение можно компактно записать в терминах полиномов Белла как

$\exp \left[\sum _{r=3}^{\infty }\kappa _{r}{\frac {(-D)^{r}}{r!}}\right]=\sum _{n=0}^{\infty }B_{n}(0,0,\kappa _{3},\ldots ,\kappa _{n}){\frac {(-D)^{n}}{n!}}.$

Поскольку n-я производная функции Гаусса $\phi$ задается через полином Эрмита как

$\phi ^{(n)}(x)={\frac {(-1)^{n}}{\sigma ^{n}}}He_{n}\left({\frac {x-\mu }{\sigma }}\right)\phi (x),$

это дает нам окончательное выражение ряда Грама – Шарлье А как

$f(x)=\phi (x)\sum _{n=0}^{\infty }{\frac {1}{n!\sigma ^{n}}}B_{n}(0,0,\kappa _{3},\ldots ,\kappa _{n})He_{n}\left({\frac {x-\mu }{\sigma }}\right).$

Интегрирование ряда дает нам кумулятивную функцию распределения.

$F(x)=\int _{-\infty }^{x}f(u)du=\Phi (x)-\phi (x)\sum _{n=3}^{\infty }{\frac {1}{n!\sigma ^{n-1}}}B_{n}(0,0,\kappa _{3},\ldots ,\kappa _{n})He_{n-1}\left({\frac {x-\mu }{\sigma }}\right),$

где $\Phi$ — CDF нормального распределения.

Если мы включим в нормальное распределение только первые два поправочных члена, мы получим

$f(x)\approx {\frac {1}{{\sqrt {2\pi }}\sigma }}\exp \left[-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right]\left[1+{\frac {\kappa _{3}}{3!\sigma ^{3}}}He_{3}\left({\frac {x-\mu }{\sigma }}\right)+{\frac {\kappa _{4}}{4!\sigma ^{4}}}He_{4}\left({\frac {x-\mu }{\sigma }}\right)\right]\,,$

с $He_{3}(x)=x^{3}-3x$ и $He_{4}(x)=x^{4}-6x^{2}+3$.

Обратите внимание, что это выражение не обязательно будет положительным и, следовательно, не является допустимым распределением вероятностей. Ряд Грама–Шарлье А расходится во многих интересных случаях — он сходится только в том случае, если $f(x)$ падает быстрее, чем $\exp(-(x^{2})/4)$ на бесконечности (Крамер, 1957). Когда он не сходится, ряд также не является настоящим асимптотическим разложением , поскольку невозможно оценить ошибку разложения. По этой причине серия Эджворта (см. следующий раздел) обычно предпочтительнее серии А Грама – Шарлье.

Серия Эджворта

Эджворт разработал подобное расширение как улучшение центральной предельной теоремы . Преимущество ряда Эджворта в том, что ошибка контролируется, так что это истинное асимптотическое разложение .

Позволять $\{Z_{i}\}$ быть последовательностью независимых и одинаково распределенных случайных величин с конечным средним значением $\mu$ и дисперсия $\sigma ^{2}$, и пусть $X_{n}$ быть их стандартизированными суммами:

$X_{n}={\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}{\frac {Z_{i}-\mu }{\sigma }}.$

Позволять $F_{n}$ обозначаем кумулятивные функции распределения переменных $X_{n}$. Тогда по центральной предельной теореме

$\lim _{n\to \infty }F_{n}(x)=\Phi (x)\equiv \int _{-\infty }^{x}{\tfrac {1}{\sqrt {2\pi }}}e^{-{\frac {1}{2}}q^{2}}dq$

для каждого $x$, пока среднее значение и дисперсия конечны.

Стандартизация $\{Z_{i}\}$ гарантирует, что первые два кумулянта $X_{n}$ являются $\kappa _{1}^{F_{n}}=0$ и $\kappa _{2}^{F_{n}}=1.$ Теперь предположим, что помимо наличия среднего $\mu$ и дисперсия $\sigma ^{2}$, iid случайные величины $Z_{i}$ имеют более высокие кумулянты $\kappa _{r}$. По свойствам аддитивности и однородности кумулянтов кумулянты $X_{n}$ по кумулянтам $Z_{i}$ предназначены для $r\geq 2$,

$\kappa _{r}^{F_{n}}={\frac {n\kappa _{r}}{\sigma ^{r}n^{r/2}}}={\frac {\lambda _{r}}{n^{r/2-1}}}\quad \mathrm {where} \quad \lambda _{r}={\frac {\kappa _{r}}{\sigma ^{r}}}.$

Если расширить формальное выражение характеристической функции ${\hat {f}}_{n}(t)$ из $F_{n}$ в терминах стандартного нормального распределения, то есть если мы положим

$\phi (x)={\frac {1}{\sqrt {2\pi }}}\exp(-{\tfrac {1}{2}}x^{2}),$

тогда совокупные разности в разложении равны

$\kappa _{1}^{F_{n}}-\gamma _{1}=0,$

$\kappa _{2}^{F_{n}}-\gamma _{2}=0,$

$\kappa _{r}^{F_{n}}-\gamma _{r}={\frac {\lambda _{r}}{n^{r/2-1}}};\qquad r\geq 3.$

Ряд Грама–Шарлье А для функции плотности $X_{n}$ сейчас

$f_{n}(x)=\phi (x)\sum _{r=0}^{\infty }{\frac {1}{r!}}B_{r}\left(0,0,{\frac {\lambda _{3}}{n^{1/2}}},\ldots ,{\frac {\lambda _{r}}{n^{r/2-1}}}\right)He_{r}(x).$

Ряд Эджворта разработан аналогично ряду Грама – Шарлье А, только теперь члены собираются в соответствии со степенями $n$. Коэффициенты при n ^{− м /2} член может быть получен путем сбора мономов полиномов Белла, соответствующих целочисленным разбиениям m . Таким образом, мы имеем характеристическую функцию как

${\hat {f}}_{n}(t)=\left[1+\sum _{j=1}^{\infty }{\frac {P_{j}(it)}{n^{j/2}}}\right]\exp(-t^{2}/2)\,,$

где $P_{j}(x)$ является полиномом степени $3j$. Опять же, после обратного преобразования Фурье функция плотности $f_{n}$ следует как

$f_{n}(x)=\phi (x)+\sum _{j=1}^{\infty }{\frac {P_{j}(-D)}{n^{j/2}}}\phi (x)\,.$

Аналогично, интегрируя ряд, получим функцию распределения

$F_{n}(x)=\Phi (x)+\sum _{j=1}^{\infty }{\frac {1}{n^{j/2}}}{\frac {P_{j}(-D)}{D}}\phi (x)\,.$

Мы можем явно записать многочлен $P_{m}(-D)$ как

$P_{m}(-D)=\sum \prod _{i}{\frac {1}{k_{i}!}}\left({\frac {\lambda _{l_{i}}}{l_{i}!}}\right)^{k_{i}}(-D)^{s},$

где суммирование ведется по всем целочисленным разбиениям m таким, что $\sum _{i}ik_{i}=m$ и $l_{i}=i+2$ и $s=\sum _{i}k_{i}l_{i}.$

Например, если m = 3, то есть три способа разбить это число: 1 + 1 + 1 = 2 + 1 = 3. Таким образом, нам нужно рассмотреть три случая:

• 1 + 1 + 1 = 1 · k ₁ , поэтому k ₁ = 3, l ₁ = 3 и s = 9.
• 1 + 2 = 1 · k ₁ + 2 · k ₂ , поэтому имеем k ₁ = 1, k ₂ = 1, l ₁ = 3, l ₂ = 4 и s = 7.
• 3 = 3 · k ₃ , поэтому k ₃ = 1, l ₃ = 5 и s = 5.

Таким образом, искомый полином есть

${\begin{aligned}P_{3}(-D)&={\frac {1}{3!}}\left({\frac {\lambda _{3}}{3!}}\right)^{3}(-D)^{9}+{\frac {1}{1!1!}}\left({\frac {\lambda _{3}}{3!}}\right)\left({\frac {\lambda _{4}}{4!}}\right)(-D)^{7}+{\frac {1}{1!}}\left({\frac {\lambda _{5}}{5!}}\right)(-D)^{5}\\&={\frac {\lambda _{3}^{3}}{1296}}(-D)^{9}+{\frac {\lambda _{3}\lambda _{4}}{144}}(-D)^{7}+{\frac {\lambda _{5}}{120}}(-D)^{5}.\end{aligned}}$

Первые пять условий расширения:

${\begin{aligned}f_{n}(x)&=\phi (x)\\&\quad -{\frac {1}{n^{\frac {1}{2}}}}\left({\tfrac {1}{6}}\lambda _{3}\,\phi ^{(3)}(x)\right)\\&\quad +{\frac {1}{n}}\left({\tfrac {1}{24}}\lambda _{4}\,\phi ^{(4)}(x)+{\tfrac {1}{72}}\lambda _{3}^{2}\,\phi ^{(6)}(x)\right)\\&\quad -{\frac {1}{n^{\frac {3}{2}}}}\left({\tfrac {1}{120}}\lambda _{5}\,\phi ^{(5)}(x)+{\tfrac {1}{144}}\lambda _{3}\lambda _{4}\,\phi ^{(7)}(x)+{\tfrac {1}{1296}}\lambda _{3}^{3}\,\phi ^{(9)}(x)\right)\\&\quad +{\frac {1}{n^{2}}}\left({\tfrac {1}{720}}\lambda _{6}\,\phi ^{(6)}(x)+\left({\tfrac {1}{1152}}\lambda _{4}^{2}+{\tfrac {1}{720}}\lambda _{3}\lambda _{5}\right)\phi ^{(8)}(x)+{\tfrac {1}{1728}}\lambda _{3}^{2}\lambda _{4}\,\phi ^{(10)}(x)+{\tfrac {1}{31104}}\lambda _{3}^{4}\,\phi ^{(12)}(x)\right)\\&\quad +O\left(n^{-{\frac {5}{2}}}\right).\end{aligned}}$

Здесь φ ^{( Дж )} ( x ) является j -й производной φ(·) в точке x . Помня, что производные плотности нормального распределения связаны с нормальной плотностью соотношением $\phi ^{(n)}(x)=(-1)^{n}He_{n}(x)\phi (x)$, (где $He_{n}$ — полином Эрмита порядка n ), это объясняет альтернативные представления в терминах функции плотности. Блинников и Месснер (1998) предложили простой алгоритм расчета членов разложения более высокого порядка.

Обратите внимание, что в случае решетчатых распределений (которые имеют дискретные значения) расширение Эджворта необходимо скорректировать, чтобы учесть прерывистые скачки между точками решетки.

Иллюстрация: плотность выборочного среднего трех распределений χ².

Плотность выборочного среднего трех переменных chi2. На диаграмме сравниваются истинная плотность, нормальное приближение и два расширения Эджворта.

Брать $X_{i}\sim \chi ^{2}(k=2),\,i=1,2,3\,(n=3)$ и выборочное среднее ${\bar {X}}={\frac {1}{3}}\sum _{i=1}^{3}X_{i}$.

Мы можем использовать несколько дистрибутивов для ${\bar {X}}$:

• Точное распределение, соответствующее гамма-распределению : ${\bar {X}}\sim \mathrm {Gamma} \left(\alpha =n\cdot k/2,\theta =2/n\right)=\mathrm {Gamma} \left(\alpha =3,\theta =2/3\right)$.
• Асимптотическое нормальное распределение: ${\bar {X}}{\xrightarrow {n\to \infty }}N(k,2\cdot k/n)=N(2,4/3)$.
• Два расширения Эджворта второй и третьей степени.

Обсуждение результатов

• Для конечных выборок не гарантируется, что разложение Эджворта будет правильным распределением вероятностей, поскольку значения CDF в некоторых точках могут выходить за пределы $[0,1]$.
• Они гарантируют (асимптотически) абсолютные ошибки , но относительные ошибки можно легко оценить, сравнивая ведущий член Эджворта в остатке с общим ведущим членом.

См. также

• Расширение Корниша – Фишера
• Биномиальное дерево Эджворта

Дальнейшее чтение

• Х. Крамер . (1957). Математические методы статистики . Издательство Принстонского университета, Принстон.
• Уоллес, Д.Л. (1958). «Асимптотические приближения к распределениям» . Анналы математической статистики . 29 (3): 635–654. дои : 10.1214/aoms/1177706528 .
• М. Кендалл и А. Стюарт. (1977), Передовая теория статистики , Том 1: Теория распределения, 4-е издание, Макмиллан, Нью-Йорк.
• П. МакКаллах (1987). Тензорные методы в статистике . Чепмен и Холл, Лондон.
• Д. Р. Кокс и О. Э. Барндорф-Нильсен (1989). Асимптотические методы для использования в статистике . Чепмен и Холл, Лондон.
• П. Холл (1992). Расширение Bootstrap и Edgeworth . Спрингер, Нью-Йорк.
• «Ряд Эджворта» , Математическая энциклопедия , EMS Press , 2001 [1994]
• Блинников С.; Месснер, Р. (1998). «Разложения для распределений, близких к гауссовским» (PDF) . Серия дополнений по астрономии и астрофизике . 130 : 193–205. arXiv : astro-ph/9711239 . Бибкод : 1998A&AS..130..193B . дои : 10.1051/aas:1998221 .
• Мартин, Дуглас; Арора, Рохит (2017). «Неэффективность и предвзятость модифицированной стоимости риска и ожидаемого дефицита». Журнал риска . 19 (6): 59–84. дои : 10.21314/JOR.2017.365 .
• Дж. Э. Коласса (2006). Методы аппроксимации рядов в статистике (3-е изд.). (Конспекты лекций в Статистике № 88). Спрингер, Нью-Йорк.