Дельта-метод

В статистике дельта -метод — это метод получения асимптотического распределения случайной величины. Это применимо, когда рассматриваемая случайная величина может быть определена как дифференцируемая функция случайной величины, которая является асимптотически гауссовой .

История [ править ]

Дельта-метод был основан на распространении ошибки , и его идея была известна в начале 20 века. ^[1] Его статистическое применение можно проследить еще в 1928 году Т.Л. Келли . ^[2] Формальное описание метода было представлено Дж. Л. Дубом в 1935 году. ^[3] Роберт Дорфман также описал эту версию в 1938 году. ^[4]

Одномерный дельта-метод [ править ]

Хотя дельта-метод легко обобщается на многомерные условия, тщательную мотивацию этого метода легче продемонстрировать в одномерных условиях. Грубо говоря, если существует последовательность случайных величин $X n,$ удовлетворяющая

{{\sqrt {n}}[X_{n}-\theta ]\,{\xrightarrow {D}}\,{\mathcal {N}}(0,\sigma ^{2})},

где θ и σ ² являются конечнозначными константами и ${\xrightarrow {D}}$ обозначает сходимость по распределению , тогда

{{\sqrt {n}}[g(X_{n})-g(\theta )]\,{\xrightarrow {D}}\,{\mathcal {N}}(0,\sigma ^{2}\cdot [g'(\theta )]^{2})}

для любой функции g, удовлетворяющей свойству ее первой производной, оцененной при $\theta$ , $g'(\theta )$ существует и имеет ненулевое значение.

Доказательство в одномерном случае [ править ]

Демонстрация этого результата довольно проста в предположении, что $' (θ)$ непрерывна g . Для начала мы используем теорему о среднем значении (т. е. аппроксимацию ряда Тейлора первого порядка с использованием теоремы Тейлора ):

g(X_{n})=g(\theta )+g'({\tilde {\theta }})(X_{n}-\theta ),

где ${\tilde {\theta }}$ лежит между $X n$ и θ . Обратите внимание, что поскольку $X_{n}\,{\xrightarrow {P}}\,\theta$ и $|{\tilde {\theta }}-\theta |<|X_{n}-\theta |$ , должно быть так ${\tilde {\theta }}\,{\xrightarrow {P}}\,\theta$ и поскольку $g' (θ)$ непрерывен, применение теоремы о непрерывном отображении дает

g'({\tilde {\theta }})\,{\xrightarrow {P}}\,g'(\theta ),

где ${\xrightarrow {P}}$ обозначает сходимость по вероятности .

Переставив слагаемые и умножив на ${\sqrt {n}}$ дает

{\sqrt {n}}[g(X_{n})-g(\theta )]=g'\left({\tilde {\theta }}\right){\sqrt {n}}[X_{n}-\theta ].

С

{{\sqrt {n}}[X_{n}-\theta ]{\xrightarrow {D}}{\mathcal {N}}(0,\sigma ^{2})}

непосредственно следует, по предположению из обращения к теореме Слуцкого что

{{\sqrt {n}}[g(X_{n})-g(\theta )]{\xrightarrow {D}}{\mathcal {N}}(0,\sigma ^{2}[g'(\theta )]^{2})}.

На этом доказательство завершается.

Доказательство с явным порядком аппроксимации [ править ]

В качестве альтернативы можно добавить еще один шаг в конце, чтобы получить порядок аппроксимации :

{\begin{aligned}{\sqrt {n}}[g(X_{n})-g(\theta )]&=g'\left({\tilde {\theta }}\right){\sqrt {n}}[X_{n}-\theta ]\\[5pt]&={\sqrt {n}}[X_{n}-\theta ]\left[g'({\tilde {\theta }})+g'(\theta )-g'(\theta )\right]\\[5pt]&={\sqrt {n}}[X_{n}-\theta ]\left[g'(\theta )\right]+{\sqrt {n}}[X_{n}-\theta ]\left[g'({\tilde {\theta }})-g'(\theta )\right]\\[5pt]&={\sqrt {n}}[X_{n}-\theta ]\left[g'(\theta )\right]+O_{p}(1)\cdot o_{p}(1)\\[5pt]&={\sqrt {n}}[X_{n}-\theta ]\left[g'(\theta )\right]+o_{p}(1)\end{aligned}}

Это говорит о том, что ошибка аппроксимации по вероятности стремится к 0.

Многомерный дельта-метод [ править ]

По определению, непротиворечивая оценка B сходится по вероятности к своему истинному значению β , и часто центральную предельную теорему можно применить для получения асимптотической нормальности :

{\sqrt {n}}\left(B-\beta \right)\,{\xrightarrow {D}}\,N\left(0,\Sigma \right),

где n — количество наблюдений, а Σ — (симметричная положительно полуопределенная) ковариационная матрица. Предположим, мы хотим оценить дисперсию скалярной функции h оценки B . Сохраняя только первые два члена ряда Тейлора и используя векторное обозначение градиента , мы можем оценить h(B) как

h(B)\approx h(\beta )+\nabla h(\beta )^{T}\cdot (B-\beta )

что означает, что дисперсия h(B) примерно равна

{\begin{aligned}\operatorname {Var} \left(h(B)\right)&\approx \operatorname {Var} \left(h(\beta )+\nabla h(\beta )^{T}\cdot (B-\beta )\right)\\[5pt]&=\operatorname {Var} \left(h(\beta )+\nabla h(\beta )^{T}\cdot B-\nabla h(\beta )^{T}\cdot \beta \right)\\[5pt]&=\operatorname {Var} \left(\nabla h(\beta )^{T}\cdot B\right)\\[5pt]&=\nabla h(\beta )^{T}\cdot \operatorname {Cov} (B)\cdot \nabla h(\beta )\\[5pt]&=\nabla h(\beta )^{T}\cdot {\frac {\Sigma }{n}}\cdot \nabla h(\beta )\end{aligned}}

Можно использовать теорему о среднем значении (для вещественных функций многих переменных), чтобы увидеть, что это не зависит от приближения первого порядка.

Таким образом, дельта-метод подразумевает, что

{\sqrt {n}}\left(h(B)-h(\beta )\right)\,{\xrightarrow {D}}\,N\left(0,\nabla h(\beta )^{T}\cdot \Sigma \cdot \nabla h(\beta )\right)

или в одномерных терминах,

{\sqrt {n}}\left(h(B)-h(\beta )\right)\,{\xrightarrow {D}}\,N\left(0,\sigma ^{2}\cdot \left(h^{\prime }(\beta )\right)^{2}\right).

Пример: биномиальная пропорция [ править ]

Предположим, что n _{биномиален} с X параметрами $p\in (0,1]$ и н . С

{{\sqrt {n}}\left[{\frac {X_{n}}{n}}-p\right]\,{\xrightarrow {D}}\,N(0,p(1-p))},

мы можем применить метод Дельты с $g (θ) = log(θ)$ , чтобы увидеть

{{\sqrt {n}}\left[\log \left({\frac {X_{n}}{n}}\right)-\log(p)\right]\,{\xrightarrow {D}}\,N(0,p(1-p)[1/p]^{2})}

Следовательно, даже если для любого конечного n дисперсия $\log \left({\frac {X_{n}}{n}}\right)$ на самом деле не существует (поскольку X _n может быть равно нулю), асимптотическая дисперсия $\log \left({\frac {X_{n}}{n}}\right)$ существует и равен

{\frac {1-p}{p}}.

Обратите внимание, что поскольку p>0 , $\Pr \left({\frac {X_{n}}{n}}>0\right)\rightarrow 1$ как $n\rightarrow \infty$ , поэтому с вероятностью, стремящейся к единице, $\log \left({\frac {X_{n}}{n}}\right)$ конечно для больших n .

Более того, если ${\hat {p}}$ и ${\hat {q}}$ представляют собой оценки различных групповых показателей из независимых выборок размером n и m соответственно, затем логарифм предполагаемого относительного риска ${\frac {\hat {p}}{\hat {q}}}$ имеет асимптотическую дисперсию, равную

{\frac {1-p}{p\,n}}+{\frac {1-q}{q\,m}}.

Это полезно для построения проверки гипотезы или определения доверительного интервала для относительного риска.

Альтернативная форма [ править ]

Дельта-метод часто используется в форме, по существу идентичной приведенной выше, но без предположения, что $X n$ или B асимптотически нормальны. Часто единственным контекстом является то, что дисперсия «небольшая». Тогда результаты просто дают приближение к средним значениям и ковариациям преобразованных величин. Например, формулы, представленные Кляйном (1953, стр. 258): ^[5]

{\begin{aligned}\operatorname {Var} \left(h_{r}\right)=&\sum _{i}\left({\frac {\partial h_{r}}{\partial B_{i}}}\right)^{2}\operatorname {Var} \left(B_{i}\right)+\sum _{i}\sum _{j\neq i}\left({\frac {\partial h_{r}}{\partial B_{i}}}\right)\left({\frac {\partial h_{r}}{\partial B_{j}}}\right)\operatorname {Cov} \left(B_{i},B_{j}\right)\\\operatorname {Cov} \left(h_{r},h_{s}\right)=&\sum _{i}\left({\frac {\partial h_{r}}{\partial B_{i}}}\right)\left({\frac {\partial h_{s}}{\partial B_{i}}}\right)\operatorname {Var} \left(B_{i}\right)+\sum _{i}\sum _{j\neq i}\left({\frac {\partial h_{r}}{\partial B_{i}}}\right)\left({\frac {\partial h_{s}}{\partial B_{j}}}\right)\operatorname {Cov} \left(B_{i},B_{j}\right)\end{aligned}}

где $hr —$ r - й элемент h ( B ), а i _— i - й элемент B. B

Дельта-метод второго порядка [ править ]

Когда $g' (θ) = 0,$ дельта-метод применить невозможно. Однако, если $g'' (θ)$ существует и не равно нулю, можно применить дельта-метод второго порядка. Согласно расширению Тейлора, $n[g(X_{n})-g(\theta )]={\frac {1}{2}}n[X_{n}-\theta ]^{2}\left[g''(\theta )\right]+o_{p}(1)$ , так что дисперсия $g\left(X_{n}\right)$ зависит до 4-го момента $X_{n}$ .

Дельта-метод второго порядка также полезен для более точной аппроксимации $g\left(X_{n}\right)$ Распределение 's при небольшом размере выборки. ${\sqrt {n}}[g(X_{n})-g(\theta )]={\sqrt {n}}[X_{n}-\theta ]g'(\theta )+{\frac {1}{2}}{\sqrt {n}}[X_{n}-\theta ]^{2}g''(\theta )+o_{p}(1)$ . Например, когда $X_{n}$ следует стандартному нормальному распределению, $g\left(X_{n}\right)$ может быть аппроксимирован как взвешенная сумма стандартного нормали и хи-квадрата со степенью свободы 1.

Непараметрический - метод дельта

Версия дельта-метода существует в непараметрической статистике . Позволять $X_{i}\sim F$ быть независимой и одинаково распределенной случайной величиной с выборкой размера $n$ с эмпирической функцией распределения ${\hat {F}}_{n}$ , и разреши $T$ быть функционалом. Если $T$ дифференцируема по Адамару относительно метрики Чебышева , то

{\frac {T({\hat {F}}_{n})-T(F)}{\widehat {\text{se}}}}\xrightarrow {D} N(0,1)

где ${\widehat {\text{se}}}={\frac {\hat {\tau }}{\sqrt {n}}}$ и ${\hat {\tau }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}{\hat {L}}^{2}(X_{i})$ , с ${\hat {L}}(x)=L_{{\hat {F}}_{n}}(\delta _{x})$ обозначающий эмпирическую функцию влияния для $T$ . Непараметрический $(1-\alpha )$ точечный асимптотический доверительный интервал для $T(F)$ поэтому дается

T({\hat {F}}_{n})\pm z_{\alpha /2}{\widehat {\text{se}}}

где $z_{q}$ обозначает $q$ -квантиль стандартной нормы. См. Вассерман (2006), с. 19ф. подробности и примеры.

См. также [ править ]

Ссылки [ править ]

^ Портной, Стивен (2013). "Письмо редактору". Американский статистик . 67 (3): 190. дои : 10.1080/00031305.2013.820668 . S2CID 219596186 .
^ Келли, Трумэн Л. (1928). Перекрестки в сознании человека: исследование дифференцируемых умственных способностей . стр. 49–50. ISBN 978-1-4338-0048-1 .
^ Дуб, Дж.Л. (1935). «Предельное распределение некоторых статистических данных» . Анналы математической статистики . 6 (3): 160–169. дои : 10.1214/aoms/1177732594 . JSTOR 2957546 .
^ Вер Хоф, JM (2012). «Кто изобрел дельта-метод?». Американский статистик . 66 (2): 124–127. дои : 10.1080/00031305.2012.687494 . JSTOR 23339471 .
^ Кляйн, Л.Р. (1953). Учебник эконометрики . п. 258.

Дальнейшее чтение [ править ]

Олерт, GW (1992). «Заметки о методе Дельта». Американский статистик . 46 (1): 27–29. дои : 10.1080/00031305.1992.10475842 . JSTOR 2684406 .
Уолтер, Кирк М. (1985). «Методы серии Тейлора» . Введение в оценку дисперсии . Нью-Йорк: Спрингер. стр. 221–247. ISBN 0-387-96119-4 .
Вассерман, Ларри (2006). Вся непараметрическая статистика . Нью-Йорк: Спрингер. стр. 19–20. ISBN 0-387-25145-6 .

Внешние ссылки [ править ]

Асмуссен, Сорен (2005). «Некоторые применения метода дельты» (PDF) . Конспект лекций . Орхусский университет. Архивировано из оригинала (PDF) 25 мая 2015 г.
Фейвсон, Алан Х. «Объяснение дельта-метода» . Компания Стата

[1] Портной, Стивен (2013). "Письмо редактору". Американский статистик . 67 (3): 190. дои : 10.1080/00031305.2013.820668 . S2CID 219596186 .

[2] Келли, Трумэн Л. (1928). Перекрестки в сознании человека: исследование дифференцируемых умственных способностей . стр. 49–50. ISBN 978-1-4338-0048-1 .

[3] Дуб, Дж.Л. (1935). «Предельное распределение некоторых статистических данных» . Анналы математической статистики . 6 (3): 160–169. дои : 10.1214/aoms/1177732594 . JSTOR 2957546 .

[4] Вер Хоф, JM (2012). «Кто изобрел дельта-метод?». Американский статистик . 66 (2): 124–127. дои : 10.1080/00031305.2012.687494 . JSTOR 23339471 .

[5] Кляйн, Л.Р. (1953). Учебник эконометрики . п. 258.

[1]

[2]

[3]

[4]

[5]