Функция дисперсии

Чтобы узнать о дисперсии как функции разделения пространства-времени, см. Вариограмму .

В статистике представляет функция дисперсии собой гладкую функцию , которая отображает дисперсию случайной величины как функцию ее среднего значения . Функция дисперсии является мерой гетероскедастичности и играет большую роль во многих условиях статистического моделирования. Это основной компонент обобщенной линейной модели и инструмент, используемый в непараметрической регрессии . полупараметрическая регрессия и функциональный анализ данных . При параметрическом моделировании функции дисперсии принимают параметрическую форму и явно описывают связь между дисперсией и средним значением случайной величины. В непараметрической настройке предполагается, что функция дисперсии является гладкой функцией .

Интуиция

В настройке регрессионной модели цель состоит в том, чтобы установить, существует ли связь между переменной ответа и набором переменных-предикторов. Кроме того, если связь действительно существует, цель состоит в том, чтобы описать ее как можно лучше. Основным допущением линейной регрессии является постоянная дисперсия или (гомоскедастичность), что означает, что разные переменные ответа имеют одинаковую дисперсию своих ошибок на каждом уровне предикторов. Это предположение хорошо работает, когда переменная ответа и переменная-предиктор вместе являются нормальными . Как мы увидим позже, функция отклонения в настройке «Нормальный» является постоянной; однако мы должны найти способ количественной оценки гетероскедастичности (непостоянной дисперсии) при отсутствии совместной нормальности.

Когда вполне вероятно, что ответ следует за распределением, которое является членом экспоненциального семейства, может быть более уместным использовать обобщенную линейную модель , и, более того, когда мы не хотим навязывать нашим данным параметрическую модель, непараметрическую модель регрессионный подход может быть полезен. Важность возможности моделировать дисперсию как функцию среднего значения заключается в улучшении вывода (в параметрической настройке) и оценке функции регрессии в целом для любых настроек.

Функции дисперсии играют очень важную роль в оценке параметров и выводах. В общем, оценка максимального правдоподобия требует определения функции правдоподобия. Это требование означает, что сначала необходимо указать распределение наблюдаемых переменных отклика. Однако, чтобы определить квазиправдоподобие, нужно только указать связь между средним значением и дисперсией наблюдений, чтобы затем иметь возможность использовать функцию квазиправдоподобия для оценки. Оценка квазиправдоподобия особенно полезна при наличии чрезмерной дисперсии . Чрезмерная дисперсия возникает, когда вариативность данных больше, чем можно было бы ожидать в соответствии с предполагаемым распределением данных.

Таким образом, чтобы обеспечить эффективный вывод параметров регрессии и функции регрессии, необходимо учитывать гетероскедастичность. Функции дисперсии количественно определяют взаимосвязь между дисперсией и средним значением наблюдаемых данных и, следовательно, играют значительную роль в оценке регрессии и выводах.

Типы

Функция дисперсии и ее приложения встречаются во многих областях статистического анализа. Очень важное использование этой функции находится в рамках обобщенных линейных моделей и непараметрической регрессии .

Обобщенная линейная модель

член экспоненциального семейства , можно легко вывести функцию дисперсии. Если указан Общая форма функции дисперсии представлена ​​в контексте экспоненциального семейства, а также конкретные формы для нормальной функции, функции Бернулли, Пуассона и гаммы. Кроме того, мы описываем приложения и использование функций дисперсии при оценке максимального правдоподобия и оценке квазиправдоподобия.

Вывод

Обобщенная линейная модель (GLM) представляет собой обобщение обычного регрессионного анализа, которое распространяется на любого члена экспоненциального семейства . Это особенно полезно, когда переменная ответа является категориальной, двоичной или подчиняется ограничению (например, имеют смысл только положительные ответы). На этой странице представлен краткий обзор компонентов GLM, но более подробную информацию и информацию см. на странице обобщенных линейных моделей .

GLM : состоит из трех основных компонентов

1. Случайная компонента: распределение y из экспоненциального семейства, $E[y\mid X]=\mu$

2. Линейный предиктор: $\eta =XB=\sum _{j=1}^{p}X_{ij}^{T}B_{j}$

3. Функция ссылки: $\eta =g(\mu ),\mu =g^{-1}(\eta )$

Сначала важно вывести пару ключевых свойств экспоненциального семейства.

Любая случайная величина ${\textit {y}}$ в экспоненциальном семействе имеет функцию плотности вероятности вида:

$f(y,\theta ,\phi )=\exp \left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)$

с логарифмическим правдоподобием,

$\ell (\theta ,y,\phi )=\log(f(y,\theta ,\phi ))={\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )$

Здесь, $\theta$ является каноническим параметром и интересующим параметром, а $\phi$ является мешающим параметром, который играет роль в дисперсии.Мы используем тождества Бартлетта , чтобы вывести общее выражение для функции дисперсии .Первый и второй результаты Бартлетта гарантируют, что при подходящих условиях (см. интегральное правило Лейбница ) для функции плотности, зависящей от $\theta ,f_{\theta }()$,

$\operatorname {E} _{\theta }\left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(y))\right]=0$

$\operatorname {Var} _{\theta }\left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(y))\right]+\operatorname {E} _{\theta }\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log(f_{\theta }(y))\right]=0$

Эти тождества приводят к простым расчетам ожидаемого значения и дисперсии любой случайной величины. ${\textit {y}}$ в экспоненциальном семействе $E_{\theta }[y],Var_{\theta }[y]$.

Ожидаемое значение Y : Взяв первую производную по $\theta$ логарифма плотности в экспоненциальной форме семейства, описанной выше, мы имеем

${\frac {\partial }{\partial \theta }}\log(f(y,\theta ,\phi ))={\frac {\partial }{\partial \theta }}\left[{\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right]={\frac {y-b'(\theta )}{\phi }}$

Затем взятие ожидаемого значения и установка его равным нулю приводит к:

$\operatorname {E} _{\theta }\left[{\frac {y-b'(\theta )}{\phi }}\right]={\frac {\operatorname {E} _{\theta }[y]-b'(\theta )}{\phi }}=0$

$\operatorname {E} _{\theta }[y]=b'(\theta )$

Отклонение Y: Для вычисления дисперсии мы используем второе тождество Бартлетта:

$\operatorname {Var} _{\theta }\left[{\frac {\partial }{\partial \theta }}\left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)\right]+\operatorname {E} _{\theta }\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)\right]=0$

$\operatorname {Var} _{\theta }\left[{\frac {y-b'(\theta )}{\phi }}\right]+\operatorname {E} _{\theta }\left[{\frac {-b''(\theta )}{\phi }}\right]=0$

$\operatorname {Var} _{\theta }\left[y\right]=b''(\theta )\phi$

Теперь у нас есть отношения между $\mu$ и $\theta$, а именно

$\mu =b'(\theta )$ и $\theta =b'^{-1}(\mu )$, что позволяет установить связь между $\mu$ и дисперсия,

$V(\theta )=b''(\theta )={\text{the part of the variance that depends on }}\theta$

$\operatorname {V} (\mu )=b''(b'^{-1}(\mu )).\,$

Обратите внимание, что поскольку $\operatorname {Var} _{\theta }\left[y\right]>0,b''(\theta )>0$, затем $b':\theta \rightarrow \mu$ является обратимым.Мы выводим функцию дисперсии для нескольких распространенных распределений.

Пример – нормальный

Нормальное распределение — это частный случай, когда функция дисперсии является константой. Позволять $y\sim N(\mu ,\sigma ^{2})$ затем мы представим функцию плотности y в виде экспоненциального семейства, описанного выше:

$f(y)=\exp \left({\frac {y\mu -{\frac {\mu ^{2}}{2}}}{\sigma ^{2}}}-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2}}\right)$

где

$\theta =\mu ,$

$b(\theta )={\frac {\mu ^{2}}{2}},$

$\phi =\sigma ^{2},$

$c(y,\phi )=-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2}}$

Чтобы вычислить функцию дисперсии $V(\mu )$, мы сначала выражаем $\theta$ как функция $\mu$. Затем мы трансформируем $V(\theta )$ в функцию $\mu$

$\theta =\mu$

$b'(\theta )=\theta =\operatorname {E} [y]=\mu$

$V(\theta )=b''(\theta )=1$

Следовательно, функция дисперсии постоянна.

Пример – Бернулли

Позволять $y\sim {\text{Bernoulli}}(p)$, то мы выражаем плотность распределения Бернулли в экспоненциальной форме семейства:

$f(y)=\exp \left(y\ln {\frac {p}{1-p}}+\ln(1-p)\right)$

$\theta =\ln {\frac {p}{1-p}}=$ логит (p), что дает нам $p={\frac {e^{\theta }}{1+e^{\theta }}}=$ он ждет $(\theta )$

$b(\theta )=\ln(1+e^{\theta })$ и

$b'(\theta )={\frac {e^{\theta }}{1+e^{\theta }}}=$ он ждет $(\theta )=p=\mu$

$b''(\theta )={\frac {e^{\theta }}{1+e^{\theta }}}-\left({\frac {e^{\theta }}{1+e^{\theta }}}\right)^{2}$

Это дает нам

$V(\mu )=\mu (1-\mu )$

Пример – Пуассон

Позволять $y\sim {\text{Poisson}}(\lambda )$, то мы выражаем плотность распределения Пуассона в экспоненциальной форме семейства:

$f(y)=\exp(y\ln \lambda -\ln \lambda )$

$\theta =\ln \lambda =$ что дает нам $\lambda =e^{\theta }$

$b(\theta )=e^{\theta }$ и

$b'(\theta )=e^{\theta }=\lambda =\mu$

$b''(\theta )=e^{\theta }=\mu$

Это дает нам

$V(\mu )=\mu$

Здесь мы видим главное свойство данных Пуассона: дисперсия равна среднему значению.

Пример — Гамма

Гамма -распределение и функция плотности могут быть выражены при различных параметризациях. Мы будем использовать форму гаммы с параметрами $(\mu ,\nu )$

$f_{\mu ,\nu }(y)={\frac {1}{\Gamma (\nu )y}}\left({\frac {\nu y}{\mu }}\right)^{\nu }e^{-{\frac {\nu y}{\mu }}}$

Тогда в экспоненциальной форме семейства мы имеем

$f_{\mu ,\nu }(y)=\exp \left({\frac {-{\frac {1}{\mu }}y+\ln({\frac {1}{\mu }})}{\frac {1}{\nu }}}+\ln \left({\frac {\nu ^{\nu }y^{\nu -1}}{\Gamma (\nu )}}\right)\right)$

$\theta ={\frac {-1}{\mu }}\rightarrow \mu ={\frac {-1}{\theta }}$

$\phi ={\frac {1}{\nu }}$

$b(\theta )=-\ln(-\theta )$

$b'(\theta )={\frac {-1}{\theta }}={\frac {-1}{\frac {-1}{\mu }}}=\mu$

$b''(\theta )={\frac {1}{\theta ^{2}}}=\mu ^{2}$

И у нас есть $V(\mu )=\mu ^{2}$

Приложение – взвешенный метод наименьших квадратов

Очень важным применением функции дисперсии является ее использование при оценке параметров и выводе, когда переменная отклика имеет требуемую форму экспоненциального семейства, а также в некоторых случаях, когда это не так (что мы обсудим в разделе квазиправдоподобия ). Взвешенный метод наименьших квадратов (WLS) является частным случаем обобщенного метода наименьших квадратов. Каждый член критерия WLS включает вес, который определяет влияние каждого наблюдения на окончательные оценки параметров. Как и в обычном методе наименьших квадратов, цель состоит в том, чтобы оценить неизвестные параметры в функции регрессии путем нахождения значений для оценок параметров, которые минимизируют сумму квадратов отклонений между наблюдаемыми ответами и функциональной частью модели.

Хотя WLS предполагает независимость наблюдений, он не предполагает равную дисперсию и, следовательно, является решением для оценки параметров при наличии гетероскедастичности. Теорема Гаусса -Маркова и Эйткен демонстрируют, что лучшая линейная несмещенная оценка (СИНИЙ), несмещенная оценка с минимальной дисперсией, имеет каждый вес, равный обратной величине дисперсии измерения.

В рамках GLM наша цель — оценить параметры $\beta$, где $Z=g(E[y\mid X])=X\beta$. Поэтому нам хотелось бы свести к минимуму $(Z-XB)^{T}W(Z-XB)$ и если мы определим весовую матрицу W как

$\underbrace {W} _{n\times n}={\begin{bmatrix}{\frac {1}{\phi V(\mu _{1})g'(\mu _{1})^{2}}}&0&\cdots &0&0\\0&{\frac {1}{\phi V(\mu _{2})g'(\mu _{2})^{2}}}&0&\cdots &0\\\vdots &\vdots &\vdots &\vdots &0\\\vdots &\vdots &\vdots &\vdots &0\\0&\cdots &\cdots &0&{\frac {1}{\phi V(\mu _{n})g'(\mu _{n})^{2}}}\end{bmatrix}},$

где $\phi ,V(\mu ),g(\mu )$ определены в предыдущем разделе, это позволяет проводить итеративно взвешенную оценку параметров методом наименьших квадратов (IRLS). вывод см. в разделе об итеративном повторном взвешивании наименьших квадратов Дополнительную информацию и .

Также важно отметить, что когда весовая матрица имеет описанную здесь форму, минимизация выражения $(Z-XB)^{T}W(Z-XB)$ также минимизирует расстояние Пирсона. см. в разделе Корреляция расстояний Дополнительную информацию .

Матрица W выпадает из уравнений оценки для оценки $\beta$. Оценка максимального правдоподобия для каждого параметра $\beta _{r},1\leq r\leq p$, требует

$\sum _{i=1}^{n}{\frac {\partial l_{i}}{\partial \beta _{r}}}=0$, где $\operatorname {l} (\theta ,y,\phi )=\log(\operatorname {f} (y,\theta ,\phi ))={\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )$ это логарифмическая вероятность.

Глядя на одно наблюдение, которое мы имеем,

${\frac {\partial l}{\partial \beta _{r}}}={\frac {\partial l}{\partial \theta }}{\frac {\partial \theta }{\partial \mu }}{\frac {\partial \mu }{\partial \eta }}{\frac {\partial \eta }{\partial \beta _{r}}}$

${\frac {\partial \eta }{\partial \beta _{r}}}=x_{r}$

${\frac {\partial l}{\partial \theta }}={\frac {y-b'(\theta )}{\phi }}={\frac {y-\mu }{\phi }}$

${\frac {\partial \theta }{\partial \mu }}={\frac {\partial b'^{-1}(\mu )}{\mu }}={\frac {1}{b''(b'(\mu ))}}={\frac {1}{V(\mu )}}$

Это дает нам

${\frac {\partial l}{\partial \beta _{r}}}={\frac {y-\mu }{\phi V(\mu )}}{\frac {\partial \mu }{\partial \eta }}x_{r}$, и отмечая, что

${\frac {\partial \eta }{\partial \mu }}=g'(\mu )$ у нас есть это

${\frac {\partial l}{\partial \beta _{r}}}=(y-\mu )W{\frac {\partial \eta }{\partial \mu }}x_{r}$

Матрица Гессе определяется аналогичным образом, и можно показать, что она равна:

$H=X^{T}(y-\mu )\left[{\frac {\partial }{\beta _{s}}}W{\frac {\partial }{\beta _{r}}}\right]-X^{T}WX$

Отмечая, что информация Фишера (FI),

${\text{FI}}=-E[H]=X^{T}WX$, позволяет провести асимптотическую аппроксимацию ${\hat {\beta }}$

${\hat {\beta }}\sim N_{p}(\beta ,(X^{T}WX)^{-1})$, и, следовательно, можно сделать вывод.

Применение – квазиправдоподобие

Поскольку большинство характеристик GLM зависят только от первых двух моментов распределения, а не от всего распределения, квазиправдоподобие можно получить, просто указав функцию связи и функцию дисперсии. То есть нам нужно указать

• функция ссылки, $E[y]=\mu =g^{-1}(\eta )$
• функция дисперсии, $V(\mu )$, где $\operatorname {Var} _{\theta }(y)=\sigma ^{2}V(\mu )$

Имея заданную функцию дисперсии и функцию связи, мы можем разработать в качестве альтернативы логарифмической функции правдоподобия , оценки и информации Фишера квазиправдоподобие квазиинформацию , квазиоценку и функции . Это позволяет сделать полный вывод $\beta$.

Квазиправдоподобие (QL)

Хотя это и называется квазиправдоподобием , на самом деле это квазилогарифмическое правдоподобие . QL для одного наблюдения составляет

$Q_{i}(\mu _{i},y_{i})=\int _{y_{i}}^{\mu _{i}}{\frac {y_{i}-t}{\sigma ^{2}V(t)}}\,dt$

И поэтому QL для всех n наблюдений равен

$Q(\mu ,y)=\sum _{i=1}^{n}Q_{i}(\mu _{i},y_{i})=\sum _{i=1}^{n}\int _{y_{i}}^{\mu _{i}}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt$

Из QL мы получаем квазиоценку

Квази-оценка (QS)

Вспомните оценки функцию U для данных с логарифмическим правдоподобием. $\operatorname {l} (\mu \mid y)$ является

$U={\frac {\partial l}{d\mu }}.$

Аналогично получаем квази-оценку:

$U={\frac {y-\mu }{\sigma ^{2}V(\mu )}}$

Отмечая, что для одного наблюдения оценка равна

${\frac {\partial Q}{\partial \mu }}={\frac {y-\mu }{\sigma ^{2}V(\mu )}}$

Первые два уравнения Бартлетта удовлетворяются для квазипоказателя, а именно:

$E[U]=0$

и

$\operatorname {Cov} (U)+E\left[{\frac {\partial U}{\partial \mu }}\right]=0.$

Кроме того, квазиоценка линейна по y .

В конечном итоге цель — найти информацию об интересующих параметрах. $\beta$. И QS, и QL на самом деле являются функциями $\beta$. Отзывать, $\mu =g^{-1}(\eta )$, и $\eta =X\beta$, поэтому,

$\mu =g^{-1}(X\beta ).$

Квазиинформация (КИ)

Квазиинформация . аналогична Фишера информации

$i_{b}=-\operatorname {E} \left[{\frac {\partial U}{\partial \beta }}\right]$

QL, QS, QI как функции $\beta$

QL, QS и QI служат строительными блоками для вывода об интересующих параметрах, и поэтому важно выражать QL, QS и QI как функции $\beta$.

Напоминая еще раз, что $\mu =g^{-1}(X\beta )$, получим выражения для QL, QS и QI, параметризованные под $\beta$.

Квазивероятность в $\beta$,

$Q(\beta ,y)=\int _{y}^{\mu (\beta )}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt$

QS как функция $\beta$ поэтому

$U_{j}(\beta _{j})={\frac {\partial }{\partial \beta _{j}}}Q(\beta ,y)=\sum _{i=1}^{n}{\frac {\partial \mu _{i}}{\partial \beta _{j}}}{\frac {y_{i}-\mu _{i}(\beta _{j})}{\sigma ^{2}V(\mu _{i})}}$

$U(\beta )={\begin{bmatrix}U_{1}(\beta )\\U_{2}(\beta )\\\vdots \\\vdots \\U_{p}(\beta )\end{bmatrix}}=D^{T}V^{-1}{\frac {(y-\mu )}{\sigma ^{2}}}$

Где,

$\underbrace {D} _{n\times p}={\begin{bmatrix}{\frac {\partial \mu _{1}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{1}}{\partial \beta _{p}}}\\{\frac {\partial \mu _{2}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{2}}{\partial \beta _{p}}}\\\vdots \\\vdots \\{\frac {\partial \mu _{m}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{m}}{\partial \beta _{p}}}\end{bmatrix}}\underbrace {V} _{n\times n}=\operatorname {diag} (V(\mu _{1}),V(\mu _{2}),\ldots ,\ldots ,V(\mu _{n}))$

Квазиинформационная матрица в $\beta$ является,

$i_{b}=-{\frac {\partial U}{\partial \beta }}=\operatorname {Cov} (U(\beta ))={\frac {D^{T}V^{-1}D}{\sigma ^{2}}}$

Получение оценочной функции и информации о $\beta$ позволяет оценивать параметры и делать выводы аналогично тому, как описано в разделе «Приложение – взвешенные наименьшие квадраты» .

Непараметрический регрессионный анализ

Диаграмма разброса количества лет в высшей лиге в зависимости от зарплаты (x 1000 долларов США). Линия представляет собой тенденцию к среднему значению. График показывает, что дисперсия не является постоянной.

Сглаженная условная дисперсия относительно сглаженного условного среднего. Квадратичная форма указывает на гамма-распределение. Функция дисперсии гаммы равна V( $\mu$) = $\mu ^{2}$

Непараметрическая оценка функции дисперсии и ее важность широко обсуждаются в литературе. В непараметрическом регрессионном анализе цель состоит в том, чтобы выразить ожидаемое значение вашей переменной ответа ( y ) как функцию ваших предикторов ( X ). То есть мы хотим оценить среднюю функцию, $g(x)=\operatorname {E} [y\mid X=x]$ не принимая параметрическую форму. Существует множество форм непараметрических методов сглаживания, помогающих оценить функцию. $g(x)$. Интересный подход состоит в том, чтобы также рассмотреть непараметрическую функцию дисперсии , $g_{v}(x)=\operatorname {Var} (Y\mid X=x)$. Непараметрическая функция дисперсии позволяет взглянуть на функцию среднего значения с точки зрения функции дисперсии и заметить закономерности в данных.

$g_{v}(x)=\operatorname {Var} (Y\mid X=x)=\operatorname {E} [y^{2}\mid X=x]-\left[\operatorname {E} [y\mid X=x]\right]^{2}$

Пример подробно показан на картинках справа. Цель проекта состояла в том, чтобы определить (среди прочего), влиял ли предиктор, количество лет в высшей лиге (бейсбол), на реакцию, зарплату , которую зарабатывал игрок. Первоначальная диаграмма рассеяния данных показывает, что в данных существует гетероскедастичность, поскольку дисперсия не является постоянной на каждом уровне предиктора. Поскольку мы можем визуально обнаружить непостоянную дисперсию, теперь полезно построить график $g_{v}(x)=\operatorname {Var} (Y\mid X=x)=\operatorname {E} [y^{2}\mid X=x]-\left[\operatorname {E} [y\mid X=x]\right]^{2}$и посмотрите, указывает ли форма на какое-либо известное распределение. Можно оценить $\operatorname {E} [y^{2}\mid X=x]$ и $\left[\operatorname {E} [y\mid X=x]\right]^{2}$ используя общий метод сглаживания . График непараметрической сглаженной функции дисперсии может дать исследователю представление о взаимосвязи между дисперсией и средним значением. На рисунке справа показано квадратичное соотношение между средним значением и дисперсией. Как мы видели выше, функция дисперсии гаммы в среднем квадратична.

Ссылки

• МакКаллах, Питер ; Нелдер, Джон (1989). Обобщенные линейные модели (второе изд.). Лондон: Чепмен и Холл. ISBN  0-412-31760-5 .
• Хенрик Мэдсен и Пол Тайрегод (2011). Введение в общие и обобщенные линейные модели . Чепмен и Холл/CRC. ISBN  978-1-4200-9155-7 .

Внешние ссылки

• СМИ, связанные с функцией отклонения, на Викискладе?