г-приор

В статистике g -априор является объективным априором для коэффициентов регрессии множественной регрессии . Его представил Арнольд Зеллнер . Это ключевой инструмент в байесовском и байесовских эмпирическом выборе переменных .

Определение

Рассмотрим набор данных $(x_{1},y_{1}),\ldots ,(x_{n},y_{n})$, где $x_{i}$ являются евклидовыми векторами , а $y_{i}$ являются скалярами . Модель множественной регрессии формулируется как

$y_{i}=x_{i}^{\top }\beta +\varepsilon _{i}.$

где $\varepsilon _{i}$ являются случайными ошибками. G-приор Зеллнера для $\beta$ представляет собой многомерное нормальное распределение с ковариационной матрицей, пропорциональной обратной информационной матрице Фишера для $\beta$, аналогично приору Джеффриса .

Предположим, $\varepsilon _{i}$ являются iid нормальными с нулевым средним значением и дисперсией $\psi ^{-1}$. Позволять $X$ быть матрицей с $i$ая строка равна $x_{i}^{\top }$. Тогда g-приор для $\beta$ это многомерное нормальное распределение с априорным средним значением гиперпараметра $\beta _{0}$ и ковариационная матрица, пропорциональная $\psi ^{-1}(X^{\top }X)^{-1}$, то есть,

$\beta |\psi \sim {\text{N}}[\beta _{0},g\psi ^{-1}(X^{\top }X)^{-1}].$

где g — положительный скалярный параметр.

Заднее распределение бета

Заднее распределение $\beta$ дается как

$\beta |\psi ,x,y\sim {\text{N}}{\Big [}q{\hat {\beta }}+(1-q)\beta _{0},{\frac {q}{\psi }}(X^{\top }X)^{-1}{\Big ]}.$

где $q=g/(1+g)$ и

${\hat {\beta }}=(X^{\top }X)^{-1}X^{\top }y.$

- это оценка максимального правдоподобия (наименьших квадратов) $\beta$. Вектор коэффициентов регрессии $\beta$ может быть оценено по апостериорному среднему значению по g-приорному, т. е. как средневзвешенное значение средства оценки максимального правдоподобия и $\beta _{0}$,

${\tilde {\beta }}=q{\hat {\beta }}+(1-q)\beta _{0}.$

Очевидно, что при g → ∞ апостериорное среднее сходится к оценке максимального правдоподобия.

Выбор г

Оценка g немного менее проста, чем оценка $\beta$. Было предложено множество методов, включая байесовские и эмпирические байесовские оценки.

Дальнейшее чтение

• Датта, Джйотишка; Гош, Джаянта К. (2015). «В поисках оптимальных априорных целей для выбора и оценки модели». В Упадхьяе — Сатьяншу Кумар; и др. (ред.). Современные тенденции в области применения байесовской методологии . ЦРК Пресс. стр. 225–243. ISBN  978-1-4822-3511-1 .
• Марин, Жан-Мишель; Роберт, Кристиан П. (2007). «Регрессия и выбор переменных». Байесовское ядро: практический подход к вычислительной байесовской статистике . Нью-Йорк: Спрингер. стр. 47–84. дои : 10.1007/978-0-387-38983-7_3 . ISBN  978-0-387-38979-0 .