Джеффрис приор

В байесовской статистике является априорное распределение Джеффриса неинформативным априорным распределением для пространства параметров . Назван в честь сэра Гарольда Джеффриса . его функция плотности пропорциональна квадратному корню из определителя информационной матрицы Фишера :

$$p\left(\theta \right)\propto \left|I(\theta )\right|^{1/2}.\,$$

Его ключевой особенностью является то, что он инвариантен при изменении координат вектора параметров. ${\textstyle \theta }$. То есть относительная вероятность, присвоенная объему вероятностного пространства с использованием априора Джеффриса, будет одинаковой независимо от параметризации, используемой для определения априора Джеффриса. Это делает его особенно интересным для использования с параметрами масштаба . В качестве конкретного примера: распределение Бернулли может быть параметризовано вероятностью появления p или отношением шансов . Наивный однородный априор в этом случае не инвариантен к этой репараметризации, а априор Джеффриса инвариантен.

Было показано, что при оценке максимального правдоподобия экспоненциальных семейных моделей штрафные члены, основанные на априоре Джеффриса, уменьшают асимптотическую погрешность в точечных оценках.

Репараметризация

Однопараметрический случай

Если ${\textstyle \theta }$ и ${\textstyle \varphi }$ две возможные параметризации статистической модели, и ${\textstyle \theta }$ является непрерывно дифференцируемой функцией ${\textstyle \varphi }$, мы говорим, что предшествующий ${\textstyle p_{\theta }(\theta )}$ является «инвариантным» относительно репараметризации, если $$p_{\varphi }(\varphi )=p_{\theta }(\theta )\left|{\frac {d\theta }{d\varphi }}\right|,$$то есть если приоры ${\textstyle p_{\theta }(\theta )}$ и ${\textstyle p_{\varphi }(\varphi )}$ связаны обычной теоремой о замене переменных .

Поскольку информация Фишера при перепараметризации преобразуется как $$I_{\varphi }(\varphi )=I_{\theta }(\theta )\left({\frac {d\theta }{d\varphi }}\right)^{2},$$определяя априоры как ${\textstyle p_{\varphi }(\varphi )\propto {\sqrt {I_{\varphi }(\varphi )}}}$ и ${\textstyle p_{\theta }(\theta )\propto {\sqrt {I_{\theta }(\theta )}}}$ дает нам желаемую «инвариантность».

Многопараметрический случай

Аналогично однопараметрическому случаю, пусть ${\textstyle {\vec {\theta }}}$ и ${\textstyle {\vec {\varphi }}}$ быть двумя возможными параметризациями статистической модели, причем ${\textstyle {\vec {\theta }}}$ непрерывно дифференцируемая функция ${\textstyle {\vec {\varphi }}}$. Мы звоним предшествующему ${\textstyle p_{\theta }({\vec {\theta }})}$ «инвариант» относительно перепараметризации, если $$p_{\varphi }({\vec {\varphi }})=p_{\theta }({\vec {\theta }})~|\det J|\,,$$где ${\textstyle J}$ - матрица Якобиана с элементами $$J_{ij}={\frac {\partial \theta _{i}}{\partial \varphi _{j}}}.$$Поскольку информационная матрица Фишера при перепараметризации преобразуется как $$I_{\varphi }({\vec {\varphi }})=J^{T}I_{\theta }({\vec {\theta }})J,$$у нас есть это $$\det I_{\varphi }(\varphi )=\det I_{\theta }(\theta )(\det J)^{2}$$и, таким образом, определяя априоры как ${\textstyle p_{\varphi }({\vec {\varphi }})\propto {\sqrt {\det I_{\varphi }({\vec {\varphi }})}}}$ и ${\textstyle p_{\theta }({\vec {\theta }})\propto {\sqrt {\det I_{\theta }({\vec {\theta }})}}}$ дает нам желаемую «инвариантность».

Атрибуты

С практической и математической точки зрения, веская причина использовать этот неинформативный априор вместо других, например, полученных с помощью предела в сопряженных семействах распределений, заключается в том, что относительная вероятность объема вероятностного пространства не зависит от набор переменных параметров, выбранный для описания пространства параметров.

Иногда априор Джеффриса не может быть нормализован и, таким образом, является неправильным априором . Например, априор Джеффриса для среднего распределения является однородным по всей действительной линии в случае гауссовского распределения с известной дисперсией.

Использование априора Джеффриса нарушает строгую версию принципа правдоподобия , которую принимают многие, но далеко не все статистики. При использовании априора Джеффриса выводы о ${\textstyle {\vec {\theta }}}$ зависят не только от вероятности наблюдаемых данных как функции ${\textstyle {\vec {\theta }}}$, но также и во вселенной всех возможных результатов эксперимента, определенных планом эксперимента, поскольку информация Фишера вычисляется на основе ожиданий по выбранной вселенной. Соответственно, априор Джеффриса и, следовательно, выводы, сделанные с его помощью, могут быть разными для двух экспериментов, в которых участвуют одни и те же ${\textstyle {\vec {\theta }}}$ параметр, даже если функции правдоподобия для двух экспериментов одинаковы, что является нарушением принципа сильного правдоподобия.

Минимальная длина описания

В подходе к статистике, основанном на минимальной длине описания , цель состоит в том, чтобы описать данные как можно более компактно, при этом длина описания измеряется в битах используемого кода. Для параметрического семейства распределений код сравнивается с лучшим кодом, основанным на одном из распределений параметризованного семейства. Основной результат состоит в том, что в экспоненциальных семействах , асимптотически для большого размера выборки, оптимальным является код, основанный на распределении, представляющем собой смесь элементов экспоненциального семейства с априором Джеффриса. Этот результат справедлив, если ограничить набор параметров компактным подмножеством внутри полного пространства параметров. . Если используется полный параметр, следует использовать модифицированную версию результата.

Примеры

Априор Джеффриса для параметра (или набора параметров) зависит от статистической модели.

Распределение Гаусса со средним параметром

Для гауссовского распределения реальной стоимости ${\textstyle x}$$$f(x\mid \mu )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}}$$с ${\textstyle \sigma }$ фиксировано, априор Джеффриса для среднего значения ${\textstyle \mu }$ является $${\begin{aligned}p(\mu )&\propto {\sqrt {I(\mu )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\mu }}\log f(x\mid \mu )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x\mid \mu )\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}dx}}={\sqrt {\sigma ^{2}/\sigma ^{4}}}\propto 1.\end{aligned}}$$То есть, Джеффрисы до ${\textstyle \mu }$ не зависит от ${\textstyle \mu }$; это ненормализованное равномерное распределение на действительной прямой — распределение, равное 1 (или некоторой другой фиксированной константе) для всех точек. Это неправильный априор и, с точностью до выбора константы, является уникальным трансляционно -инвариантным распределением действительных чисел ( мера Хаара относительно сложения действительных чисел), соответствующим среднему значению, являющемуся мерой местоположения и трансляционной инвариантности. соответствует отсутствию информации о местоположении.

Распределение Гаусса с параметром стандартного отклонения

Для гауссовского распределения реальной стоимости ${\textstyle x}$$$f(x\mid \sigma )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}},$$с ${\textstyle \mu }$ фиксировано, априорное значение Джеффриса для стандартного отклонения ${\textstyle \sigma >0}$ является $${\begin{aligned}p(\sigma )&\propto {\sqrt {I(\sigma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\sigma }}\log f(x\mid \sigma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x\mid \sigma )\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}dx}}={\sqrt {\frac {2}{\sigma ^{2}}}}\propto {\frac {1}{\sigma }}.\end{aligned}}$$Аналогично, Джеффрисы до ${\textstyle \log \sigma =\int d\sigma /\sigma }$ — это ненормализованное равномерное распределение на действительной прямой, поэтому это распределение также известно как логарифмический априор . Точно так же Джеффрисы до ${\textstyle \log \sigma ^{2}=2\log \sigma }$ также однороден. Это уникальный (вплоть до кратного) априор (в положительных действительных числах), который является масштабно -инвариантным ( мера Хаара относительно умножения положительных действительных чисел), что соответствует стандартному отклонению, являющемуся мерой масштаба , и масштабной инвариантности, соответствующей нет информации о масштабе. Как и в случае с равномерным распределением действительных чисел, это неправильный априор .

Распределение Пуассона с параметром скорости

Для распределения Пуассона неотрицательного целого числа ${\textstyle n}$, $$f(n\mid \lambda )=e^{-\lambda }{\frac {\lambda ^{n}}{n!}},$$априор Джеффриса для параметра скорости ${\textstyle \lambda \geq 0}$ является $${\begin{aligned}p(\lambda )&\propto {\sqrt {I(\lambda )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\lambda }}\log f(n\mid \lambda )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {n-\lambda }{\lambda }}\right)^{2}\right]}}\\&={\sqrt {\sum _{n=0}^{+\infty }f(n\mid \lambda )\left({\frac {n-\lambda }{\lambda }}\right)^{2}}}={\sqrt {\frac {1}{\lambda }}}.\end{aligned}}$$Аналогично, Джеффрисы до ${\textstyle {\sqrt {\lambda }}=\int d\lambda /{\sqrt {\lambda }}}$ — ненормализованное равномерное распределение на неотрицательной действительной линии.

Суд над Бернулли

Для монеты, которая с вероятностью выпадет орлом ${\textstyle \gamma \in [0,1]}$ и с вероятностью "решка" ${\textstyle 1-\gamma }$, для данного ${\textstyle (H,T)\in \{(0,1),(1,0)\}}$ вероятность ${\textstyle \gamma ^{H}(1-\gamma )^{T}}$. Приор Джеффриса для параметра ${\textstyle \gamma }$ является

$${\begin{aligned}p(\gamma )&\propto {\sqrt {I(\gamma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\gamma }}\log f(x\mid \gamma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {H}{\gamma }}-{\frac {T}{1-\gamma }}\right)^{2}\right]}}\\&={\sqrt {\gamma \left({\frac {1}{\gamma }}-{\frac {0}{1-\gamma }}\right)^{2}+(1-\gamma )\left({\frac {0}{\gamma }}-{\frac {1}{1-\gamma }}\right)^{2}}}={\frac {1}{\sqrt {\gamma (1-\gamma )}}}\,.\end{aligned}}$$

Это арксинусное распределение и бета-распределение с ${\textstyle \alpha =\beta =1/2}$. Кроме того, если ${\textstyle \gamma =\sin ^{2}(\theta )}$ затем $$\Pr[\theta ]=\Pr[\gamma ]{\frac {d\gamma }{d\theta }}\propto {\frac {1}{\sqrt {(\sin ^{2}\theta )(1-\sin ^{2}\theta )}}}~2\sin \theta \cos \theta =2\,.$$То есть, Джеффрисы до ${\textstyle \theta }$ является равномерным на интервале ${\textstyle [0,\pi /2]}$. Эквивалентно, ${\textstyle \theta }$ равномерен по всему кругу ${\textstyle [0,2\pi ]}$.

N -сторонняя игральная кость со смещенными вероятностями

Аналогично, для броска ${\textstyle N}$двусторонний кубик с вероятностями исхода ${\textstyle {\vec {\gamma }}=(\gamma _{1},\ldots ,\gamma _{N})}$, каждый неотрицательный и удовлетворяющий ${\textstyle \sum _{i=1}^{N}\gamma _{i}=1}$, Джеффрис приор для ${\textstyle {\vec {\gamma }}}$ представляет собой распределение Дирихле, в котором все (альфа) параметры равны половине. Это равносильно использованию псевдосчета , равного половине для каждого возможного результата.

Эквивалентно, если мы напишем ${\textstyle \gamma _{i}=\varphi _{i}^{2}}$ для каждого ${\textstyle i}$, то Джеффрис приор для ${\textstyle {\vec {\varphi }}}$ является однородным по ${\textstyle (N-1)}$-мерная единичная сфера ( т. е . она однородна на поверхности ${\textstyle N}$-мерный единичный шар ).

Обобщения

Предварительное сопоставление вероятностей

В 1963 году Уэлч и Пирс показали, что для скалярного параметра θ априор Джеффриса является «вероятностным сопоставлением» в том смысле, что апостериорные прогностические вероятности согласуются с частотными вероятностями, а достоверные интервалы выбранной ширины совпадают с частотными доверительными интервалами . В дальнейшем Пирс показал, что это неверно для многопараметрического случая. вместо этого это приводит к идее априорного сопоставления вероятностей, где лишь неявно определяются как распределение вероятностей, решающее определенное уравнение в частных производных, включающее информацию Фишера .

α-параллельный априор

Используя инструменты информационной геометрии , априор Джеффриса можно обобщить с целью получения априоров, кодирующих геометрическую информацию статистической модели, чтобы быть инвариантными при изменении координаты параметров. Особый случай, так называемый априор Вейля, определяется как форма объема на многообразии Вейля .  

Дальнейшее чтение

• Касс Р.Э., Вассерман Л. (1996). «Выбор предшествующих распределений по формальным правилам». Журнал Американской статистической ассоциации . 91 (435): 1343–1370. дои : 10.1080/01621459.1996.10477003 .
• Ли, Питер М. (2012). «Правило Джеффриса». Байесовская статистика: Введение (4-е изд.). Уайли. стр. 96–102. ISBN  978-1-118-33257-3 .