Гиперприор

В байесовской статистике гиперприор — это априорное распределение по гиперпараметру , то есть по параметру априорного распределения .

Как и в случае с термином «гиперпараметр», использование слова «гипер» предназначено для того, чтобы отличить его от предварительного распределения параметра модели базовой системы. Они возникают, в частности, при использовании иерархических моделей . ^[1]^[2]

Например, если кто-то использует бета-распределение для моделирования распределения параметра распределения p Бернулли , то:

Распределение Бернулли (с параметром p ) является моделью базовой системы;
p — параметр базовой системы (распределение Бернулли);
Бета-распределение (с параметрами α и β ) является априорным распределением p ;
α и β — параметры априорного распределения (бета-распределения), следовательно, гиперпараметры;
Таким образом, априорное распределение α и β является гиперприорным.

В принципе, можно повторить вышесказанное: если гиперприор сам по себе имеет гиперпараметры, их можно назвать гипергиперпараметрами и так далее.

Аналогично можно назвать апостериорное распределение гиперпараметра гиперапостериорным, а если они принадлежат к одному семейству, назвать их сопряженными гиперраспределениями или сопряженным гиперприором. Однако это быстро становится очень абстрактным и удаляется от исходной проблемы.

Цель

Гиперприорные значения, как и сопряженные априорные значения, удобны для вычислений: они не меняют процесс байесовского вывода, а просто позволяют легче описывать и выполнять вычисления с использованием априорных значений.

Неопределенность

Во-первых, использование гиперприора позволяет выразить неопределенность в гиперпараметре: взятие фиксированного априора является предположением, изменение гиперпараметра априора позволяет провести анализ чувствительности на основе этого предположения, а получение распределения по этому гиперпараметру позволяет выразить неопределенность в этом предположении: «предположим, что априор имеет эту форму (это параметрическое семейство), но мы не уверены в том, какими именно должны быть значения параметров».

Распределение смеси

Более абстрактно, если кто-то использует гиперприорное распределение, то априорное распределение (по параметру базовой модели) само по себе является плотностью смеси : это средневзвешенное значение различных априорных распределений (по разным гиперпараметрам), причем гиперприорное распределение представляет собой взвешивание. . Это добавляет дополнительные возможные распределения (помимо используемого параметрического семейства), поскольку параметрические семейства распределений обычно не являются выпуклыми множествами - поскольку плотность смеси представляет собой выпуклую комбинацию распределений, она обычно будет лежать вне семейства.Например, смесь двух нормальных распределений не является нормальным распределением: если взять разные средние значения (достаточно удаленные) и смешать по 50% каждого из них, получится бимодальное распределение, которое, таким образом, не является нормальным. Фактически, выпуклая оболочка нормальных распределений плотна во всех распределениях, поэтому в некоторых случаях вы можете сколь угодно близко аппроксимировать заданный априор, используя семейство с подходящим гипераприором.

Что делает этот подход особенно полезным, так это использование сопряженных априорных значений: отдельные сопряженные априорные значения легко вычисляют апостериорные значения, и, таким образом, смесь сопряженных априорных значений представляет собой одну и ту же смесь апостериорных значений: нужно только знать, как изменяется каждое сопряженное априорное значение.Использование одного сопряженного априора может быть слишком ограничительным, но использование смеси сопряженных априорных значений может дать желаемое распределение в форме, которую легко вычислить.Это похоже на разложение функции по собственным функциям – см. Априорное сопряжение: аналогия с собственными функциями .

Динамическая система

Гиперприор — это распределение в пространстве возможных гиперпараметров. Если использовать сопряженные априорные значения, то это пространство сохраняется за счет перехода к апостериорным — таким образом, по мере поступления данных распределение меняется, но остается в этом пространстве: по мере поступления данных распределение развивается как динамическая система (каждая точка пространства гиперпараметров развивается к обновленным гиперпараметрам), со временем сходясь, так же, как сходится сам априор.

Ссылки

^ Нцуфрас, Иоаннис (2009). «Байесовские иерархические модели». Байесовское моделирование с использованием WinBUGS . Уайли. стр. 305–340. ISBN 978-0-470-14114-4 .
^ МакЭлрит, Ричард (2020). «Модели с памятью». Статистическое переосмысление: байесовский курс с примерами в R и Stan . ЦРК Пресс. ISBN 978-0-367-13991-9 .

Дальнейшее чтение

Бернардо, Дж. М.; Смит, AFM (2000). Байесовская теория . Нью-Йорк: Уайли. ISBN 0-471-49464-Х .

[1] Нцуфрас, Иоаннис (2009). «Байесовские иерархические модели». Байесовское моделирование с использованием WinBUGS . Уайли. стр. 305–340. ISBN 978-0-470-14114-4 .

[2] МакЭлрит, Ричард (2020). «Модели с памятью». Статистическое переосмысление: байесовский курс с примерами в R и Stan . ЦРК Пресс. ISBN 978-0-367-13991-9 .

[1]

[2]