Гиперпараметр

Эта статья о гиперпараметрах в байесовской статистике. Не путать с гиперпараметром (машинное обучение) .

В байесовской статистике гиперпараметр априорного является параметром распределения ; этот термин используется, чтобы отличить их от параметров модели анализируемой базовой системы.

Например, если кто-то использует бета-распределение для моделирования распределения параметра распределения p Бернулли , то:

• p - параметр базовой системы (распределение Бернулли), а
• α и β — параметры априорного распределения (бета-распределения), следовательно, гиперпараметры .

Можно взять одно значение для данного гиперпараметра или можно выполнить итерацию и взять распределение вероятностей для самого гиперпараметра, называемое гиперприорным .

Цель

Часто используется априор, полученный из параметрического семейства вероятностных распределений – это делается отчасти для ясности (чтобы можно было записать распределение и выбрать форму, варьируя гиперпараметр, а не пытаясь создать произвольную функцию), и отчасти для того, чтобы можно было варьировать гиперпараметр, особенно в методе сопряженных априорных значений или для анализа чувствительности.

Сопряженные априоры

Основная статья: Сопряженный априор

При использовании сопряженного априора апостериорное распределение будет относиться к одному и тому же семейству, но будет иметь разные гиперпараметры, которые отражают добавленную информацию из данных: с субъективной точки зрения убеждения были обновлены. Для общего априорного распределения это очень сложно с вычислительной точки зрения, и апостериорное распределение может иметь необычную или трудноописуемую форму, но для сопряженного априорного распределения обычно существует простая формула, связывающая значения гиперпараметров апостериорного распределения со значениями гиперпараметров апостериорного распределения. априорное, поэтому вычисление апостериорного распределения очень просто.

Анализ чувствительности

Основная статья: Анализ чувствительности

Ключевой проблемой пользователей байесовской статистики и критики со стороны критиков является зависимость апостериорного распределения от априорного. Гиперпараметры решают эту проблему, позволяя легко изменять их и видеть, как меняется апостериорное распределение (и различные его статистические данные, такие как достоверные интервалы ): можно увидеть, насколько чувствительны выводы к предыдущим предположениям, и этот процесс называется анализом чувствительности. .

Аналогичным образом, можно использовать априорное распределение с диапазоном для гиперпараметра, определяя таким образом гиперприорное значение , возможно, отражающее неопределенность в правильном предшествующем взятии, и отражать это в диапазоне для окончательной неопределенности.

Гиперприоры

Основная статья: Гиперприор

Вместо использования одного значения для данного гиперпараметра можно рассмотреть распределение вероятностей самого гиперпараметра; это называется « гиперприор ». В принципе, это можно повторять, называя параметры гиперприора «гипергиперпараметрами» и так далее.

См. также

• Эмпирический метод Байеса

Дальнейшее чтение

• Бернардо, Дж. М.; Смит, AFM (2000). Байесовская теория . Нью-Йорк: Уайли. ISBN  0-471-49464-Х .
• Гельман, А. ; Хилл, Дж. (2007). Анализ данных с использованием регрессии и многоуровневых/иерархических моделей . Нью-Йорк: Издательство Кембриджского университета. стр. 251–278. ISBN  978-0-521-68689-1 .
• Крушке, Дж. К. (2010). Выполнение байесовского анализа данных: руководство по R и BUGS . Академическая пресса. стр. 241–264. ISBN  978-0-12-381485-2 .