Байесовский экспериментальный план

Байесовский план эксперимента обеспечивает общую теоретико-вероятностную основу, на основе которой могут быть выведены другие теории планирования эксперимента . Он основан на байесовском выводе для интерпретации наблюдений/данных, полученных в ходе эксперимента. Это позволяет учитывать как любые предварительные знания об определяемых параметрах, так и неопределенности в наблюдениях.

Теория байесовского планирования эксперимента в определенной степени основан на теории принятия оптимальных решений в условиях неопределенности . Целью при планировании эксперимента является максимизация ожидаемой полезности результатов эксперимента. Полезность чаще всего определяется как мера точности информации, полученной в результате эксперимента (например, информация Шеннона или отрицательная дисперсия ) , но может также включать такие факторы, как финансовые затраты на проведение эксперимента. Каким будет оптимальный план эксперимента, зависит от конкретного выбранного критерия полезности.

Связь с более специализированной теорией оптимального проектирования

Линейная теория

Если модель линейна, априорная функция плотности вероятности (PDF) однородна, а ошибки наблюдений нормально распределены , теория упрощается до классической теории оптимального планирования эксперимента .

Приблизительная нормальность

В многочисленных публикациях по байесовскому плану экспериментов предполагается (часто неявно), что все апостериорные вероятности будут примерно нормальными. Это позволяет рассчитывать ожидаемую полезность с использованием линейной теории, усредняя по пространству параметров модели. Однако при применении этого метода следует соблюдать осторожность, поскольку приблизительную нормальность всех возможных апостериорных результатов трудно проверить даже в случаях нормальных ошибок наблюдения и однородной априорной вероятности.

Заднее распределение

Во многих случаях апостериорное распределение недоступно в закрытой форме и должно быть аппроксимировано с использованием численных методов. Наиболее распространенный подход - использовать методы Монте-Карло цепи Маркова для генерации апостериорных выборок, которые затем можно использовать для аппроксимации ожидаемой полезности.

Другой подход — использовать вариационную байесовскую аппроксимацию апостериорной функции, которую часто можно рассчитать в закрытой форме. Преимущество этого подхода состоит в том, что он более эффективен в вычислительном отношении, чем методы Монте-Карло, но недостатком является то, что аппроксимация может быть не очень точной.

Некоторые авторы предложили подходы, которые используют апостериорное прогнозируемое распределение для оценки влияния новых измерений на неопределенность прогноза. в то время как другие предлагают максимизировать взаимную информацию между параметрами, прогнозами и потенциальными новыми экспериментами.

Математическая формулировка

Обозначения $\theta \,$ параметры, подлежащие определению $y\,$ наблюдение или данные $\xi \,$ дизайн $p(y\mid \theta ,\xi )\,$ PDF для наблюдения $y$, при заданных значениях параметров $\theta$ и дизайн $\xi$ $p(\theta )\,$ предыдущий PDF-файл $p(y\mid \xi )\,$ Маргинальный PDF в пространстве наблюдения $p(\theta \mid y,\xi )\,$    задний PDF $U(\xi )\,$    полезность дизайна $\xi$ $U(y,\xi )\,$    полезность результата эксперимента после наблюдения $y$ с дизайном $\xi$

Учитывая вектор $\theta$ параметров для определения, априорная вероятность $p(\theta )$ по этим параметрам и вероятности $p(y\mid \theta ,\xi )$ для наблюдения $y$, при заданных значениях параметров $\theta$ и план эксперимента $\xi$, апостериорную вероятность можно вычислить с помощью теоремы Байеса

$p(\theta \mid y,\xi )={\frac {p(y\mid \theta ,\xi )p(\theta )}{p(y\mid \xi )}}\,,$

где $p(y\mid \xi )$ - предельная плотность вероятности в пространстве наблюдения

$p(y\mid \xi )=\int p(\theta )p(y\mid \theta ,\xi )\,d\theta \,.$

Ожидаемая полезность эксперимента с дизайном $\xi$ тогда можно определить

$U(\xi )=\int p(y\mid \xi )U(y,\xi )\,dy,$

где $U(y,\xi )$ - некоторый действительный функционал апостериорной вероятности $p(\theta \mid y,\xi )$ после наблюдения $y$ использование плана эксперимента $\xi$.

Получение информации Шеннона как полезности

Полезность можно определить как априорно-апостериорный выигрыш в информации Шеннона.

$U(y,\xi )=\int \log(p(\theta \mid y,\xi ))\,p(\theta |y,\xi )\,d\theta -\int \log(p(\theta ))\,p(\theta )\,d\theta \,.$

Другая возможность состоит в том, чтобы определить полезность как

$U(y,\xi )=D_{KL}(p(\theta \mid y,\xi )\|p(\theta ))\,,$

расхождение Кульбака -Лейблера априорного и апостериорного распределения. Линдли (1956) отметил, что ожидаемая полезность тогда будет независима от координат и может быть записана в двух формах:

${\begin{alignedat}{2}U(\xi )&=\int \int \log(p(\theta \mid y,\xi ))\,p(\theta ,y\mid \xi )\,d\theta \,dy-\int \log(p(\theta ))\,p(\theta )\,d\theta \\&=\int \int \log(p(y\mid \theta ,\xi ))\,p(\theta ,y\mid \xi )\,dy\,d\theta -\int \log(p(y\mid \xi ))\,p(y\mid \xi )\,dy,\end{alignedat}}\,$

из которых последняя может быть оценена без необходимости оценки отдельной апостериорной вероятности $p(\theta \mid y,\xi )$ для всех возможных наблюдений $y$. Стоит отметить, что второй член во второй строке уравнения не будет зависеть от конструкции. $\xi$, пока не возникает неопределенности наблюдений. С другой стороны, интеграл $p(\theta )\log p(\theta )$ в первой форме является постоянной для всех $\xi$, поэтому, если цель состоит в том, чтобы выбрать схему с наибольшей полезностью, этот член вообще не нужно вычислять. Некоторые авторы рассматривали численные методы оценки и оптимизации этого критерия. Обратите внимание, что

$U(\xi )=I(\theta ;y)\,,$

ожидаемый прирост информации представляет собой в точности взаимную информацию между параметром θ и наблюдением y . Пример байесовского дизайна для распознавания линейной динамической модели приведен в Bania (2019) . С $I(\theta ;y)\,,$ было трудно вычислить, его нижнюю границу использовали в качестве функции полезности. Затем нижняя граница максимизируется при ограничении энергии сигнала. Предлагаемый байесовский дизайн также сравнивался с классическим средним D-оптимальным дизайном. Было показано, что байесовский план превосходит D-оптимальный план.

Критерий Келли описывает также такую ​​функцию полезности для игрока, стремящегося максимизировать прибыль, которая используется в теории азартных игр и информации ; Ситуация Келли идентична предыдущей, с дополнительной информацией, или «частной телеграфной связью», заменяющей эксперимент.

См. также

• Байесовская оптимизация
• Оптимальный дизайн
• Активное обучение
• Ожидаемая ценность выборочной информации

Дальнейшее чтение

• ДасГупта, А. (1996), «Обзор оптимальных байесовских планов» (PDF) , Гош, С.; Рао, Ч.Р. (ред.), Планирование и анализ экспериментов , Справочник по статистике, том. 13, Северная Голландия, стр. 1099–1148, ISBN.  978-0-444-82061-7
• Рейнфорт, Том; и др. (2023), Современный байесовский экспериментальный дизайн , arXiv : 2302.14545