Байесовская квадратура

Байесовская квадратура это метод аппроксимации трудноразрешимых задач интеграции. Он относится к классу вероятностных численных методов . Байесовская квадратура рассматривает численное интегрирование как задачу байесовского вывода , где оценки функции используются для оценки интеграла этой функции. По этой причине его иногда также называют «байесовским вероятностным численным интегрированием» или «байесовским численным интегрированием». Название «байесовская кубатура» также иногда используется, когда подынтегральная функция является многомерной. Потенциальным преимуществом этого подхода является то, что он обеспечивает количественную оценку вероятностной неопределенности значения интеграла.

Байесовская квадратура

Численное интегрирование

Позволять $f:{\mathcal {X}}\rightarrow \mathbb {R}$ быть функцией, определенной в домене ${\mathcal {X}}$ (где обычно ${\mathcal {X}}\subseteq \mathbb {R} ^{d}$).При численном интегрировании оценки функций $f(x_{1}),\ldots ,f(x_{n})$ в разных местах $x_{1},\ldots ,x_{n}$ в ${\mathcal {X}}$ используются для оценки интеграла от $f$ против меры $\nu$: то есть $\textstyle \nu [f]:=\int _{\mathcal {X}}f(x)\nu (\mathrm {d} x).$ Учитывая веса $w_{1},\ldots ,w_{n}\in \mathbb {R}$, квадратурное правило является оценкой $\nu [f]$ формы $\textstyle {\hat {\nu }}[f]:=\sum _{i=1}^{n}w_{i}f(x_{i}).$

Байесовская квадратура состоит из указания предварительного распределения по $f$, обуславливая это предварительно $f(x_{1}),\ldots ,f(x_{n})$ чтобы получить апостериорное распределение $f$, затем вычисляем подразумеваемое апостериорное распределение на $\nu [f]$. Название «квадратура» происходит от того, что задние означают на $\nu [f]$ иногда принимает форму квадратурного правила, веса которого определяются выбором априора.

Байесовская квадратура с гауссовскими процессами

Наиболее распространенный выбор предварительного распределения для $f$ является гауссовским процессом , поскольку он позволяет сделать сопряженный вывод для получения апостериорного распределения в замкнутой форме на $\nu [f]$. Предположим, у нас есть гауссов процесс с априорной средней функцией $m:{\mathcal {X}}\rightarrow \mathbb {R}$ и функция ковариации (или функция ядра) $k:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R}$. Тогда апостериорное распределение по $f$ представляет собой гауссов процесс со средним $m_{n}:{\mathcal {X}}\rightarrow \mathbb {R}$ и ядро $k_{n}:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R}$ предоставлено: $$m_{n}(x)=m(x)+k(x,X)k(X,X)^{-1}f(X)\qquad {\text{and}}\qquad k_{n}(x,y)=k(x,y)-k(x,X)k(X,X)^{-1}k(X,y).$$где $(k(X,X))_{ij}=k(x_{i},x_{j})$, $(f(X))_{i}=f(x_{i})$, $(k(\cdot ,X))_{i}=k(\cdot ,x_{i})$ и $(k(X,\cdot ))_{i}=k(x_{i},\cdot )$.

Кроме того, апостериорное распределение на $\nu [f]$ представляет собой одномерное распределение Гаусса со средним значением $\mathbb {E} [\nu [f]]$ и дисперсия $\mathbb {V} [\nu [f]]$ данный $$\mathbb {E} [\nu [f]]=\nu [m]+\nu [k(\cdot ,X)]k(X,X)^{-1}f(X)\qquad {\text{and}}\qquad \mathbb {V} [\nu [f]]=\nu \nu [k]-\nu [k(\cdot ,X)]k(X,X)^{-1}\nu [k(X,\cdot )].$$Функция $\textstyle \nu [k(\cdot ,x)]=\int _{\mathcal {X}}k(y,x)\nu (\mathrm {d} y)$является ядром среднего вложения $k$ и $\textstyle \nu \nu [k]=\int _{\mathcal {X}}k(x,y)\nu (dx)\nu (\mathrm {d} y)$ обозначает интеграл от $k$ относительно обоих входов.В частности, обратите внимание, что апостериорное среднее представляет собой квадратурное правило с весами $\textstyle w_{i}=(\nu [k(\cdot ,X)]k(X,X)^{-1})_{i}.$а апостериорная дисперсия дает количественную оценку неопределенности пользователя относительно значения $\nu [f]$.

В более сложных задачах интеграции, когда на априорное распределение нельзя полагаться как на значимое представление эпистемической неопределенности, необходимо использовать данные $f(x_{1}),\ldots ,f(x_{n})$ установить гиперпараметры ядра, используя, например, оценку максимального правдоподобия . Оценка гиперпараметров ядра вводит адаптивность в байесовскую квадратуру.

Пример

Иллюстрация байесовской квадратуры для оценки $\textstyle \nu [f]=\int _{0}^{1}f(x)\,\mathrm {d} x$ где $\textstyle f(x)=(1+x^{2})\sin(5\pi x)+8/5$. Апостериорное распределение (синий) концентрируется на истинном интеграле, когда о подынтегральном выражении получено больше данных (красные точки). $f$.

Рассмотрим оценку интеграла $$\nu [f]=\int _{0}^{1}f(x)\,\mathrm {d} x\approx 1.79\quad {\text{ of the function }}\quad f(x)=(1+x^{2})\sin(5\pi x)+{\frac {8}{5}}$$используя правило байесовской квадратуры, основанное на априорном гауссовском процессе с нулевым средним с ковариационной функцией гладкости Матерна $3/2$ и длина корреляции $\rho =1/5$.Эта ковариационная функция $\textstyle k(x,y)=(1+{\sqrt {3}}\,|x-y|/\rho )\exp(\!-{\sqrt {3}}\,|x-y|/\rho ).$Это несложно (хотя и утомительно) вычислить. $$\nu [k(\cdot ,x)]=\int _{0}^{1}k(y,x)\,\mathrm {d} y={\frac {4\rho }{\sqrt {3}}}-{\frac {1}{3}}\exp {\bigg (}{\frac {{\sqrt {3}}(x-1)}{\rho }}{\bigg )}{\big (}3+2{\sqrt {3}}\,\rho -3x{\big )}-{\frac {1}{3}}\exp {\bigg (}-{\frac {{\sqrt {3}}\,x}{\rho }}{\bigg )}{\big (}3x+2{\sqrt {3}}\,\rho {\big )}$$$$\nu \nu [k]=\int _{0}^{1}\int _{0}^{1}k(x,y)\,\mathrm {d} x\,\mathrm {d} y={\frac {2\rho }{3}}{\Bigg [}2{\sqrt {3}}-3\rho +\exp {\bigg (}\!-{\frac {\sqrt {3}}{\rho }}{\bigg )}{\big (}{\sqrt {3}}+3\rho {\big )}{\Bigg ]}.$$Сходимость байесовской квадратурной точечной оценки $\mathbb {E} [\nu [f]]$ и концентрация задней массы, количественно определяемая $\mathbb {V} [\nu [f]]$, вокруг истинного интеграла $\nu [f]$ как $f$ оценивается во все большем количестве баллов и отображается в сопровождающей анимации.

Преимущества и недостатки

Поскольку байесовская квадратура является примером вероятностных чисел , она наследует определенные преимущества по сравнению с традиционными методами численного интегрирования :

• Это позволяет количественно оценить неопределенность и распространить ее на все последующие вычисления, чтобы явно смоделировать влияние числовой ошибки.
• Он обеспечивает принципиальный способ включения предшествующих знаний путем разумного выбора предшествующих распределений для $f$, который может быть более сложным по сравнению с только что описанным стандартным гауссовским процессом.
• Это позволяет более эффективно использовать информацию, например, совместно делать выводы о нескольких связанных количествах, представляющих интерес. или используя активное обучение, чтобы уменьшить необходимое количество баллов.

Несмотря на эти достоинства, байесовские квадратурные методы обладают следующими ограничениями:

• Хотя байесовская парадигма допускает принципиальную трактовку количественной оценки неопределенности, апостериорный вывод по сравнению с $\nu [f]$ не всегда поддается решению, поэтому требуется оценка второго уровня. Например, для байесовской квадратуры с гауссовскими процессами вложение среднего ядра $\nu [k(\cdot ,x)]$ имеет не выражения в замкнутой форме для общего ядра $k$ и измерить $\nu$.

• Вычислительные затраты на байесовские квадратурные методы, основанные на гауссовских процессах, в целом составляют ${\mathcal {O}}(n^{3})$ из-за стоимости инвертирования $n\times n$ матрицы, которые могут не поддаваться их применению для решения крупномасштабных задач.

Алгоритмическое проектирование

Предыдущие дистрибутивы

Чаще всего используется до $f$ является априорным гауссовским процессом. Это главным образом связано с преимуществом, обеспечиваемым гауссовой сопряженностью, и тем фактом, что гауссовские процессы могут кодировать широкий спектр априорных знаний, включая гладкость, периодичность и разреженность, посредством тщательного выбора априорной ковариации. Однако был также предложен ряд других предшествующих распределений. Сюда входят гауссовские процессы с несколькими выходами , которые особенно полезны при одновременном или последовательном решении нескольких связанных задач численного интегрирования, а также априорных методов на основе деревьев, таких как деревья байесовской аддитивной регрессии, которые хорошо подходят для прерывистого $f$. Кроме того, процессы Дирихле . для меры интеграции также были предложены априорные $\nu$.

Выбор точки

Очки $x_{1},\ldots ,x_{n}$ либо считаются заданными, либо могут быть выбраны так, чтобы обеспечить заднюю часть $\nu [f]$ концентрируется быстрее. Один подход состоит в использовании наборов точек из других правил квадратур. Например, взяв независимые и одинаково распределенные реализации из $\nu$ восстанавливает байесовский подход к Монте-Карло , тогда как использование определенных детерминированных наборов точек, таких как последовательности с низким расхождением или решетки, восстанавливает байесовскую альтернативу квази-Монте-Карло . Конечно, также возможно использовать наборы точек, специально разработанные для байесовской квадратуры; см., например, работу который использовал симметрию в множествах точек для получения масштабируемых байесовских квадратурных оценок. Альтернативно, точки также могут быть выбраны адаптивно, следуя принципам активного обучения и байесовского экспериментального планирования, чтобы напрямую минимизировать апостериорную неопределенность. в том числе для многовыходных гауссовских процессов.

Среднее значение ядра и начальная ошибка

Одной из проблем при реализации байесовской квадратуры является необходимость вычисления функции $\nu [k(\cdot ,x)]$ и константа $\nu \nu [k]$. Первое обычно называют средним значением ядра и представляет собой величину, которая является ключевой для расчета расстояний на основе ядра, таких как максимальное среднее несоответствие. Последнюю обычно называют начальной ошибкой, поскольку она обеспечивает верхнюю границу ошибки интегрирования до того, как будут наблюдаться какие-либо значения функции. К сожалению, среднее значение ядра и начальная ошибка могут быть вычислены только для небольшого числа $(k,\nu )$ пары; см., например, Таблицу 1 в.

Теория

Был получен ряд теоретических гарантий для байесовской квадратуры. Обычно для этого требуются свойства гладкости по Соболеву подынтегрального выражения: хотя недавние работы также распространяются на подынтегральные выражения в гильбертовом пространстве воспроизводящего ядра гауссовского ядра. Большинство результатов применимо к случаю Монте-Карло или детерминированных наборов точек сетки, но некоторые результаты также распространяются и на адаптивные проекты.

Программное обеспечение

• ProbNum : вероятностные численные методы в Python, включая реализацию байесовских квадратур.
• Emukit : Эмуляция и принятие решений в условиях неопределенности в Python.
• QMCPy : байесовская квадратура с наборами точек QMC в Python.