Приближение Веккья

Аппроксимация Веккья — это гауссовских процессов метод аппроксимации , первоначально разработанный Альдо Веккья , статистиком из Геологической службы США . Это одна из первых попыток использовать гауссовы процессы в многомерных условиях. С тех пор оно было широко обобщено, что привело к появлению множества современных приближений.

Интуиция

Совместное распределение вероятностей событий $A,B$, и $C$, обозначенный $P(A,B,C)$, можно выразить как

$P(A,B,C)=P(A)P(B|A)P(C|A,B)$

Приближение Веккья принимает, например, вид:

$P(A,B,C)\approx P(A)P(B|A)P(C|A)$

и является точным, когда события $B$ и $C$ близки к условно независимым при условии знания $A$. Конечно, можно было бы альтернативно выбрать приближение

$P(A,B,C)\approx P(A)P(B|A)P(C|B)$

и поэтому использование приближения требует некоторых знаний о том, какие события близки к условно независимым с учетом других. Более того, мы могли бы выбрать другой порядок, например

$P(A,B,C)\approx P(C)P(C|A)P(B|A).$

К счастью, во многих случаях существуют хорошие эвристики, принимающие решения о том, как построить аппроксимацию.

С технической точки зрения, общие версии аппроксимации приводят к разреженному фактору Холецкого в матрице точности. Использование стандартной факторизации Холецкого дает записи, которые можно интерпретировать. как условные корреляции с нулями, указывающими на отсутствие независимости (поскольку модель является гауссовской). Эти отношения независимости могут быть альтернативно выражены с использованием графических моделей, и существуют теоремы, связывающие структуру графа и порядок вершин с нулями в факторе Холецкого. В частности, известно что независимости, закодированные в моральном графе, приводят к факторам Холецкого матрицы точности, которые не имеют заполнения .

Формальное описание

Проблема

Позволять $x$ быть гауссовским процессом, индексируемым ${\mathcal {S}}$ со средней функцией $\mu$ и ковариационная функция $K$. Предположим, что $S=\{s_{1},\dots ,s_{n}\}\subset {\mathcal {S}}$ является конечным подмножеством ${\mathcal {S}}$ и $\mathbf {x} =(x_{1},\dots ,x_{n})$ представляет собой вектор значений $x$ оценивается в $S$, то есть $x_{i}=x(s_{i})$ для $i=1,\dots ,n$. Предположим далее, что наблюдается $\mathbf {y} =(y_{1},\dots ,y_{n})$ где $y_{i}=x_{i}+\varepsilon _{i}$ с $\varepsilon _{i}{\overset {\text{i.i.d.}}{\sim }}{\mathcal {N}}(0,\sigma ^{2})$. В этом контексте две наиболее распространенные задачи вывода включают оценку вероятности

${\mathcal {L}}(\mathbf {y} )=\int f(\mathbf {y} ,\mathbf {x} )\,d\mathbf {x} ,$

или делать прогнозы значений $x$ для $s^{*}\in {\mathcal {S}}$ и $s\not \in S$, то есть вычисление

$f(x(s^{*})\mid y_{1},\dots ,y_{n}).$

Оригинальная формула

Оригинальный метод Веккья начинается с наблюдения, что совместная плотность наблюдений $f(\mathbf {y} )=\left(y_{1},\dots ,y_{n}\right)$ можно записать как произведение условных распределений

$f(\mathbf {y} )=f(y_{1})\prod _{i=2}^{n}f(y_{i}\mid y_{i-1},\dots ,y_{1}).$

Вместо этого приближение Веккья предполагает, что для некоторых $k\ll n$

${\hat {f}}(\mathbf {y} )=f(y_{1})\prod _{i=2}^{n}f(y_{i}\mid y_{i-1},\dots ,y_{\max(i-k,1)}).$

Веккья также предложил применять вышеуказанное приближение к наблюдениям, которые лексикографически переупорядочены с использованием их пространственных координат. Хотя его простой метод имеет много недостатков, он снизил сложность вычислений до ${\mathcal {O}}(nk^{3})$. Многие из его недостатков были устранены последующими обобщениями.

Общая формулировка

Несмотря на концептуальную простоту, предположение о приближении Веккья часто оказывается довольно ограничительным и неточным. Это вдохновило на важные обобщения и улучшения, внесенные в базовую версию на протяжении многих лет: включение скрытых переменных, более сложные условия и лучший порядок. Различные частные случаи общего приближения Веккья можно описать с точки зрения того, как выбираются эти три элемента.

Скрытые переменные

Чтобы описать расширения метода Веккья в его наиболее общей форме, определите $z_{i}=(x_{i},y_{i})$ и обратите внимание, что для $\mathbf {z} =(z_{1},\dots ,z_{n})$ это справедливо, как и в предыдущем разделе

$f(\mathbf {z} )=f(x_{1},y_{1})\left(\prod _{i=2}^{n}f(x_{i}\mid z_{1:i-1})\right)\left(\prod _{i=2}^{n}f(y_{i}\mid x_{i})\right)$

потому что дано $x_{i}$ все остальные переменные не зависят от $y_{i}$.

Заказ

Широко отмечено, что первоначальный лексикографический порядок, основанный на координатах, когда ${\mathcal {S}}$ является двумерным, дает плохие результаты. Совсем недавно были предложены другие варианты упорядочения, некоторые из которых гарантируют, что точки располагаются квазислучайным образом. Было показано, что они обладают высокой масштабируемостью и значительно повышают точность.

Кондиционирование

Подобно базовой версии, описанной выше, для данного порядка общее приближение Веккья можно определить как

${\hat {f}}(\mathbf {z} )=f(x_{1},y_{1})\left(\prod _{i=2}^{n}f(x_{i}\mid z_{q(i)})\right)\left(\prod _{i=2}^{n}f(y_{i}\mid x_{i})\right),$

где $q(i)\subset \left\{1,\dots ,i-1\right\}$. С $y_{i}\perp x_{-i},y_{-i}\mid x_{i}$ отсюда следует, что $f(x_{i}\mid z_{q(i)})=f(x_{i}\mid x_{q}(i),y_{q}(i))=f(x_{i}\mid x_{q}(i))$ с тех пор как предложил, чтобы условия $f(x_{i}\mid z_{q(i)})$ быть заменен на $f(x_{i}\mid x_{q(i)})$. Однако оказывается, что иногда обусловленность некоторыми наблюдениями $z_{i}$ увеличивает разреженность фактора Холецкого матрицы точности $(\mathbf {x} ,\mathbf {y} )$. Поэтому вместо этого можно рассматривать множества $q_{y}(i)$ и $q_{x}(i)$ такой, что $q(i)=q_{y}(i)\cup q_{x}(i)$ и выразить ${\hat {f}}$ как

${\hat {f}}(\mathbf {z} )=f(x_{1},y_{1})\left(\prod _{i=2}^{n}f(x_{i}\mid x_{q_{x}(i)},y_{q_{y}(i)})\right)\left(\prod _{i=2}^{n}f(y_{i}\mid x_{i})\right).$

Несколько способов выбора $q_{y}(i)$ и $q_{x}(i)$ были предложены, в первую очередь Гауссов процесс ближайшего соседа (NNGP), сетчатый гауссов процесс и подходы аппроксимации с несколькими разрешениями (MRA), использующие $q(i)=q_{x}(i)$, стандартное старое использование $q(i)=q_{y}(i)$ и редкий генерал Веккья, где оба $q_{y}(i)$ и $q_{x}(i)$ не пусты.

Программное обеспечение

Было разработано несколько пакетов, реализующих некоторые варианты приближения Веккья.

• GPvecchia — это пакет R, доступный через CRAN , который реализует большинство версий приближения Vecchia.
• GpGp — это пакет R, доступный через CRAN, который реализует масштабируемый метод упорядочивания пространственных задач, что значительно повышает точность.
• spNNGP — это пакет R, доступный через CRAN, который реализует скрытую аппроксимацию Веккья.
• pyMRA — это пакет Python, доступный через pyPI, реализующий аппроксимацию с несколькими разрешениями, частный случай общего метода Веккья, используемого в динамических моделях в пространстве состояний.
• meshed — это пакет R, доступный через CRAN, который реализует байесовские пространственные или пространственно-временные модели многомерной регрессии на основе скрытого сетчатого гауссовского процесса (MGP) с использованием аппроксимаций Веккья на разделенных доменах.