Нижняя граница доказательств

В вариационных байесовских методах ( нижняя граница доказательства часто сокращенно ELBO , также иногда называемая вариационной нижней границей) ^[1] или отрицательная вариационная свободная энергия ) является полезной нижней границей логарифмического правдоподобия некоторых наблюдаемых данных.

ELBO полезен, поскольку он обеспечивает гарантию логарифмической вероятности некоторого распределения в наихудшем случае (например, $p(X)$ ), который моделирует набор данных. Фактическое логарифмическое правдоподобие может быть выше (что указывает на еще лучшее соответствие распределению), поскольку ELBO включает в себя термин расхождения Кульбака-Лейблера (расхождение KL), который уменьшает ELBO из-за неточной внутренней части модели, несмотря на хорошее соответствие модель в целом. Таким образом, улучшение показателя ELBO указывает либо на повышение правдоподобия модели. $p(X)$ или соответствие внутреннего компонента модели, или и то, и другое, и оценка ELBO представляет собой хорошую функцию потерь , например, для обучения глубокой нейронной сети для улучшения как модели в целом, так и внутреннего компонента. (Внутренний компонент $q_{\phi }(\cdot |x)$ , подробно определено далее в этой статье.)

Определение

Позволять $X$ и $Z$ быть случайными величинами , распределенными совместно с распределением $p_{\theta }$ . Например, $p_{\theta }(X)$ представляет собой предельное распределение $X$ , и $p_{\theta }(Z\mid X)$ это условное распределение $Z$ данный $X$ . Тогда для образца $x\sim p_{\theta }$ и любое распределение $q_{\phi }$ , ELBO определяется как $L(\phi ,\theta ;x):=\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right].$ ELBO эквивалентно можно записать как ^[2]

${\begin{aligned}L(\phi ,\theta ;x)=&\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {}p_{\theta }(x,z)\right]+H[q_{\phi }(z|x)]\\=&\mathbb {\ln } {}\,p_{\theta }(x)-D_{KL}(q_{\phi }(z|x)||p_{\theta }(z|x)).\\\end{aligned}}$

В первой строке $H[q_{\phi }(z|x)]$ это энтропия $q_{\phi }$ , что связывает ELBO со свободной энергией Гельмгольца . ^[3] Во второй строке $\ln p_{\theta }(x)$ называется доказательством $x$ , и $D_{KL}(q_{\phi }(z|x)||p_{\theta }(z|x))$ это расхождение Кульбака-Лейблера между $q_{\phi }$ и $p_{\theta }$ . Поскольку расходимость Кульбака-Лейблера неотрицательна, $L(\phi ,\theta ;x)$ образует нижнюю границу доказательств ( неравенство ELBO ) $\ln p_{\theta }(x)\geq \mathbb {\mathbb {E} } _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z\vert x)}}\right].$

Мотивация

Вариационный байесовский вывод

Предположим, у нас есть наблюдаемая случайная величина $X$ , и мы хотим найти его истинное распределение $p^{*}$ . Это позволило бы нам генерировать данные путем выборки и оценивать вероятности будущих событий. В общем, невозможно найти. $p^{*}$ именно, что заставляет нас искать хорошее приближение .

То есть мы определяем достаточно большое параметрическое семейство $\{p_{\theta }\}_{\theta \in \Theta }$ распределений, затем найдите $\min _{\theta }L(p_{\theta },p^{*})$ для некоторой функции потерь $L$ . Один из возможных способов решения этой проблемы — рассмотрение небольших отклонений от $p_{\theta }$ к $p_{\theta +\delta \theta }$ и решить для $L(p_{\theta },p^{*})-L(p_{\theta +\delta \theta },p^{*})=0$ . Это задача вариационного исчисления , поэтому она называется вариационным методом .

Поскольку существует не так много явно параметризованных семейств распределений (все классические семейства распределений, такие как нормальное распределение, распределение Гамбеля и т. д., слишком упрощены для моделирования истинного распределения), мы рассматриваем неявно параметризованные распределения вероятностей:

Сначала определим простое распределение $p(z)$ над скрытой случайной величиной $Z$ . Обычно достаточно нормального или равномерного распределения.
Далее определим семейство сложных функций $f_{\theta }$ (например, глубокая нейронная сеть ), параметризованная $\theta$ .
Наконец, определите способ преобразования любого $f_{\theta }(z)$ в простое распределение по наблюдаемой случайной величине $X$ . Например, пусть $f_{\theta }(z)=(f_{1}(z),f_{2}(z))$ имеют два выхода, то мы можем определить соответствующее распределение по $X$ быть нормальным распределением ${\mathcal {N}}(f_{1}(z),e^{f_{2}(z)})$ .

Это определяет семейство совместных распределений $p_{\theta }$ над $(X,Z)$ . Очень легко примерить $(x,z)\sim p_{\theta }$ : просто образец $z\sim p$ , затем вычислить $f_{\theta }(z)$ и, наконец, образец $x\sim p_{\theta }(\cdot |z)$ с использованием $f_{\theta }(z)$ .

Другими словами, у нас есть генеративная модель как для наблюдаемого, так и для скрытого.Теперь рассмотрим распределение $p_{\theta }$ хорошо, если это близкое приближение к $p^{*}$ : $p_{\theta }(X)\approx p^{*}(X)$ так как распределение в правой части закончилось $X$ только распределение в левой части должно маргинализировать скрытую переменную $Z$ прочь.
В общем, невозможно выполнить интеграл $p_{\theta }(x)=\int p_{\theta }(x|z)p(z)dz$ , что вынуждает нас выполнить еще одно приближение.

С $p_{\theta }(x)={\frac {p_{\theta }(x|z)p(z)}{p_{\theta }(z|x)}}$ ( правило Байеса ), достаточно найти хорошее приближение $p_{\theta }(z|x)$ . Итак, определите другое семейство дистрибутива. $q_{\phi }(z|x)$ и использовать его для аппроксимации $p_{\theta }(z|x)$ . Это дискриминационная модель для скрытых.

Вся ситуация сведена в следующую таблицу:


$X$ : наблюдаемый	$X,Z$	$Z$ : латентный
$p^{*}(x)\approx p_{\theta }(x)\approx {\frac {p_{\theta }(x\|z)p(z)}{q_{\phi }(z\|x)}}$ приблизительный		$p(z)$ , легкий
	$p_{\theta }(x\|z)p(z)$ , легкий
$p_{\theta }(z\|x)\approx q_{\phi }(z\|x)$ приблизительный		$p_{\theta }(x\|z)$ , легкий

На байесовском языке $X$ является наблюдаемым свидетельством, и $Z$ является скрытым/ненаблюдаемым. Распределение $p$ над $Z$ это априорное распределение по $Z$ , $p_{\theta }(x|z)$ - функция правдоподобия, и $p_{\theta }(z|x)$ это апостериорное распределение по $Z$ .

Учитывая наблюдение $x$ , мы можем сделать вывод , что $z$ вероятно, послужило причиной $x$ путем вычисления $p_{\theta }(z|x)$ . Обычный байесовский метод заключается в оценке интеграла $p_{\theta }(x)=\int p_{\theta }(x|z)p(z)dz$ , затем вычисляем по правилу Байеса $p_{\theta }(z|x)={\frac {p_{\theta }(x|z)p(z)}{p_{\theta }(x)}}$ . В целом это дорого обходится, но если мы просто сможем найти хорошее приближение $q_{\phi }(z|x)\approx p_{\theta }(z|x)$ для большинства $x,z$ , то мы можем сделать вывод $z$ от $x$ дешево. Таким образом, поиск хорошего $q_{\phi }$ также называется амортизированным выводом .

В общем, мы нашли проблему вариационного байесовского вывода .

Получение ELBO

Основной результат вариационного вывода состоит в том, что минимизация расхождения Кульбака – Лейблера (KL-дивергенция) эквивалентна максимизации логарифмического правдоподобия: $\mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]=-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))$ где $H(p^{*})=-\mathbb {\mathbb {E} } _{x\sim p^{*}}[\ln p^{*}(x)]$ — энтропия истинного распределения. Итак, если мы сможем максимизировать $\mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]$ , мы можем минимизировать $D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))$ , и, следовательно, найти точное приближение $p_{\theta }\approx p^{*}$ .

Чтобы максимизировать $\mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]$ , мы просто пробуем множество $x_{i}\sim p^{*}(x)$ , то есть использовать выборку по важности $N\max _{\theta }\mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]\approx \max _{\theta }\sum _{i}\ln p_{\theta }(x_{i})$ где $N$ — количество выборок, взятых из истинного распределения. Это приближение можно рассматривать как переобучение. ^{[примечание 1]}

Чтобы максимизировать $\sum _{i}\ln p_{\theta }(x_{i})$ , необходимо найти $\ln p_{\theta }(x)$ : $\ln p_{\theta }(x)=\ln \int p_{\theta }(x|z)p(z)dz$ Обычно это не имеет закрытой формы и требует оценки. Обычным способом оценки интегралов является интегрирование Монте-Карло с выборкой по важности : $\int p_{\theta }(x|z)p(z)dz=\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]$ где $q_{\phi }(z|x)$ представляет собой выборочное распределение по $z$ который мы используем для выполнения интеграции Монте-Карло.

Итак, мы видим, что если мы возьмем образец $z\sim q_{\phi }(\cdot |x)$ , затем ${\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}$ является несмещенной оценкой $p_{\theta }(x)$ . К сожалению, это не дает нам объективной оценки $\ln p_{\theta }(x)$ , потому что $\ln$ является нелинейным. имеем Действительно, по неравенству Йенсена : $\ln p_{\theta }(x)=\ln \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]\geq \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]$ Фактически, все очевидные оценки $\ln p_{\theta }(x)$ смещены в сторону уменьшения, поскольку независимо от количества выборок $z_{i}\sim q_{\phi }(\cdot |x)$ возьмем, имеем по неравенству Йенсена: $\mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(x,z_{i})}{q_{\phi }(z_{i}|x)}}\right)\right]\leq \ln \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[{\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(x,z_{i})}{q_{\phi }(z_{i}|x)}}\right]=\ln p_{\theta }(x)$ Вычитая правую часть, мы видим, что проблема сводится к смещенной оценке нуля: $\mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(z_{i}|x)}{q_{\phi }(z_{i}|x)}}\right)\right]\leq 0$ На этом этапе мы могли бы перейти к разработке автокодировщика, взвешенного по важности. ^{[примечание 2]}, но вместо этого мы продолжим рассматривать простейший случай с $N=1$ : $\ln p_{\theta }(x)=\ln \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]\geq \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]$ Плотность неравенства имеет замкнутый вид: $\ln p_{\theta }(x)-\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]=D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))\geq 0$ Таким образом, мы получили функцию ELBO: $L(\phi ,\theta ;x):=\ln p_{\theta }(x)-D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))$

Максимизация ELBO

Для фиксированного $x$ , оптимизация $\max _{\theta ,\phi }L(\phi ,\theta ;x)$ одновременно пытается максимизировать $\ln p_{\theta }(x)$ и свести к минимуму $D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))$ . Если параметризация для $p_{\theta }$ и $q_{\phi }$ достаточно гибки, мы получим некоторые ${\hat {\phi }},{\hat {\theta }}$ , такой, что мы имеем одновременно

$\ln p_{\hat {\theta }}(x)\approx \max _{\theta }\ln p_{\theta }(x);\quad q_{\hat {\phi }}(\cdot |x)\approx p_{\hat {\theta }}(\cdot |x)$ С $\mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]=-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))$ у нас есть $\ln p_{\hat {\theta }}(x)\approx \max _{\theta }-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))$ и так ${\hat {\theta }}\approx \arg \min D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))$ Другими словами, максимизация ELBO одновременно позволила бы нам получить точную генеративную модель. $p_{\hat {\theta }}\approx p^{*}$ и точная дискриминационная модель $q_{\hat {\phi }}(\cdot |x)\approx p_{\hat {\theta }}(\cdot |x)$ . ^[5]

Основные формы

У ELBO есть много возможных выражений, каждое из которых имеет разный акцент.

\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]=\int q_{\phi }(z|x)\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}dz

Эта форма показывает, что если мы выберем образец $z\sim q_{\phi }(\cdot |x)$ , затем $\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}$ является несмещенной оценкой ELBO.

\ln p_{\theta }(x)-D_{\mathit {KL}}(q_{\phi }(\cdot |x)\;\|\;p_{\theta }(\cdot |x))

Эта форма показывает, что ELBO является нижней границей доказательств. $\ln p_{\theta }(x)$ , и что максимизация ELBO относительно $\phi$ эквивалентно минимизации КЛ-дивергенции от $p_{\theta }(\cdot |x)$ к $q_{\phi }(\cdot |x)$ .

\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}[\ln p_{\theta }(x|z)]-D_{\mathit {KL}}(q_{\phi }(\cdot |x)\;\|\;p)

Эта форма показывает, что максимизация ELBO одновременно пытается сохранить $q_{\phi }(\cdot |x)$ близко к $p$ и сконцентрироваться $q_{\phi }(\cdot |x)$ на тех $z$ это максимизирует $\ln p_{\theta }(x|z)$ . То есть приблизительный задний $q_{\phi }(\cdot |x)$ баланс между пребыванием рядом с предыдущим $p$ и двигаемся к максимальной вероятности $\arg \max _{z}\ln p_{\theta }(x|z)$ .

H(q_{\phi }(\cdot |x))+\mathbb {E} _{z\sim q(\cdot |x)}[\ln p_{\theta }(z|x)]+\ln p_{\theta }(x)

Эта форма показывает, что максимизация ELBO одновременно пытается сохранить энтропию $q_{\phi }(\cdot |x)$ высокий и сконцентрироваться $q_{\phi }(\cdot |x)$ на тех $z$ это максимизирует $\ln p_{\theta }(z|x)$ . То есть приблизительный задний $q_{\phi }(\cdot |x)$ баланс между равномерным распределением и апостериорным движением к максимуму $\arg \max _{z}\ln p_{\theta }(z|x)$ .

Неравенство в обработке данных

Предположим, мы возьмем $N$ независимые образцы из $p^{*}$ и соберите их в набор данных $D=\{x_{1},...,x_{N}\}$ , то мы имеем эмпирическое распределение $q_{D}(x)={\frac {1}{N}}\sum _{i}\delta _{x_{i}}$ .

Примерка $p_{\theta }(x)$ к $q_{D}(x)$ можно сделать, как обычно, максимизируя логарифмическое правдоподобие $\ln p_{\theta }(D)$ : $D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))=-{\frac {1}{N}}\sum _{i}\ln p_{\theta }(x_{i})-H(q_{D})=-{\frac {1}{N}}\ln p_{\theta }(D)-H(q_{D})$ Теперь, используя неравенство ELBO, мы можем оценить $\ln p_{\theta }(D)$ , и таким образом $D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))\leq -{\frac {1}{N}}L(\phi ,\theta ;D)-H(q_{D})$ Правая часть упрощается до KL-расхождения, и мы получаем: $D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))\leq -{\frac {1}{N}}\sum _{i}L(\phi ,\theta ;x_{i})-H(q_{D})=D_{\mathit {KL}}(q_{D,\phi }(x,z);p_{\theta }(x,z))$ Этот результат можно интерпретировать как частный случай неравенства обработки данных .

В этой интерпретации максимизация $L(\phi ,\theta ;D)=\sum _{i}L(\phi ,\theta ;x_{i})$ сводит к минимуму $D_{\mathit {KL}}(q_{D,\phi }(x,z);p_{\theta }(x,z))$ , что ограничивает сверху реальное количество процентов $D_{\mathit {KL}}(q_{D}(x);p_{\theta }(x))$ через неравенство обработки данных. То есть мы добавляем скрытое пространство к наблюдаемому пространству, платя за более слабое неравенство ради более эффективной в вычислительном отношении минимизации КЛ-дивергенции. ^[6]

Ссылки

^ Кингма, Дидерик П.; Веллинг, Макс (01 мая 2014 г.). «Автокодирование вариационного Байеса». arXiv : 1312.6114 [ stat.ML ].
^ Гудфеллоу, Ян; Бенджио, Йошуа; Курвиль, Аарон (2016). «Глава 19». Глубокое обучение . Адаптивные вычисления и машинное обучение. Кембридж, Массачусетс: Пресса Массачусетского технологического института. ISBN 978-0-262-03561-3 .
^ Хинтон, Джеффри Э; Земель, Ричард (1993). «Автоэнкодеры, минимальная длина описания и свободная энергия Гельмгольца» . Достижения в области нейронных систем обработки информации . 6 . Морган-Кауфманн.
^ Бурда, Юрий; Гросс, Роджер; Салахутдинов, Руслан (01 сентября 2015 г.). «Автоэнкодеры, взвешенные по важности». arXiv : 1509.00519 [ stat.ML ].
^ Нил, Рэдфорд М.; Хинтон, Джеффри Э. (1998), «Взгляд на алгоритм Em, который оправдывает инкрементные, разреженные и другие варианты» , Обучение на графических моделях , Дордрехт: Springer Нидерланды, стр. 355–368, doi : 10.1007/978-94 -011-5014-9_12 , ISBN 978-94-010-6104-9 , S2CID 17947141
^ Кингма, Дидерик П.; Веллинг, Макс (27 ноября 2019 г.). «Введение в вариационные автоэнкодеры» . Основы и тенденции в машинном обучении . 12 (4). Раздел 2.7. arXiv : 1906.02691 . дои : 10.1561/2200000056 . ISSN 1935-8237 . S2CID 174802445 .

Примечания

^ Фактически, по неравенству Йенсена , $\mathbb {E} _{x\sim p^{*}(x)}\left[\max _{\theta }\sum _{i}\ln p_{\theta }(x_{i})\right]\geq \max _{\theta }\mathbb {E} _{x\sim p^{*}(x)}\left[\sum _{i}\ln p_{\theta }(x_{i})\right]=N\max _{\theta }\mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]$ Оценка смещена вверх. Это можно рассматривать как переобучение: для некоторого конечного набора выборочных данных $x_{i}$ , обычно есть что-то $\theta$ это подходит им лучше, чем все $p^{*}$ распределение.
^ По методу дельта имеем $\mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(z_{i}|x)}{q_{\phi }(z_{i}|x)}}\right)\right]\approx -{\frac {1}{2N}}\mathbb {V} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(z|x)}{q_{\phi }(z|x)}}\right]=O(N^{-1})$ Если мы продолжим это делать, мы получим автокодировщик, взвешенный по важности. ^[4]

[:0-1] Кингма, Дидерик П.; Веллинг, Макс (01 мая 2014 г.). «Автокодирование вариационного Байеса». arXiv : 1312.6114 [ stat.ML ].

[2] Гудфеллоу, Ян; Бенджио, Йошуа; Курвиль, Аарон (2016). «Глава 19». Глубокое обучение . Адаптивные вычисления и машинное обучение. Кембридж, Массачусетс: Пресса Массачусетского технологического института. ISBN 978-0-262-03561-3 .

[3] Хинтон, Джеффри Э; Земель, Ричард (1993). «Автоэнкодеры, минимальная длина описания и свободная энергия Гельмгольца» . Достижения в области нейронных систем обработки информации . 6 . Морган-Кауфманн.

[5] Бурда, Юрий; Гросс, Роджер; Салахутдинов, Руслан (01 сентября 2015 г.). «Автоэнкодеры, взвешенные по важности». arXiv : 1509.00519 [ stat.ML ].

[7] Нил, Рэдфорд М.; Хинтон, Джеффри Э. (1998), «Взгляд на алгоритм Em, который оправдывает инкрементные, разреженные и другие варианты» , Обучение на графических моделях , Дордрехт: Springer Нидерланды, стр. 355–368, doi : 10.1007/978-94 -011-5014-9_12 , ISBN 978-94-010-6104-9 , S2CID 17947141

[8] Кингма, Дидерик П.; Веллинг, Макс (27 ноября 2019 г.). «Введение в вариационные автоэнкодеры» . Основы и тенденции в машинном обучении . 12 (4). Раздел 2.7. arXiv : 1906.02691 . дои : 10.1561/2200000056 . ISSN 1935-8237 . S2CID 174802445 .

[in_fact-4] Фактически, по неравенству Йенсена , $\mathbb {E} _{x\sim p^{*}(x)}\left[\max _{\theta }\sum _{i}\ln p_{\theta }(x_{i})\right]\geq \max _{\theta }\mathbb {E} _{x\sim p^{*}(x)}\left[\sum _{i}\ln p_{\theta }(x_{i})\right]=N\max _{\theta }\mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]$ Оценка смещена вверх. Это можно рассматривать как переобучение: для некоторого конечного набора выборочных данных $x_{i}$ , обычно есть что-то $\theta$ это подходит им лучше, чем все $p^{*}$ распределение.

[importance-weighted-6] По методу дельта имеем $\mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(z_{i}|x)}{q_{\phi }(z_{i}|x)}}\right)\right]\approx -{\frac {1}{2N}}\mathbb {V} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(z|x)}{q_{\phi }(z|x)}}\right]=O(N^{-1})$ Если мы продолжим это делать, мы получим автокодировщик, взвешенный по важности. ^[4]

[1]

[2]

[3]

[примечание 1]

[примечание 2]

[5]

[6]

[4]