Метрика Вассерштейна

В математике Вассерштейна определенную расстояние или Канторовича – Рубинштейна метрика представляет собой функцию расстояния, между распределениями вероятностей в данном метрическом пространстве. $M$. Назван в честь Леонида Васерштейна .

Интуитивно, если каждое распределение рассматривать как единицу количества земли (почвы), насыпанной $M$Этот показатель представляет собой минимальную «стоимость» превращения одной сваи в другую, которая, как предполагается, равна количеству земли, которое необходимо переместить, умноженному на среднее расстояние, которое необходимо переместить. Эта проблема была впервые формализована Гаспаром Монжем в 1781 году. Из-за этой аналогии эта метрика известна в информатике как расстояние землеройного машины .

Название «расстояние Вассерштейна» было придумано Р. Л. Добрушиным в 1970 году, после того как он узнал о нем в работе Леонида Васерштейна о марковских процессах, описывающих большие системы автоматов. (Русский, 1969). Однако впервые эта метрика была определена Леонидом Канторовичем в «Математическом методе планирования и организации производства». (Русский оригинал 1939 г.) в контексте оптимального планирования перевозок ТМЦ. Таким образом, некоторые ученые поощряют использование терминов «метрика Канторовича» и «расстояние Канторовича». В большинстве англоязычных публикаций используется немецкое написание «Вассерштейн» (приписанное имени «Васерштейн» (русский язык: Васерштейн ), имеющему идишское происхождение).

Определение

Позволять $(M,d)$ быть метрическим пространством , которое является польским пространством . Для $p\in [1,+\infty ]$, Вассерштайн $p$-расстояние между двумя вероятностными мерами $\mu$ и $\nu$ на $M$ с конечным $p$- моменты есть $$W_{p}(\mu ,\nu )=\inf _{\gamma \in \Gamma (\mu ,\nu )}\left(\mathbf {E} _{(x,y)\sim \gamma }d(x,y)^{p}\right)^{1/p},$$ где $\Gamma (\mu ,\nu )$ собой совокупность всех связей представляет $\mu$ и $\nu$; $W_{\infty }(\mu ,\nu )$ определяется как $\lim _{p\rightarrow +\infty }W_{p}(\mu ,\nu )$ и соответствует высшей норме . Муфта $\gamma$ является совместной вероятностной мерой $M\times M$ чьи маргиналы ​ $\mu$ и $\nu$ по первому и второму фактору соответственно. То есть для всех измеримых $A\subset M$ муфта выполняет $$\int _{A}\int _{M}\gamma (x,y)\,\mathrm {d} y\,\mathrm {d} x=\mu (A),$$ $$\int _{A}\int _{M}\gamma (x,y)\,\mathrm {d} x\,\mathrm {d} y=\nu (A).$$

Интуиция и подключение к оптимальному транспорту

Два одномерных распределения $\mu$ и $\nu$, нанесенный на оси x и y, и одно возможное совместное распределение, определяющее план транспортировки между ними. Совместный план распределения/транспортировки не уникален.

Один из способов понять приведенное выше определение — рассмотреть задачу оптимального транспорта . То есть для распределения массы $\mu (x)$ на пространстве $X$, мы хотим перевезти массу таким образом, чтобы она трансформировалась в распределение $\nu (x)$ на том же месте; Преобразование «кучи земли» $\mu$ в кучу $\nu$. Эта проблема имеет смысл только в том случае, если создаваемая свая имеет ту же массу, что и перемещаемая свая; поэтому без ограничения общности предположим, что $\mu$ и $\nu$ являются распределениями вероятностей, содержащими общую массу 1. Предположим также, что задана некоторая функция стоимости

$$c(x,y)\geq 0$$

что дает стоимость перевозки единицы массы из точки $x$ в точку $y$. Транспортный план для переезда $\mu$ в $\nu$ можно описать функцией $\gamma (x,y)$ что дает количество массы, с которой можно переместиться $x$ к $y$. Вы можете представить задачу как необходимость переместить кучу земли формы $\mu$ к дыре в земле формы $\nu$ так что в конце и куча земли, и яма в земле полностью исчезают. Чтобы этот план имел смысл, он должен удовлетворять следующим свойствам:

1. количество земли, сдвинутое с точки $x$ должен равняться той сумме, которая была там изначально; то есть, $$\int \gamma (x,y)\,\mathrm {d} y=\mu (x),$$ и
2. количество земли, перемещенное в точку $y$ должен равняться глубине ямы, которая была там вначале; то есть, $$\int \gamma (x,y)\,\mathrm {d} x=\nu (y).$$

То есть, общая масса вышла из бесконечно малой области вокруг $x$ должно быть равно $\mu (x)\mathrm {d} x$ и вся масса переместилась в область вокруг $y$ должно быть $\nu (y)\mathrm {d} y$. Это эквивалентно требованию, чтобы $\gamma$ быть совместным распределением вероятностей с маргинальными значениями $\mu$ и $\nu$. Таким образом, бесконечно малая масса, перенесенная из $x$ к $y$ является $\gamma (x,y)\,\mathrm {d} x\,\mathrm {d} y$, а стоимость переезда $c(x,y)\gamma (x,y)\,\mathrm {d} x\,\mathrm {d} y$, следуя определению функции стоимости. Таким образом, общая стоимость транспортного плана $\gamma$ является $$\iint c(x,y)\gamma (x,y)\,\mathrm {d} x\,\mathrm {d} y=\int c(x,y)\,\mathrm {d} \gamma (x,y).$$

План $\gamma$ не является уникальным; Оптимальный транспортный план — это план с минимальными затратами из всех возможных транспортных планов. Как уже упоминалось, требование для того, чтобы план был действительным, заключается в том, что он представляет собой совместное распределение с маргинальными $\mu$ и $\nu$; сдача в аренду $\Gamma$ Обозначим совокупность всех таких мер, как в первом разделе, стоимость оптимального плана равна $$C=\inf _{\gamma \in \Gamma (\mu ,\nu )}\int c(x,y)\,\mathrm {d} \gamma (x,y).$$ Если стоимость хода — это просто расстояние между двумя точками, то оптимальная стоимость идентична определению $W_{1}$ расстояние.

Примеры

Точечные массы

Детерминированные распределения

Позволять $\mu _{1}=\delta _{a_{1}}$ и $\mu _{2}=\delta _{a_{2}}$ быть двумя вырожденными распределениями (т.е. дельта-распределениями Дирака ), расположенными в точках $a_{1}$ и $a_{2}$ в $\mathbb {R}$. Существует только одна возможная связь этих двух мер, а именно точечная масса. $\delta _{(a_{1},a_{2})}$ расположен по адресу $(a_{1},a_{2})\in \mathbb {R} ^{2}$. Таким образом, используя обычную функцию абсолютного значения в качестве функции расстояния на $\mathbb {R}$, для любого $p\geq 1$, $p$-Расстояние Вассерштейна между $\mu _{1}$ и $\mu _{2}$ является $$W_{p}(\mu _{1},\mu _{2})=|a_{1}-a_{2}|.$$ По аналогичным рассуждениям, если $\mu _{1}=\delta _{a_{1}}$ и $\mu _{2}=\delta _{a_{2}}$ точечные массы, расположенные в точках $a_{1}$ и $a_{2}$ в $\mathbb {R} ^{n}$, и мы используем обычную евклидову норму на $\mathbb {R} ^{n}$ как функция расстояния, то $$W_{p}(\mu _{1},\mu _{2})=\|a_{1}-a_{2}\|_{2}.$$

Эмпирические распределения

Одно измерение

Если $P$ это эмпирическая мера с выборками $X_{1},\ldots ,X_{n}$ и $Q$ это эмпирическая мера с выборками $Y_{1},\ldots ,Y_{n}$расстояние является простой функцией статистики порядка : $$W_{p}(P,Q)=\left({\frac {1}{n}}\sum _{i=1}^{n}\|X_{(i)}-Y_{(i)}\|^{p}\right)^{1/p}.$$

Высшие измерения

Если $P$ и $Q$ являются эмпирическими распределениями, каждое из которых основано на $n$ наблюдения, затем

$$W_{p}(P,Q)=\inf _{\pi }\left({\frac {1}{n}}\sum _{i=1}^{n}\|X_{i}-Y_{\pi (i)}\|^{p}\right)^{1/p},$$

где нижняя грань находится по всем перестановкам $\pi$ из $n$ элементы. Это линейная задача о назначениях , и ее можно решить с помощью венгерского алгоритма за кубическое время .

Нормальные распределения

Позволять $\mu _{1}={\mathcal {N}}(m_{1},C_{1})$ и $\mu _{2}={\mathcal {N}}(m_{2},C_{2})$ быть двумя невырожденными гауссовыми мерами (т.е. нормальными распределениями ) на $\mathbb {R} ^{n}$, с соответствующими ожидаемыми значениями $m_{1}$ и $m_{2}\in \mathbb {R} ^{n}$ и симметричные положительные полуопределенные ковариационные матрицы $C_{1}$ и $C_{2}\in \mathbb {R} ^{n\times n}$. Затем, относительно обычной евклидовой нормы на $\mathbb {R} ^{n}$, 2-расстояние Вассерштейна между $\mu _{1}$ и $\mu _{2}$ является $$W_{2}(\mu _{1},\mu _{2})^{2}=\|m_{1}-m_{2}\|_{2}^{2}+\mathop {\mathrm {trace} } {\bigl (}C_{1}+C_{2}-2{\bigl (}C_{2}^{1/2}C_{1}C_{2}^{1/2}{\bigr )}^{1/2}{\bigr )}.$$ где $C^{1/2}$ обозначает главный квадратный корень из $C$. Обратите внимание, что второй член (включающий след) представляет собой в точности (ненормированную) метрику Буреса между $C_{1}$ и $C_{2}$. Этот результат обобщает более ранний пример расстояния Вассерштейна между двумя точечными массами (по крайней мере, в случае $p=2$), поскольку точечную массу можно рассматривать как нормальное распределение с ковариационной матрицей, равной нулю, и в этом случае член следа исчезает, и остается только член, включающий евклидово расстояние между средними значениями.

Одномерные распределения

Позволять $\mu _{1},\mu _{2}\in P_{p}(\mathbb {R} )$ быть вероятностными мерами $\mathbb {R}$и обозначим их кумулятивные функции распределения через $F_{1}(x)$ и $F_{2}(x)$. Тогда транспортная задача имеет аналитическое решение: Оптимальный транспорт сохраняет порядок вероятностей элементов массы, поэтому масса в квантиле $q$ из $\mu _{1}$ переходит в квантиль $q$ из $\mu _{2}$. Таким образом, $p$-Расстояние Вассерштейна между $\mu _{1}$ и $\mu _{2}$ является $$W_{p}(\mu _{1},\mu _{2})=\left(\int _{0}^{1}\left|F_{1}^{-1}(q)-F_{2}^{-1}(q)\right|^{p}\,\mathrm {d} q\right)^{1/p},$$ где $F_{1}^{-1}$ и $F_{2}^{-1}$ — функции квантиля (обратные CDF). В случае $p=1$, замена переменных приводит к формуле $$W_{1}(\mu _{1},\mu _{2})=\int _{\mathbb {R} }\left|F_{1}(x)-F_{2}(x)\right|\,\mathrm {d} x.$$

Приложения

Метрика Вассерштейна — это естественный способ сравнения распределений вероятностей двух переменных X и Y , где одна переменная получается из другой в результате небольших неоднородных возмущений (случайных или детерминированных).

В информатике, например, метрика W ₁ широко используется для сравнения дискретных распределений, например цветовых гистограмм двух цифровых изображений ; более подробную информацию см . на расстоянии землеройной машины .

В своей статье « Вассерштейн ГАН » Арджовский и др. использовать метрику Вассерштейна-1 как способ улучшить исходную структуру генеративно-состязательных сетей (GAN), чтобы облегчить исчезающий градиент и проблемы коллапса режимов. Особый случай нормального распределения используется в начальном расстоянии Фреше .

Метрика Вассерштейна имеет формальную связь с анализом Прокруста с применением к мерам киральности. и формировать анализ.

В вычислительной биологии метрику Вассерштейна можно использовать для сравнения диаграмм персистентности наборов данных цитометрии.

Метрика Вассерштейна также использовалась в обратных задачах геофизики.

Метрика Вассерштейна используется в интегрированной теории информации для вычисления разницы между понятиями и концептуальными структурами.

Метрика Вассерштейна и связанные с ней формулировки также использовались для создания единой теории для анализа наблюдаемой формы в наборах данных по физике высоких энергий и коллайдеров.

Характеристики

Метрическая структура

Можно показать, что W _p удовлетворяет всем аксиомам метрики ) , в пространстве Вассерштейна P _p ( M состоящей из всех борелевских вероятностных мер на M, имеющих конечный p -й момент. При этом сходимость по W _p эквивалентна обычной слабой сходимости мер плюс сходимости первых p -х моментов.

Двойное представление W ₁

Следующее двойственное представление W ₁ является частным случаем теоремы двойственности Канторовича и Рубинштейна (1958): когда µ и ν имеют ограниченный носитель ,

$$W_{1}(\mu ,\nu )=\sup \left\{\left.\int _{M}f(x)\,\mathrm {d} (\mu -\nu )(x)\,\right|{\text{ continuous }}f:M\to \mathbb {R} ,\operatorname {Lip} (f)\leq 1\right\},$$

где Lip( f ) обозначает минимальную константу Липшица для f . Эта форма показывает, что W ₁ является интегральной вероятностной метрикой .

Сравните это с определением метрики Радона :

$$\rho (\mu ,\nu ):=\sup \left\{\left.\int _{M}f(x)\,\mathrm {d} (\mu -\nu )(x)\,\right|{\text{ continuous }}f:M\to [-1,1]\right\}.$$

Если метрика d метрического пространства ( M , d ) ограничена некоторой константой C , то

$$2W_{1}(\mu ,\nu )\leq C\rho (\mu ,\nu ),$$

и поэтому сходимость в метрике Радона (идентичная сходимости полной вариации, когда M — польское пространство ) влечет за собой сходимость в метрике Вассерштейна, но не наоборот.

Доказательство

Ниже приводится интуитивное доказательство, пропускающее технические моменты. Полностью строгое доказательство можно найти в .

Дискретный случай : Когда $M$ дискретно, решение 1-расстояния Вассерштейна является проблемой линейного программирования: $${\begin{cases}\min _{\gamma }\sum _{x,y}c(x,y)\gamma (x,y)\\\sum _{y}\gamma (x,y)=\mu (x)\\\sum _{x}\gamma (x,y)=\nu (y)\\\gamma \geq 0\end{cases}}$$ где $c:M\times M\to [0,\infty )$ представляет собой общую «функцию стоимости».

Тщательно записав приведенные выше уравнения в виде матричных уравнений, мы получаем двойственную задачу : $${\begin{cases}\max _{f,g}\sum _{x}\mu (x)f(x)+\sum _{y}\nu (y)g(y)\\f(x)+g(y)\leq c(x,y)\end{cases}}$$ и по теореме двойственности линейного программирования , поскольку основная задача разрешима и ограничена, так же как и двойственная задача, а минимум в первой задаче равен максимуму во второй задаче. То есть проблемная пара демонстрирует сильную двойственность .

В общем случае двойственная задача находится путем преобразования сумм в интегралы: $${\begin{cases}\sup _{f,g}\mathbb {E} _{x\sim \mu }[f(x)]+\mathbb {E} _{y\sim \nu }[g(y)]\\f(x)+g(y)\leq c(x,y)\end{cases}}$$ и сильная двойственность все еще сохраняется. Это теорема двойственности Канторовича . Седрик Виллани приводит следующую интерпретацию Луиса Каффарелли :

Предположим, вы хотите отправить немного угля с шахт, распределенного как $\mu$, на фабрики, распределенные как $\nu$. Функция стоимости транспорта $c$. Теперь приходит грузоотправитель и предлагает осуществить за вас транспортировку. Ты бы заплатил ему $f(x)$ за уголь для погрузки угля на $x$и заплати ему $g(y)$ за уголь за выгрузку угля на $y$.

Чтобы вы могли принять сделку, прейскурант должен удовлетворять $f(x)+g(y)\leq c(x,y)$. Двойственность Канторовича гласит, что грузоотправитель может составить такой ценовой график, при котором вы будете платить почти столько же, сколько вы бы отправили самостоятельно.

Этот результат можно нажать дальше, чтобы получить:

Теорема   (двойственность Канторовича-Рубинштейна) — Когда вероятностное пространство $\Omega$ является метрическим пространством, то для любого фиксированного $K>0$, $$W_{1}(\mu ,\nu )={\frac {1}{K}}\sup _{\|f\|_{L}\leq K}\mathbb {E} _{x\sim \mu }[f(x)]-\mathbb {E} _{y\sim \nu }[f(y)]$$ где $\|\cdot \|_{L}$ является нормой Липшица .

Доказательство

Достаточно доказать случай $K=1$. Начните с $$W_{1}(\mu ,\nu )=\sup _{f(x)+g(y)\leq d(x,y)}\mathbb {E} _{x\sim \mu }[f(x)]+\mathbb {E} _{y\sim \nu }[g(y)].$$ Тогда при любом выборе $g$, можно увеличить срок, установив $f(x)=\inf _{y}d(x,y)-g(y)$, что делает его сверткой неформальной $-g$ с конусом. Это подразумевает $f(x)-f(y)\leq d(x,y)$ для любого $x,y$, то есть, $\|f\|_{L}\leq 1$.

Таким образом, $${\begin{aligned}W_{1}(\mu ,\nu )&=\sup _{g}\sup _{f(x)+g(y)\leq d(x,y)}\mathbb {E} _{x\sim \mu }[f(x)]+\mathbb {E} _{y\sim \nu }[g(y)]\\&=\sup _{g}\sup _{\|f\|_{L}\leq 1,f(x)+g(y)\leq d(x,y)}\mathbb {E} _{x\sim \mu }[f(x)]+\mathbb {E} _{y\sim \nu }[g(y)]\\&=\sup _{\|f\|_{L}\leq 1}\sup _{g,f(x)+g(y)\leq d(x,y)}\mathbb {E} _{x\sim \mu }[f(x)]+\mathbb {E} _{y\sim \nu }[g(y)].\end{aligned}}$$ Далее для любого выбора $\|f\|_{L}\leq 1$, $g$ можно оптимизировать, установив $g(y)=\inf _{x}d(x,y)-f(x)$. С $\|f\|_{L}\leq 1$, это подразумевает $g(y)=-f(y)$.

Неограниченная свертка конуса с кривой. Обратите внимание, как нижняя граница имеет наклон. $\leq 1$и как нижняя огибающая равна кривой на тех участках, где сама кривая имеет наклон $\leq 1$.

Два малых шага свертки визуально ясны, когда вероятностное пространство равно $\mathbb {R}$.

Для удобства обозначений пусть $\square$ обозначают инфимальную операцию свертки.

На первом этапе, где мы использовали $f={\text{cone}}\mathbin {\square } (-g)$, постройте кривую $-g$, затем в каждой точке нарисуйте конус наклона 1, а нижнюю огибающую конусов примите за $f$, как показано на схеме, то $f$ не может увеличиваться с наклоном больше 1. Таким образом, все секущие имеют наклон ${\bigg |}{\frac {f(x)-f(y)}{x-y}}{\bigg |}\leq 1$.

Для второго шага представьте себе незначительную свертку ${\text{cone}}\mathbin {\square } (-f)$, то если все секущие $f$ имеют наклон не более 1, то нижняя огибающая ${\text{cone}}\mathbin {\square } (-f)$ являются лишь самими вершинами конусов, таким образом ${\text{cone}}\mathbin {\square } (-f)=-f$.

1D пример . Когда оба $\mu ,\nu$ это дистрибутивы на $\mathbb {R}$, то интегрирование по частям дает $$\mathbb {E} _{x\sim \mu }[f(x)]-\mathbb {E} _{y\sim \nu }[f(y)]=\int f'(x)(F_{\nu }(x)-F_{\mu }(x))\,\mathrm {d} x,$$ таким образом $$f(x)=K\cdot \operatorname {sign} (F_{\nu }(x)-F_{\mu }(x)).$$

Интерпретация механики жидкости W ₂

Бенаму и Бренье обнаружили двойное представление $W_{2}$ с помощью механики жидкости , что позволяет эффективно решать проблемы путем выпуклой оптимизации .

Учитывая две плотности вероятности $p,q$ на $\mathbb {R} ^{n}$, $$W_{2}(p,q)=\min _{\mathbf {v}}\int _{0}^{1}\int _{\mathbb {R} ^{n}}\|{\mathbf {v}}({\mathbf {x}},t)\|^{2}\rho ({\mathbf {x}},t)\,d{\mathbf {x}}\,dt$$где ${\mathbf {v}}$ колеблется по полям скорости, определяя уравнение неразрывности с граничными условиями в поле плотности жидкости: $${\dot {\rho }}+\nabla \cdot (\rho {\mathbf {v}})=0\quad \rho (\cdot ,0)=p,\;\rho (\cdot ,1)=q$$ То есть масса должна сохраняться, а поле скорости должно переносить распределение вероятностей $p$ к $q$ в течение временного интервала $[0,1]$.

Эквивалентность W ₂ и соболевской нормы отрицательного порядка

При соответствующих предположениях расстояние Вассерштейна $W_{2}$ второго порядка липшицева эквивалентна однородной соболевской норме отрицательного порядка . Точнее, если взять $M$ быть связным римановым многообразием, наделенным положительной мерой $\pi$, то мы можем определить для $f\colon M\to \mathbb {R}$ полунорма $$\|f\|_{{\dot {H}}^{1}(\pi )}^{2}=\int _{M}\|\nabla f(x)\|^{2}\,\pi (\mathrm {d} x)$$ и для подписанной меры $\mu$ на $M$ двойная норма $$\|\mu \|_{{\dot {H}}^{-1}(\pi )}=\sup {\bigg \{}|\langle f,\mu \rangle |\,{\bigg |}\,\|f\|_{{\dot {H}}^{1}(\pi )}\leq 1{\bigg \}}.$$ Тогда любые две вероятностные меры $\mu$ и $\nu$ на $M$ удовлетворять верхней границе $$W_{2}(\mu ,\nu )\leq 2\,\|\mu -\nu \|_{{\dot {H}}^{-1}(\pi )}.$$ В другую сторону, если $\mu$ и $\nu$ каждый из них имеет плотность относительно стандартной меры объема на $M$ которые оба ограничены сверху некоторыми $0<C<\infty$, и $M$ имеет неотрицательную кривизну Риччи , то $$\|\mu -\nu \|_{{\dot {H}}^{-1}(\pi )}\leq {\sqrt {C}}\,W_{2}(\mu ,\nu ).$$

Отделимость и полнота

Для любого p ≥ 1 метрическое пространство ( P _p ( M ), W _p ) является сепарабельным и полным , если ( M , d ) сепарабельно и полно.

Расстояние Вассерштейна для p = ∞

Также можно рассмотреть метрику Вассерштейна для $p=\infty$. В этом случае определяющей формулой будет: $$W_{\infty }(\mu ,\nu )=\lim _{p\rightarrow +\infty }W_{p}(\mu ,\nu )=\inf _{\gamma \in \Gamma (\mu ,\nu )}\gamma \operatorname {-essup} d(x,y),$$ где $\gamma \operatorname {-essup} d(x,y)$ обозначает существенную верхнюю грань $d(x,y)$ относительно меры $\gamma$. Метрическое пространство ( P _∞ ( M ), W _∞ ) полно, если ( M , d ) сепарабельно и полно. Здесь P∞ _. — пространство всех вероятностных мер с ограниченным носителем

См. также

• Метрика Хатчинсона
• Метрика Леви
• Метрика Леви – Прохора
• Расстояние Фреше
• Общее расстояние вариации вероятностных мер
• Теория транспорта
• Расстояние землеройной машины
• Вассерштейн ГАН
• Kolmogorov–Smirnov test

Дальнейшее чтение

• Амбросио Л., Джильи Н., Саваре Г. (2005). Градиентные потоки в метрических пространствах и пространстве вероятностных мер . Базель: ETH Zürich, Birkhäuser Verlag. ISBN  978-3-7643-2428-5 .
• Джордан Р., Киндерлерер Д., Отто Ф. (январь 1998 г.). «Вариационная формулировка уравнения Фоккера – Планка». SIAM Journal по математическому анализу . 29 (1): 1–17 (электронный). CiteSeerX   10.1.1.6.8815 . дои : 10.1137/S0036141096303359 . ISSN   0036-1410 . МР   1617171 . S2CID   13890235 .
• Рюшендорф Л. (2001) [1994], «Метрика Вассерштейна» , Энциклопедия математики , EMS Press
• Виллани С (2008). Оптимальный транспорт, старый и новый . Спрингер. ISBN  978-3-540-71050-9 .

Внешние ссылки

• «В чем преимущества метрики Вассерштейна по сравнению с дивергенцией Кульбака – Лейблера?» . Обмен стеками . 1 августа 2017 г.