Воспроизведение ядра гильбертова пространства

На рисунке показаны связанные, но разные подходы к просмотру RKHS.

В функциональном анализе (раздел математики ) воспроизводящее ядро ​​гильбертова пространства ( РКХС ) — это гильбертово пространство функций, в котором точечная оценка представляет собой непрерывный линейный функционал . Грубо говоря, это означает, что если две функции $f$ и $g$ в РХС близки к норме, т.е. $\|f-g\|$ мал, то $f$ и $g$ также поточечно близки, т.е. $|f(x)-g(x)|$ мал для всех $x$. Обратное не обязательно должно быть правдой. Неформально это можно показать, взглянув на верхнюю норму : последовательность функций $\sin ^{n}(x)$ сходится поточечно, но не сходится равномерно, т. е. не сходится относительно супремумной нормы. (Это не контрпример, поскольку норма супремума не возникает из какого-либо внутреннего продукта из-за неудовлетворения закона параллелограмма .)

Не совсем просто построить гильбертово пространство функций, не являющееся RKHS. Однако некоторые примеры были найдены.

л ² пространства являются не гильбертовыми пространствами функций (и, следовательно, не RKHS), а гильбертовыми пространствами классов эквивалентности функций (например, функций $f$ и $g$ определяется $f(x)=0$ и $g(x)=1_{\mathbb {Q} }$ эквивалентны в L ² ). Однако существуют РХС, в которых нормой является L ² -норма, такая как пространство функций с ограниченной зоной (см. пример ниже).

RKHS связан с ядром, которое воспроизводит каждую функцию в пространстве в том смысле, что для каждого $x$ в множестве, на котором определены функции, «вычисление при $x$"можно выполнить, взяв внутренний продукт с функцией, определяемой ядром. Такое воспроизводящее ядро ​​существует тогда и только тогда, когда каждый оценочный функционал непрерывен.

Воспроизводящее ядро ​​было впервые введено в 1907 году в работе Станислава Зарембы о краевых задачах для гармонических и бигармонических функций . Джеймс Мерсер одновременно исследовал функции , удовлетворяющие воспроизводящему свойству, в теории интегральных уравнений . Идея воспроизводящегося ядра оставалась нетронутой в течение почти двадцати лет, пока она не появилась в диссертациях Габора Сегё , Стефана Бергмана и Саломона Бохнера . В конечном итоге эта тема была систематически развита в начале 1950-х годов Нахманом Ароншайном и Стефаном Бергманом.

Эти пространства имеют широкие приложения, включая комплексный анализ , гармонический анализ и квантовую механику . Воспроизведение ядерных гильбертовых пространств особенно важно в области статистической теории обучения из-за знаменитой теоремы о репрезентаторе , которая гласит, что каждая функция в RKHS, которая минимизирует эмпирический функционал риска, может быть записана как линейная комбинация ядерной функции, оцененной в точках обучения. . Это практически полезный результат, поскольку он эффективно упрощает эмпирическую задачу минимизации риска с бесконечномерной до конечномерной задачи оптимизации.

Для простоты понимания мы предоставляем основу для вещественных гильбертовых пространств. Теорию можно легко распространить на пространства комплекснозначных функций и, следовательно, включить множество важных примеров воспроизведения ядерных гильбертовых пространств, которые являются пространствами аналитических функций .

Определение

Позволять $X$ быть произвольным множеством и $H$ гильбертово пространство вещественных функций на $X$, оснащенный поточечным сложением и поточечным скалярным умножением. Функционал оценки в гильбертовом пространстве функций $H$ представляет собой линейный функционал, который оценивает каждую функцию в точке $x$,

$L_{x}:f\mapsto f(x){\text{ }}\forall f\in H.$

Будем говорить, что H является воспроизводящим ядерным гильбертовым пространством , если для всех $x$ в $X$, $L_{x}$ является непрерывным в каждом $f$ в $H$ или, что то же самое, если $L_{x}$ является ограниченным оператором на $H$, т.е. существует некоторый $M_{x}>0$ такой, что

$|L_{x}(f)|:=|f(x)|\leq M_{x}\,\|f\|_{H}\qquad \forall f\in H.\,$ ( 1 )

Хотя $M_{x}<\infty$ предполагается для всех $x\in X$, все еще может быть так, что ${\textstyle \sup _{x}M_{x}=\infty }$.

Хотя свойство ( 1 ) является самым слабым условием, обеспечивающим как существование внутреннего продукта, так и вычисление каждой функции в $H$ в каждой точке предметной области его нелегко применить на практике. Более интуитивное определение RKHS можно получить, заметив, что это свойство гарантирует, что оценочный функционал может быть представлен как внутренний продукт $f$ с функцией $K_{x}$ в $H$. Эта функция является так называемым воспроизводящим ядром. для гильбертова пространства $H$ от которого RKHS получил свое название. Более формально, теорема о представлении Рисса означает, что для всех $x$ в $X$ существует уникальный элемент $K_{x}$ из $H$ с воспроизводящим свойством,

$f(x)=L_{x}(f)=\langle f,\ K_{x}\rangle _{H}\quad \forall f\in H.$ ( 2 )

С $K_{x}$ сама по себе является функцией, определенной на $X$ со значениями в поле $\mathbb {R}$ (или $\mathbb {C}$ в случае комплексных гильбертовых пространств) и как $K_{x}$ находится в $H$ у нас есть это

$K_{x}(y)=L_{y}(K_{x})=\langle K_{x},\ K_{y}\rangle _{H},$

где $K_{y}\in H$ это элемент в $H$ связанный с $L_{y}$.

Это позволяет определить воспроизводящее ядро $H$ как функция $K:X\times X\to \mathbb {R}$ (или $\mathbb {C}$ в сложном случае)

$K(x,y)=\langle K_{x},\ K_{y}\rangle _{H}.$

Из этого определения легко увидеть, что $K:X\times X\to \mathbb {R}$ (или $\mathbb {C}$ в комплексном случае) является одновременно симметричным (соответственно сопряженно-симметричным) и положительно определенным , т.е.

$\sum _{i,j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})=\sum _{i=1}^{n}c_{i}\left\langle K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\langle \sum _{i=1}^{n}c_{i}K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\|\sum _{i=1}^{n}c_{i}K_{x_{i}}\right\|_{H}^{2}\geq 0$

для каждого $n\in \mathbb {N} ,x_{1},\dots ,x_{n}\in X,{\text{ and }}c_{1},\dots ,c_{n}\in \mathbb {R} .$ Теорема Мура – ​​Ароншайна (см. ниже) является своего рода обратной к этому: если функция $K$ удовлетворяет этим условиям, то существует гильбертово пространство функций на $X$ для которого оно является воспроизводящим ядром.

Пример

Пространство с ограниченной полосой пропускания непрерывных функций $H$ как мы теперь покажем, это RKHS. Формально, исправить некоторую частоту среза $0<a<\infty$ и определим гильбертово пространство

$H=\{f\in C(\mathbb {R} )\mid \operatorname {supp} (F)\subset [-a,a]\}$

где $C(\mathbb {R} )$ - набор непрерывных функций, интегрируемых с квадратом, и ${\textstyle F(\omega )=\int _{-\infty }^{\infty }f(t)e^{-i\omega t}\,dt}$ представляет собой Фурье преобразование $f$. В качестве внутреннего продукта этого гильбертова пространства мы используем

$\langle f,g\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(x)\cdot {\overline {g(x)}}\,dx.$

По теореме обращения Фурье имеем

$f(x)={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )e^{ix\omega }\,d\omega .$

Тогда из неравенства Коши – Шварца и теоремы Планшереля следует , что для всех $x$,

$|f(x)|\leq {\frac {1}{2\pi }}{\sqrt {2a\int _{-a}^{a}|F(\omega )|^{2}\,d\omega }}={\frac {\sqrt {2a}}{2\pi }}{\sqrt {\int _{-\infty }^{\infty }|F(\omega )|^{2}\,d\omega }}={\sqrt {\frac {a}{\pi }}}\|f\|_{L^{2}}.$

Это неравенство показывает, что функционал оценки ограничен, что доказывает, что $H$ действительно RKHS.

Функция ядра $K_{x}$ в данном случае определяется

$K_{x}(y)={\frac {a}{\pi }}\operatorname {sinc} \left({\frac {a}{\pi }}(y-x)\right)={\frac {\sin(a(y-x))}{\pi (y-x)}}.$

Преобразование Фурье $K_{x}(y)$ определенное выше, определяется выражением

$\int _{-\infty }^{\infty }K_{x}(y)e^{-i\omega y}\,dy={\begin{cases}e^{-i\omega x}&{\text{if }}\omega \in [-a,a],\\0&{\textrm {otherwise}},\end{cases}}$

что является следствием свойства преобразования Фурье сдвига во времени . Следовательно, используя теорему Планшереля , имеем

$\langle f,K_{x}\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(y)\cdot {\overline {K_{x}(y)}}\,dy={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )\cdot e^{i\omega x}\,d\omega =f(x).$

Таким образом, мы получаем воспроизводящее свойство ядра.

$K_{x}$ в данном случае это «версия с ограниченной полосой пропускания» дельта -функции Дирака , и это $K_{x}(y)$ сходится к $\delta (y-x)$ в слабом смысле как частота среза $a$ стремится к бесконечности.

–

Мы видели, как гильбертово пространство с воспроизводящим ядром определяет воспроизводящую ядерную функцию, которая одновременно симметрична и положительно определена . Теорема Мура-Ароншайна идет в другом направлении; он утверждает, что каждое симметричное положительно определенное ядро ​​определяет уникальное воспроизводящее ядро ​​гильбертова пространства. Теорема впервые появилась в «Теории воспроизведения ядер» Ароншайна , хотя он приписывает ее Э.Х. Муру .

Теорема . Предположим, K — симметричное положительно определенное ядро ​​на множестве X. что Тогда существует единственное гильбертово пространство функций на X, для которого K — воспроизводящее ядро.

Доказательство . Для всех x в X определите K _x = K ( x , ⋅ ). Пусть H ₀ — линейная оболочка { K _x : x ∈ X }. Определим скалярный продукт на H ₀ по формуле

$\left\langle \sum _{j=1}^{n}b_{j}K_{y_{j}},\sum _{i=1}^{m}a_{i}K_{x_{i}}\right\rangle _{H_{0}}=\sum _{i=1}^{m}\sum _{j=1}^{n}{a_{i}}b_{j}K(y_{j},x_{i}),$

что подразумевает $K(x,y)=\left\langle K_{x},K_{y}\right\rangle _{H_{0}}$.Симметрия этого скалярного произведения следует из симметрии K , а невырожденность следует из того факта, что K положительно определен.

Пусть H — пополнение H . ₀ относительно этого скалярного произведения Тогда H состоит из функций вида

$f(x)=\sum _{i=1}^{\infty }a_{i}K_{x_{i}}(x)\quad {\text{where}}\quad \lim _{n\to \infty }\sup _{p\geq 0}\left\|\sum _{i=n}^{n+p}a_{i}K_{x_{i}}\right\|_{H_{0}}=0.$

Теперь мы можем проверить свойство воспроизведения ( 2 ):

$\langle f,K_{x}\rangle _{H}=\sum _{i=1}^{\infty }a_{i}\left\langle K_{x_{i}},K_{x}\right\rangle _{H_{0}}=\sum _{i=1}^{\infty }a_{i}K(x_{i},x)=f(x).$

Для доказательства единственности пусть G — другое гильбертово пространство функций, для которого K — воспроизводящее ядро. Для каждого x и y в X из ( 2 ) следует, что

$\langle K_{x},K_{y}\rangle _{H}=K(x,y)=\langle K_{x},K_{y}\rangle _{G}.$

По линейности, $\langle \cdot ,\cdot \rangle _{H}=\langle \cdot ,\cdot \rangle _{G}$ на протяжении $\{K_{x}:x\in X\}$. Затем $H\subset G$ поскольку G полна и содержит H ₀ и, следовательно, содержит свое пополнение.

Теперь нам нужно доказать, что каждый элемент находится в H. G Позволять $f$ быть элементом G . Поскольку H — замкнутое подпространство G , мы можем написать $f=f_{H}+f_{H^{\bot }}$ где $f_{H}\in H$ и $f_{H^{\bot }}\in H^{\bot }$. Теперь, если $x\in X$ тогда, поскольку K — воспроизводящее ядро ​​G и H :

$f(x)=\langle K_{x},f\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}+\langle K_{x},f_{H^{\bot }}\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}=\langle K_{x},f_{H}\rangle _{H}=f_{H}(x),$

где мы использовали тот факт, что $K_{x}$ принадлежит H так, что его внутренний продукт с $f_{H^{\bot }}$ в G равен нулю.Это показывает, что $f=f_{H}$ в G и завершает доказательство.

Мерсера

Мы можем охарактеризовать симметричное положительно определенное ядро $K$ через интегральный оператор с использованием теоремы Мерсера и получить дополнительный вид RKHS. Позволять $X$ — компакт, снабженный строго положительной конечной борелевской мерой $\mu$ и $K:X\times X\to \mathbb {R}$ непрерывная, симметричная и положительно определенная функция. Определим интегральный оператор $T_{K}:L_{2}(X)\to L_{2}(X)$ как

$[T_{K}f](\cdot )=\int _{X}K(\cdot ,t)f(t)\,d\mu (t)$

где $L_{2}(X)$ – пространство функций, интегрируемых с квадратом относительно $\mu$.

Теорема Мерсера утверждает, что спектральное разложение интегрального оператора $T_{K}$ из $K$ дает представление в виде ряда $K$ в терминах собственных значений и собственных функций $T_{K}$. Тогда это означает, что $K$ является воспроизводящим ядром, так что соответствующее RKHS можно определить через эти собственные значения и собственные функции. Мы предоставляем подробную информацию ниже.

При этих предположениях $T_{K}$ — компактный, непрерывный, самосопряженный и положительный оператор. Спектральная теорема для самосопряженных операторов означает, что существует не более чем счетная убывающая последовательность $(\sigma _{i})_{i}\geq 0$ такой, что ${\textstyle \lim _{i\to \infty }\sigma _{i}=0}$ и $T_{K}\varphi _{i}(x)=\sigma _{i}\varphi _{i}(x)$, где $\{\varphi _{i}\}$ образуют ортонормированный базис $L_{2}(X)$. По позитивности $T_{K},\sigma _{i}>0$ для всех $i.$ Можно также показать, что $T_{K}$ непрерывно отображается в пространство непрерывных функций $C(X)$ и поэтому мы можем выбрать в качестве собственных векторов непрерывные функции, т. е. $\varphi _{i}\in C(X)$ для всех $i.$ Тогда по теореме Мерсера $K$ может быть записано через собственные значения и непрерывные собственные функции как

$K(x,y)=\sum _{j=1}^{\infty }\sigma _{j}\,\varphi _{j}(x)\,\varphi _{j}(y)$

для всех $x,y\in X$ такой, что

$\lim _{n\to \infty }\sup _{u,v}\left|K(u,v)-\sum _{j=1}^{n}\sigma _{j}\,\varphi _{j}(u)\,\varphi _{j}(v)\right|=0.$

Это представленное выше представление серии называется ядром Мерсера или представлением Мерсера. $K$.

Кроме того, можно показать, что RKHS $H$ из $K$ дается

$H=\left\{f\in L_{2}(X)\,{\Bigg \vert }\,\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}^{2}}{\sigma _{i}}}<\infty \right\}$

где внутренний продукт $H$ данный

$\left\langle f,g\right\rangle _{H}=\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}\left\langle g,\varphi _{i}\right\rangle _{L_{2}}}{\sigma _{i}}}.$

Это представление RKHS имеет применение в теории вероятности и статистике, например, в представлении Карунена-Лоэва для случайных процессов и ядра PCA .

Карты объектов

Карта объектов — это карта $\varphi \colon X\rightarrow F$, где $F$ — это гильбертово пространство, которое мы будем называть пространством признаков. В первых разделах была представлена ​​связь между ограниченными/непрерывными функциями оценки, положительно определенными функциями и интегральными операторами, а в этом разделе мы даем другое представление RKHS в терминах карт признаков.

Каждая карта функций определяет ядро ​​через

$K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}.$ ( 3 )

Четко $K$ симметрична, а положительная определенность следует из свойств скалярного произведения в $F$. И наоборот, каждая положительно определенная функция и соответствующее воспроизводящее ядро ​​гильбертова пространства имеют бесконечно много связанных карт признаков, таких что ( 3 ) выполняется.

Например, мы можем тривиально взять $F=H$ и $\varphi (x)=K_{x}$ для всех $x\in X$. Тогда ( 3 ) удовлетворяет воспроизводящему свойству. Другой классический пример карты признаков относится к предыдущему разделу, посвященному интегральным операторам: $F=\ell ^{2}$ и $\varphi (x)=({\sqrt {\sigma _{i}}}\varphi _{i}(x))_{i}$.

Эта связь между ядрами и картами признаков дает нам новый способ понять положительно определенные функции и, следовательно, воспроизвести ядра как внутренние продукты в $H$. Более того, каждая карта признаков может естественным образом определять RKHS посредством определения положительно определенной функции.

Наконец, карты признаков позволяют нам создавать функциональные пространства, которые раскрывают другой взгляд на RKHS. Рассмотрим линейное пространство

$H_{\varphi }=\{f:X\to \mathbb {R} \mid \exists w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.$

Мы можем определить норму $H_{\varphi }$ к

$\|f\|_{\varphi }=\inf\{\|w\|_{F}:w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.$

Можно показать, что $H_{\varphi }$ представляет собой RKHS с ядром, определяемым $K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}$. Это представление подразумевает, что элементы RKHS являются внутренними продуктами элементов пространства признаков и, соответственно, могут рассматриваться как гиперплоскости. Такой взгляд на RKHS связан с трюком с ядром в машинном обучении.

Свойства

Полезные свойства РХС:

• Позволять $(X_{i})_{i=1}^{p}$ быть последовательностью множеств и $(K_{i})_{i=1}^{p}$ — совокупность соответствующих положительно определенных функций на $(X_{i})_{i=1}^{p}.$ Отсюда следует, что

  $K((x_{1},\ldots ,x_{p}),(y_{1},\ldots ,y_{p}))=K_{1}(x_{1},y_{1})\cdots K_{p}(x_{p},y_{p})$

  включено ли ядро $X=X_{1}\times \dots \times X_{p}.$

• Позволять $X_{0}\subset X,$ тогда ограничение $K$ к $X_{0}\times X_{0}$ также является воспроизводящим ядром.
• Рассмотрим нормализованное ядро $K$ такой, что $K(x,x)=1$ для всех $x\in X$. Определите псевдометрику на X как

  $d_{K}(x,y)=\|K_{x}-K_{y}\|_{H}^{2}=2(1-K(x,y))\qquad \forall x\in X.$

  По неравенству Коши–Шварца ,

  $K(x,y)^{2}\leq K(x,x)K(y,y)=1\qquad \forall x,y\in X.$

  Это неравенство позволяет нам увидеть $K$ как мера сходства между входными данными. Если $x,y\in X$ тогда похожи $K(x,y)$ будет ближе к 1, а если $x,y\in X$ тогда они непохожи $K(x,y)$ будет ближе к 0.

• Закрытие пролета $\{K_{x}\mid x\in X\}$ совпадает с $H$.

Типичные примеры

Билинейные ядра

$K(x,y)=\langle x,y\rangle$

РХС $H$ этому ядру соответствует двойственное пространство, состоящее из функций $f(x)=\langle x,\beta \rangle$ удовлетворяющий $\|f\|_{H}^{2}=\|\beta \|^{2}$.

Полиномиальные ядра

$K(x,y)=(\alpha \langle x,y\rangle +1)^{d},\qquad \alpha \in \mathbb {R} ,d\in \mathbb {N}$

Ядра радиальных базисных функций

Это еще один распространенный класс ядер, которые удовлетворяют $K(x,y)=K(\|x-y\|)$. Вот некоторые примеры:

• Гауссово или квадратичное экспоненциальное ядро :

  $K(x,y)=e^{-{\frac {\|x-y\|^{2}}{2\sigma ^{2}}}},\qquad \sigma >0$

• Ядро Лапласа :

  $K(x,y)=e^{-{\frac {\|x-y\|}{\sigma }}},\qquad \sigma >0$

  Квадрат нормы функции $f$ в РХС $H$ с этим ядром:

  $\|f\|_{H}^{2}=\int _{\mathbb {R} }{\Big (}{\frac {1}{\sigma }}f(x)^{2}+\sigma f'(x)^{2}{\Big )}\mathrm {d} x.$

Ядра Бергмана

Мы также приводим примеры ядер Бергмана . Пусть X конечно и H состоит из всех комплекснозначных функций на X . Тогда элемент H можно представить как массив комплексных чисел. обычное скалярное произведение Если используется , то K _x — это функция, значение которой равно 1 в точке x и 0 везде, и $K(x,y)$ можно рассматривать как единичную матрицу, поскольку

$K(x,y)={\begin{cases}1&x=y\\0&x\neq y\end{cases}}$

В этом случае H изоморфен $\mathbb {C} ^{n}$.

Случай $X=\mathbb {D}$ (где $\mathbb {D}$ обозначает единичный диск ) является более сложным. Вот пространство Бергмана $H^{2}(\mathbb {D} )$ — пространство интегрируемых с квадратом голоморфных функций на $\mathbb {D}$. Можно показать, что воспроизводящее ядро ​​для $H^{2}(\mathbb {D} )$ является

$K(x,y)={\frac {1}{\pi }}{\frac {1}{(1-x{\overline {y}})^{2}}}.$

Наконец, пространство ограниченных по полосе функций в $L^{2}(\mathbb {R} )$ с пропускной способностью $2a$ представляет собой RKHS с воспроизводящим ядром

$K(x,y)={\frac {\sin a(x-y)}{\pi (x-y)}}.$

Расширение векторных функций

В этом разделе мы расширяем определение RKHS на пространства векторных функций, поскольку это расширение особенно важно в многозадачном обучении и регуляризации многообразий . Основное отличие состоит в том, что воспроизводящее ядро $\Gamma$ - симметричная функция, которая теперь является положительной полуопределенной матрицей для каждого $x,y$ в $X$. Более формально, мы определяем векторнозначное RKHS (vvRKHS) как гильбертово пространство функций $f:X\to \mathbb {R} ^{T}$ такой, что для всех $c\in \mathbb {R} ^{T}$ и $x\in X$

$\Gamma _{x}c(y)=\Gamma (x,y)c\in H{\text{ for }}y\in X$

и

$\langle f,\Gamma _{x}c\rangle _{H}=f(x)^{\intercal }c.$

Это второе свойство аналогично свойству воспроизведения для скалярного случая. Это определение также может быть связано с интегральными операторами, ограниченными функциями оценки и картами признаков, как мы видели для скалярнозначного RKHS. Мы можем эквивалентным образом определить vvRKHS как векторное гильбертово пространство с ограниченным функционалом оценки и показать, что из этого следует существование уникального воспроизводящего ядра по теореме о представлении Рисса. Теорему Мерсера также можно распространить на векторнозначную настройку, и поэтому мы можем получить представление карты признаков vvRKHS. Наконец, можно также показать, что замыкание промежутка $\{\Gamma _{x}c:x\in X,c\in \mathbb {R} ^{T}\}$ совпадает с $H$, еще одно свойство, похожее на случай со скалярным знаком.

Мы можем получить представление о vvRKHS, взглянув на эти пространства покомпонентно. В частности, мы находим, что каждый vvRKHS изометрически изоморфен скалярнозначному RKHS в конкретном входном пространстве. Позволять $\Lambda =\{1,\dots ,T\}$. Рассмотрим пространство $X\times \Lambda$ и соответствующее воспроизводящее ядро

$\gamma :X\times \Lambda \times X\times \Lambda \to \mathbb {R} .$ ( 4 )

Как отмечалось выше, RKHS, связанный с этим воспроизводящим ядром, определяется замыканием диапазона $\{\gamma _{(x,t)}:x\in X,t\in \Lambda \}$ где $\gamma _{(x,t)}(y,s)=\gamma ((x,t),(y,s))$ для каждого набора пар $(x,t),(y,s)\in X\times \Lambda$.

Тогда связь со скалярнозначным RKHS может быть установлена ​​тем фактом, что каждое матричное ядро ​​можно отождествить с ядром вида ( 4 ) через

$\Gamma (x,y)_{(t,s)}=\gamma ((x,t),(y,s)).$

Более того, каждое ядро ​​вида ( 4 ) определяет матричное ядро ​​с приведенным выше выражением. Теперь позволяем карте $D:H_{\Gamma }\to H_{\gamma }$ быть определен как

$(Df)(x,t)=\langle f(x),e_{t}\rangle _{\mathbb {R} ^{T}}$

где $e_{t}$ это $t^{\text{th}}$ составляющая канонической основы $\mathbb {R} ^{T}$, можно показать, что $D$ является биективным и изометрией между $H_{\Gamma }$ и $H_{\gamma }$.

Хотя этот взгляд на vvRKHS может быть полезен при многозадачном обучении, эта изометрия не сводит изучение векторного случая к изучению скалярного случая. Фактически, эта процедура изометрии может сделать как скалярное ядро, так и входное пространство слишком трудными для работы на практике, поскольку свойства исходных ядер часто теряются.

Важным классом матричных воспроизводящих ядер являются разделимые ядра, которые можно факторизовать как произведение скалярного ядра и $T$-мерная симметричная положительная полуопределенная матрица. В свете нашего предыдущего обсуждения эти ядра имеют вид

$\gamma ((x,t),(y,s))=K(x,y)K_{T}(t,s)$

для всех $x,y$ в $X$ и $t,s$ в $T$. Поскольку скалярное ядро ​​кодирует зависимости между входными данными, мы можем наблюдать, что матричное ядро ​​кодирует зависимости как между входными, так и выходными данными.

Наконец, отметим, что изложенную выше теорию можно распространить и на пространства функций со значениями в функциональных пространствах, но получение ядер для этих пространств представляет собой более сложную задачу.

Соединение между RKHS и функцией ReLU

Функция ReLU обычно определяется как $f(x)=\max\{0,x\}$ и является основой архитектуры нейронных сетей, где он используется в качестве функции активации. Можно построить ReLU-подобную нелинейную функцию, используя теорию воспроизведения ядерных гильбертовых пространств. Ниже мы выведем эту конструкцию и покажем, как она подразумевает возможности представления нейронных сетей с активациями ReLU.

Мы будем работать с гильбертовым пространством. ${\mathcal {H}}=L_{2}^{1}(0)[0,\infty )$ абсолютно непрерывных функций с $f(0)=0$ и интегрируемое с квадратом (т.е. $L_{2}$) производная. Имеет внутренний продукт

$\langle f,g\rangle _{\mathcal {H}}=\int _{0}^{\infty }f'(x)g'(x)\,dx.$

Для построения воспроизводящего ядра достаточно рассмотреть плотное подпространство, поэтому пусть $f\in C^{1}[0,\infty )$ и $f(0)=0$. Тогда Основная теорема исчисления дает

$f(y)=\int _{0}^{y}f'(x)\,dx=\int _{0}^{\infty }G(x,y)f'(x)\,dx=\langle K_{y},f\rangle$

где

$G(x,y)={\begin{cases}1,&x<y\\0,&{\text{otherwise}}\end{cases}}$

и $K_{y}'(x)=G(x,y),\ K_{y}(0)=0$ т.е.

$K(x,y)=K_{y}(x)=\int _{0}^{x}G(z,y)\,dz={\begin{cases}x,&0\leq x<y\\y,&{\text{otherwise.}}\end{cases}}=\min(x,y)$

Это подразумевает $K_{y}=K(\cdot ,y)$ воспроизводит $f$.

Более того, минимальная функция на $X\times X=[0,\infty )\times [0,\infty )$ имеет следующие представления с функцией ReLu:

$\min(x,y)=x-\operatorname {ReLU} (x-y)=y-\operatorname {ReLU} (y-x).$

Используя эту формулировку, мы можем применить теорему о репрезентаторе к RKHS, позволяя доказать оптимальность использования активаций ReLU в настройках нейронной сети.

См. также

• Положительно определенное ядро
• Теорема Мерсера
• Трюк с ядром
• Встраивание дистрибутивов в ядро
• Представление теоремы

Ссылки

• Альварес, Маурисио, Росаско, Лоренцо и Лоуренс, Нил, «Ядра для векторнозначных функций: обзор», https://arxiv.org/abs/1106.6251 , июнь 2011 г.
• Аронсайн, Нахман (1950). «Теория воспроизведения ядер» . Труды Американского математического общества . 68 (3): 337–404. дои : 10.1090/S0002-9947-1950-0051437-7 . JSTOR   1990404 . МР   0051437 .
• Берлине, Ален и Томас, Кристина. Воспроизведение ядерных гильбертовых пространств в книге «Вероятность и статистика» , Kluwer Academic Publishers, 2004.
• Какер, Фелипе; Смейл, Стив (2002). «О математических основах обучения» . Бюллетень Американского математического общества . 39 (1): 1–49. дои : 10.1090/S0273-0979-01-00923-5 . МР   1864085 .
• Де Вито, Эрнест, Уманита, Вероника и Вилла, Сильвия. «Распространение теоремы Мерсера на векторно-измеримые ядра», arXiv : 1110.4017 , июнь 2013 г.
• Дарретт, Грег. 9.520 Конспекты курса, Массачусетский технологический институт, https://www.mit.edu/~9.520/scribe-notes/class03_gdurett.pdf , февраль 2010 г.
• Кимельдорф, Джордж; Вахба, Грейс (1971). «Некоторые результаты по чебышевским сплайн-функциям» (PDF) . Журнал математического анализа и приложений . 33 (1): 82–95. дои : 10.1016/0022-247X(71)90184-3 . МР   0290013 .
• Окутмустур, Бавер. «Воспроизведение ядерных гильбертовых пространств», магистерская диссертация, Университет Билкента, http://www.thesis.bilkent.edu.tr/0002953.pdf , август 2005 г.
• Полсен, Верн. «Введение в теорию воспроизведения ядерных гильбертовых пространств», https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=440218056738e05b5ab43679f932a9f33fccee87 .
• Стейнварт, Инго; Сковел, Клинт (2012). «Теорема Мерсера об общих областях: о взаимодействии мер, ядер и RKHS». Констр. Прибл . 35 (3): 363–417. дои : 10.1007/s00365-012-9153-3 . МР   2914365 . S2CID   253885172 .
• Розаско, Лоренцо и Поджо, Томас. Рукопись «Регуляризация машинного обучения – конспект лекций MIT 9.520», декабрь 2014 г.
• Вахба, Грейс , Сплайновые модели для данных наблюдений , SIAM , 1990.
• Чжан, Хайчжан; Сюй, Юешэн; Чжан, Цинхуэй (2012). «Уточнение операторно-воспроизводящих ядер» (PDF) . Журнал исследований машинного обучения . 13 : 91–136.