Воспроизведение ядра Гильберта

Рисунок иллюстрирует связанные, но различные подходы к просмотру RKHS

В функциональном анализе воспроизводительное пространство из гильберта ( RKHS ) - это пространство функций Гильберта , в котором оценка точек является непрерывной линейной функциональной . Грубо говоря, это означает, что если две функции $f$ и $g$ в RKHS близко по норме, т.е. $\|f-g\|$ тогда маленький $f$ и $g$ также точнее близко, т.е. $|f(x)-g(x)|$ маленький для всех $x$Полем Конверс не должен быть правдой. Неофициально, это можно показать, глядя на норму Supmum : последовательность функций $\sin ^{2n}(x)$ сходится точечно, но не сходится равномерно, т.е. не сходится по отношению к норме Supmum. (Это не контрпример, потому что норма Supremum не возникает из какого -либо внутреннего продукта из -за не удовлетворяющего законом параллелограмма .)

Не совсем простым построить пространство функций Гильберта, которое не является RKHS. Некоторые примеры, однако, были найдены.

Л ² Пространства - это не пространства функций (и, следовательно, не RKHSS), а скорее пространства Гильберта классов эквивалентности функций (например, функции $f$ и $g$ определяется $f(x)=0$ и $g(x)=1_{\mathbb {Q} }$ эквивалентны в L ² ) Тем не менее, есть RKHSS, в которых норма является L ² -Norm, такой как пространство функций с ограниченными полосами (см. Пример ниже).

RKHS связан с ядром, которое воспроизводит каждую функцию в пространстве в том смысле, что для каждого $x$ В наборе, на котором определены функции », оценка на $x$«Может быть выполнено, взяв внутренний продукт с функцией, определенной ядром. Такое воспроизводящее ядро ​​существует, если и только если каждый функционал оценки непрерывно.

Воспроизведение ядра было впервые введено в 1907 году работы Станислава Зарембы, касающиеся задач граничной ценности для гармонических и бихармонических функций . Джеймс Мерсер одновременно изучил функции , которые удовлетворяют воспроизведению свойства в теории интегральных уравнений . Идея воспроизведения ядра оставалась нетронутой в течение почти двадцати лет, пока оно не появилось в диссертациях Габора Шега , Стефана Бергмана и Саломона Бохнера . Субъект в конечном итоге был систематически разработан в начале 1950 -х годов Нахманом Аронсаджном и Стефаном Бергманом.

Эти пространства имеют широкие применения, включая сложный анализ , гармонический анализ и квантовую механику . Воспроизведение пространств гильберта ядра особенно важна в области статистического обучения из -за знаменитой теоремы представителя , в которой говорится, что каждая функция в RKHS, которая сводит к минимуму эмпирический функционал риска, может быть написана как линейная комбинация функции ядра, оцениваемой в учебных точках. Полем Это практически полезный результат, поскольку он эффективно упрощает проблему минимизации эмпирической риска от бесконечной размерной проблемы до конечной проблемы оптимизации.

Для простоты понимания мы предоставляем основу для реальных пространств Хилберта. Теория может быть легко распространена на пространства комплексных функций и, следовательно, включает в себя множество важных примеров воспроизводительных пространств Hilbert, которые являются пространствами аналитических функций .

Определение

Позволять $X$ быть произвольным набором и $H$ Гильбертовое пространство реальных функций на $X$, оснащено точечным добавлением и точечным скалярным умножением. Оценка Гильберта функционала по пространству функций $H$ линейный функционал, который оценивает каждую функцию в точке $x$,

$L_{x}:f\mapsto f(x){\text{ }}\forall f\in H.$

Мы говорим, что H - это пространство для воспроизведения ядра, если, если, для всех $x$ в $X$, $L_{x}$ непрерывно каждом на $f$ в $H$ или, эквивалентно, если $L_{x}$ является ограниченным оператором на $H$, т.е. существует некоторые $M_{x}>0$ так что

$|L_{x}(f)|:=|f(x)|\leq M_{x}\,\|f\|_{H}\qquad \forall f\in H.\,$ ( 1 )

Хотя $M_{x}<\infty$ предполагается для всех $x\in X$, это все еще может быть так, что ${\textstyle \sup _{x}M_{x}=\infty }$.

В то время как свойство ( 1 ) является самым слабым условием, которое обеспечивает как существование внутреннего продукта, так и оценка каждой функции в $H$ В каждой точке домена он не поддается легкому применению на практике. Более интуитивно понятное определение RKHS может быть получено, заметив, что это свойство гарантирует, что функционал оценки может быть представлен путем принятия внутреннего продукта $f$ с функцией $K_{x}$ в $H$Полем Эта функция является так называемым воспроизводительным ядром для пространства Гильберта $H$ из которого RKHS берет свое название. Более формально, теорема представления RIES подразумевает, что для всех $x$ в $X$ существует уникальный элемент $K_{x}$ из $H$ с воспроизведением собственности,

$f(x)=L_{x}(f)=\langle f,\ K_{x}\rangle _{H}\quad \forall f\in H.$ ( 2 )

С $K_{x}$ Сама функция, определенная на $X$ со значениями в поле $\mathbb {R}$ (или $\mathbb {C}$ в случае сложных пространств Гильберта) и как $K_{x}$ находится в $H$ У нас это есть

$K_{x}(y)=L_{y}(K_{x})=\langle K_{x},\ K_{y}\rangle _{H},$

где $K_{y}\in H$ это элемент в $H$ связан с $L_{y}$.

Это позволяет нам определить воспроизведение ядра $H$ как функция $K:X\times X\to \mathbb {R}$ (или $\mathbb {C}$ в сложном случае)

$K(x,y)=\langle K_{x},\ K_{y}\rangle _{H}.$

Из этого определения легко увидеть, что $K:X\times X\to \mathbb {R}$ (или $\mathbb {C}$ в сложном случае) является симметричным (соответствующим конъюгатным симметричным), так и положительным определенным , т.е.

$\sum _{i,j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})=\sum _{i=1}^{n}c_{i}\left\langle K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\langle \sum _{i=1}^{n}c_{i}K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\|\sum _{i=1}^{n}c_{i}K_{x_{i}}\right\|_{H}^{2}\geq 0$

на каждый $n\in \mathbb {N} ,x_{1},\dots ,x_{n}\in X,{\text{ and }}c_{1},\dots ,c_{n}\in \mathbb {R} .$ Теорема Мур -Ароншаджн (см. Ниже) является своего рода обращением к этому: если функция $K$ Удовлетворяет эти условия, тогда есть пространство функций Гильберта $X$ для которого это воспроизводящее ядро.

Примеры

Самый простой пример размножающегося пространства Hilbert - это пространство - это пространство $L^{2}(X,\mu )$ где $X$ это набор и $\mu$ это счетная мера на $X$Полем Для $x\in X$, воспроизводящее ядро $K_{x}$ индикаторная функция из набора в одну точку $\{x\}\subset X$.

Пространства нетривиальных размножающих ядра, которые часто включают аналитические функции , как мы теперь иллюстрируем примером. Рассмотрим пространство непрерывных функций Гильберта. $H$Полем Исправить некоторую частоту отсечения $0<a<\infty$ и определить пространство Гильберта

$H=\{f\in L^{2}(\mathbb {R} )\mid \operatorname {supp} (F)\subset [-a,a]\}$

где $L^{2}(\mathbb {R} )$ является набором квадратных интегрируемых функций, и ${\textstyle F(\omega )=\int _{-\infty }^{\infty }f(t)e^{-i\omega t}\,dt}$ это Фурье преобразование $f$Полем Как внутренний продукт, мы используем

$\langle f,g\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(x)\cdot {\overline {g(x)}}\,dx.$

Поскольку это закрытый подпространство $L^{2}(\mathbb {R} )$, это пространство Гильберта. Более того, элементы $H$ являются гладкими функциями на $\mathbb {R}$ Это имеет тенденцию к нулю в бесконечности, по сути, Леммой Римана-Лебесга . На самом деле элементы $H$ ограничения на $\mathbb {R}$ целых голоморфных функций , теорема Пейли -Уинер .

Из теоремы инверсии Фурье у нас

$f(x)={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )e^{ix\omega }\,d\omega .$

Затем следует неравенство Коши - Шварц и теорему Планировки , что для всех $x$,

$|f(x)|\leq {\frac {1}{2\pi }}{\sqrt {2a\int _{-a}^{a}|F(\omega )|^{2}\,d\omega }}={\frac {\sqrt {2a}}{2\pi }}{\sqrt {\int _{-\infty }^{\infty }|F(\omega )|^{2}\,d\omega }}={\sqrt {\frac {a}{\pi }}}\|f\|_{L^{2}}.$

Это неравенство показывает, что функционал оценки ограничен, доказывая, что $H$ действительно RKHS.

Функция ядра $K_{x}$ в этом случае дается

$K_{x}(y)={\frac {a}{\pi }}\operatorname {sinc} \left({\frac {a}{\pi }}(y-x)\right)={\frac {\sin(a(y-x))}{\pi (y-x)}}.$

Преобразование Фурье $K_{x}(y)$ определено выше, дано

$\int _{-\infty }^{\infty }K_{x}(y)e^{-i\omega y}\,dy={\begin{cases}e^{-i\omega x}&{\text{if }}\omega \in [-a,a],\\0&{\textrm {otherwise}},\end{cases}}$

что является следствием изменения свойства преобразования Фурье . Следовательно, используя теорему PlanCherel , мы

$\langle f,K_{x}\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(y)\cdot {\overline {K_{x}(y)}}\,dy={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )\cdot e^{i\omega x}\,d\omega =f(x).$

Таким образом, мы получаем воспроизводящее свойство ядра.

$K_{x}$ В этом случае является «версия, связанная с группой» функции Dirac Delta , и это $K_{x}(y)$ сходится к $\delta (y-x)$ в слабом смысле, как частота отсечения $a$ имеет тенденцию к бесконечности.

Мур -Ароншаджн Теорема

Мы видели, как воспроизводительное пространство ядра Гильберта определяет функцию воспроизведения ядра, которая является симметричной и положительной определенной . Теорема Мур -Аронзаджн идет в другом направлении; В нем говорится, что каждое симметричное, положительное определенное ядро ​​определяет уникальное воспроизводительное пространство из гильберта. Теорема впервые появилась в теории Аронзаджа о воспроизведении ядра , хотя он приписывает ее Эх Муру .

Теорема . Предположим, что K является симметричным, положительным определенным ядром на наборе x . есть уникальное пространство функций Гильберта, Тогда на x для которого k является воспроизводительным ядром.

Доказательство . Для всех x в x определите k _x = k ( x , ⋅). Пусть H ₀ - линейный промежуток { k _x : x ∈ X }. внутренний продукт на H ₀ Определите

$\left\langle \sum _{j=1}^{n}b_{j}K_{y_{j}},\sum _{i=1}^{m}a_{i}K_{x_{i}}\right\rangle _{H_{0}}=\sum _{i=1}^{m}\sum _{j=1}^{n}{a_{i}}b_{j}K(y_{j},x_{i}),$

что подразумевает $K(x,y)=\left\langle K_{x},K_{y}\right\rangle _{H_{0}}$Полем Симметрия этого внутреннего продукта вытекает из симметрии K , а не дегенерация следует из того факта, что K является положительным определенным.

Пусть H будет завершением H . ₀ в отношении этого внутреннего продукта Тогда H состоит из функций формы

$f(x)=\sum _{i=1}^{\infty }a_{i}K_{x_{i}}(x)\quad {\text{where}}\quad \lim _{n\to \infty }\sup _{p\geq 0}\left\|\sum _{i=n}^{n+p}a_{i}K_{x_{i}}\right\|_{H_{0}}=0.$

Теперь мы можем проверить свойство воспроизведения ( 2 ):

$\langle f,K_{x}\rangle _{H}=\sum _{i=1}^{\infty }a_{i}\left\langle K_{x_{i}},K_{x}\right\rangle _{H_{0}}=\sum _{i=1}^{\infty }a_{i}K(x_{i},x)=f(x).$

Чтобы доказать уникальность, пусть g - еще одно пространство функций Гильберта, для которого k - это воспроизводящее ядро. На каждый x и y в x , ( 2 ) подразумевает, что

$\langle K_{x},K_{y}\rangle _{H}=K(x,y)=\langle K_{x},K_{y}\rangle _{G}.$

Линейностью, $\langle \cdot ,\cdot \rangle _{H}=\langle \cdot ,\cdot \rangle _{G}$ на промежутке $\{K_{x}:x\in X\}$Полем Затем $H\subset G$ потому что G завершен и содержит H ₀ и, следовательно, содержит его завершение.

Теперь нам нужно доказать, что каждый элемент G находится в h . Позволять $f$ быть элементом g . Поскольку H - закрытый подпространство G , мы можем написать $f=f_{H}+f_{H^{\bot }}$ где $f_{H}\in H$ и $f_{H^{\bot }}\in H^{\bot }$Полем Теперь если $x\in X$ Затем, поскольку K - это ядро ​​G и H :

$f(x)=\langle K_{x},f\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}+\langle K_{x},f_{H^{\bot }}\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}=\langle K_{x},f_{H}\rangle _{H}=f_{H}(x),$

где мы использовали тот факт, что $K_{x}$ принадлежит H так, чтобы его внутренний продукт с $f_{H^{\bot }}$ В G ноль. Это показывает это $f=f_{H}$ в G и завершает доказательство.

Интегральные операторы и теорема Мерсера

Мы можем охарактеризовать симметричное положительное определенное ядро $K$ через интегрального оператора, используя теорему Мерсера и получите дополнительный вид на RKHS. Позволять $X$ быть компактным пространством, оснащенным строго положительной конечной мерой бореля $\mu$ и $K:X\times X\to \mathbb {R}$ непрерывная, симметричная и положительная определенная функция. Определите интегрального оператора $T_{K}:L_{2}(X)\to L_{2}(X)$ как

$[T_{K}f](\cdot )=\int _{X}K(\cdot ,t)f(t)\,d\mu (t)$

где $L_{2}(X)$ это пространство квадратных интегрируемых функций по отношению к $\mu$.

Теорема Мерсера утверждает, что спектральное разложение интегрального оператора $T_{K}$ из $K$ дает последовательное представление $K$ с точки зрения собственных значений и собственных функций $T_{K}$Полем Это тогда подразумевает, что $K$ является воспроизводительным ядром, так что соответствующие RKHS можно определить с точки зрения этих собственных значений и собственных функций. Мы предоставляем подробности ниже.

Под этими предположениями $T_{K}$ является компактным, непрерывным, самостоятельным и позитивным оператором. Спектральная теорема для операторов самостоятельного следования подразумевает, что существует наиболее склонная к снижению последовательность $(\sigma _{i})_{i}\geq 0$ так что ${\textstyle \lim _{i\to \infty }\sigma _{i}=0}$ и $T_{K}\varphi _{i}(x)=\sigma _{i}\varphi _{i}(x)$, где $\{\varphi _{i}\}$ сформировать ортонормальную основу $L_{2}(X)$Полем Позитивным $T_{K},\sigma _{i}>0$ для всех $i.$ Можно также показать, что $T_{K}$ Карты непрерывно в пространство непрерывных функций $C(X)$ и поэтому мы можем выбирать непрерывные функции в качестве собственных векторов, то есть $\varphi _{i}\in C(X)$ для всех $i.$ Тогда по теореме Мерсера $K$ может быть написано с точки зрения собственных значений и непрерывных собственных функций как

$K(x,y)=\sum _{j=1}^{\infty }\sigma _{j}\,\varphi _{j}(x)\,\varphi _{j}(y)$

для всех $x,y\in X$ так что

$\lim _{n\to \infty }\sup _{u,v}\left|K(u,v)-\sum _{j=1}^{n}\sigma _{j}\,\varphi _{j}(u)\,\varphi _{j}(v)\right|=0.$

Это представление выше серии называется ядром Mercer или Mercer $K$.

Кроме того, можно показать, что RKHS $H$ из $K$ дано

$H=\left\{f\in L_{2}(X)\,{\Bigg \vert }\,\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}^{2}}{\sigma _{i}}}<\infty \right\}$

где внутренний продукт $H$ дано по

$\left\langle f,g\right\rangle _{H}=\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}\left\langle g,\varphi _{i}\right\rangle _{L_{2}}}{\sigma _{i}}}.$

Это представление RKHS имеет применение в вероятности и статистике, например, к представлению Кархунен-Лоева для стохастических процессов и PCA ядра .

Карты функций

Карта функций - это карта $\varphi \colon X\rightarrow F$, где $F$ это пространство Гильберта, которое мы будем называть пространством функций. В первых разделах представлено соединение между ограниченными/непрерывными функциями оценки, положительными определенными функциями и интегральными операторами, и в этом разделе мы предоставляем другое представление RKHS с точки зрения карт признаков.

Каждая карта функций определяет ядро ​​через

$K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}.$ ( 3 )

Четко $K$ Симметричная и положительная определенность следует из свойств внутреннего продукта в $F$Полем И наоборот, каждая положительная определенная функция и соответствующее воспроизводящее пространство ядра с ядром имеют бесконечно много связанных карт признаков, так что ( 3 ) удерживается.

Например, мы можем тривиально взять $F=H$ и $\varphi (x)=K_{x}$ для всех $x\in X$Полем Тогда ( 3 ) удовлетворяется свойством воспроизведения. Другой классический пример карты функций связан с предыдущим разделом, касающимся интегральных операторов, взяв $F=\ell ^{2}$ и $\varphi (x)=({\sqrt {\sigma _{i}}}\varphi _{i}(x))_{i}$.

Эта связь между ядрами и картами функций дает нам новый способ понять положительные определенные функции и, следовательно, воспроизводить ядра как внутренние продукты в $H$Полем Более того, каждая карта функций может естественным образом определять RKHS с помощью определения положительной определенной функции.

Наконец, карты функций позволяют нам построить функциональные пространства, которые раскрывают другую перспективу на RKHS. Рассмотрим линейное пространство

$H_{\varphi }=\{f:X\to \mathbb {R} \mid \exists w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.$

Мы можем определить норму на $H_{\varphi }$ к

$\|f\|_{\varphi }=\inf\{\|w\|_{F}:w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.$

Можно показать, что $H_{\varphi }$ RKHS с ядром, определенным $K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}$Полем Это представление подразумевает, что элементы RKHS являются внутренними продуктами элементов в пространстве объектов и, соответственно, могут рассматриваться как гиперплоины. Этот взгляд на RKHS связан с уловкой ядра в машинном обучении.

Характеристики

Полезные свойства RKHSS:

• Позволять $(X_{i})_{i=1}^{p}$ быть последовательности наборов и $(K_{i})_{i=1}^{p}$ быть набором соответствующих положительных определенных функций на $(X_{i})_{i=1}^{p}.$ Затем следует, что

  $K((x_{1},\ldots ,x_{p}),(y_{1},\ldots ,y_{p}))=K_{1}(x_{1},y_{1})\cdots K_{p}(x_{p},y_{p})$

  Ядро на $X=X_{1}\times \dots \times X_{p}.$

• Позволять $X_{0}\subset X,$ тогда ограничение $K$ к $X_{0}\times X_{0}$ также воспроизводящий ядро.
• Рассмотрим нормализованное ядро $K$ так что $K(x,x)=1$ для всех $x\in X$Полем Определить псевдометрику на x как

  $d_{K}(x,y)=\|K_{x}-K_{y}\|_{H}^{2}=2(1-K(x,y))\qquad \forall x\in X.$

  По неравенству Коши - Шварца ,

  $K(x,y)^{2}\leq K(x,x)K(y,y)=1\qquad \forall x,y\in X.$

  Это неравенство позволяет нам просматривать $K$ как мера сходства между входными данными. Если $x,y\in X$ похожи тогда $K(x,y)$ будет ближе к 1, пока если $x,y\in X$ то же самое отличаются $K(x,y)$ будет ближе к 0.

• Закрытие пролета $\{K_{x}\mid x\in X\}$ совпадает с $H$.

Общие примеры

Билинейные ядра

$K(x,y)=\langle x,y\rangle$

RKHS $H$ соответствует этому ядру двойное пространство, состоящее из функций $f(x)=\langle x,\beta \rangle$ удовлетворительный $\|f\|_{H}^{2}=\|\beta \|^{2}$.

Полиномиальные ядра

$K(x,y)=(\alpha \langle x,y\rangle +1)^{d},\qquad \alpha \in \mathbb {R} ,d\in \mathbb {N}$

Радиальные базисные ядра

Это еще один общий класс ядер, который удовлетворяет $K(x,y)=K(\|x-y\|)$Полем Некоторые примеры включают:

• Гауссовая или квадратная экспоненциальная ядра :

  $K(x,y)=e^{-{\frac {\|x-y\|^{2}}{2\sigma ^{2}}}},\qquad \sigma >0$

• Лапласианское ядро :

  $K(x,y)=e^{-{\frac {\|x-y\|}{\sigma }}},\qquad \sigma >0$

  Квадратная норма функции $f$ в RKHS $H$ С этим ядром:

  $\|f\|_{H}^{2}=\int _{\mathbb {R} }{\Big (}{\frac {1}{\sigma }}f(x)^{2}+\sigma f'(x)^{2}{\Big )}\mathrm {d} x.$

Ядра Бергмана

Мы также приводим примеры ядер Бергмана . Пусть x конечно и пусть H состоят из всех сложных функций на x . Тогда элемент H может быть представлен как массив сложных чисел. обычный внутренний продукт Если используется , то k _x - это функция, значение которой 1 в x и 0 везде везде, и $K(x,y)$ можно рассматривать как матрицу личности, так как

$K(x,y)={\begin{cases}1&x=y\\0&x\neq y\end{cases}}$

В этом случае h изоморфно $\mathbb {C} ^{n}$.

Случай $X=\mathbb {D}$ (где $\mathbb {D}$ Обозначает единый диск ) более сложный. Здесь пространство Бергмана $H^{2}(\mathbb {D} )$ это пространство квадратных голоморфных функций на $\mathbb {D}$Полем Можно показать, что воспроизводительное ядро ​​для $H^{2}(\mathbb {D} )$ является

$K(x,y)={\frac {1}{\pi }}{\frac {1}{(1-x{\overline {y}})^{2}}}.$

Наконец, пространство полос ограниченных функций в $L^{2}(\mathbb {R} )$ с пропускной способностью $2a$ RKHS с воспроизведением ядра

$K(x,y)={\frac {\sin a(x-y)}{\pi (x-y)}}.$

Расширение на векторные функции

В этом разделе мы расширяем определение RKHS на пространства векторных функций, так как это расширение особенно важно для многозадачного обучения и регуляризации коллекторов . Основное отличие заключается в том, что воспроизводительное ядро $\Gamma$ является симметричной функцией, которая теперь является положительной полупрофильной матрицей для каждого $x,y$ в $X$Полем Более формально, мы определяем векторные RKHS (VVRKHS) как пространство функций гильберта $f:X\to \mathbb {R} ^{T}$ так что для всех $c\in \mathbb {R} ^{T}$ и $x\in X$

$\Gamma _{x}c(y)=\Gamma (x,y)c\in H{\text{ for }}y\in X$

и

$\langle f,\Gamma _{x}c\rangle _{H}=f(x)^{\intercal }c.$

Это второе свойство аналогичется воспроизводимому свойству для скалярного дела. Это определение также может быть связано с интегральными операторами, ограниченными функциями оценки и картами функций, как мы видели для скалярных RKHS. Мы можем эквивалентно определить VVRKHS как векторное пространство Гилберта с ограниченным функционалом оценки и показывать, что это подразумевает существование уникального воспроизводительного ядра по теореме представления RIEZ. Теорема Мерсера также может быть расширена для устранения векторных настройки, и поэтому мы можем получить представление карты функций VVRKHS. Наконец, можно также показать, что закрытие пролета $\{\Gamma _{x}c:x\in X,c\in \mathbb {R} ^{T}\}$ совпадает с $H$, другое свойство, аналогичное скалярному делу.

Мы можем получить интуицию для vvrkhs, взяв на себя компонентную перспективу на эти пространства. В частности, мы обнаруживаем, что каждый VVRKHS изометрически изоморфным для скалярных RKHS на определенном входном пространстве. Позволять $\Lambda =\{1,\dots ,T\}$Полем Рассмотрим пространство $X\times \Lambda$ и соответствующее воспроизводящее ядро

$\gamma :X\times \Lambda \times X\times \Lambda \to \mathbb {R} .$ ( 4 )

Как отмечалось выше, RKHS, связанные с этим воспроизводным ядром, определяется путем закрытия пролета $\{\gamma _{(x,t)}:x\in X,t\in \Lambda \}$ где $\gamma _{(x,t)}(y,s)=\gamma ((x,t),(y,s))$ Для каждого набора пар $(x,t),(y,s)\in X\times \Lambda$.

Подключение к скалярным rkhs может быть создан тем фактом, что каждое ядро ​​ядра, которое можно определить с ядром формы ( 4 ) через

$\Gamma (x,y)_{(t,s)}=\gamma ((x,t),(y,s)).$

Более того, каждое ядро ​​с формой ( 4 ) определяет ядро ​​с достоинством матрицы с вышеупомянутым выражением. Теперь позволить карте $D:H_{\Gamma }\to H_{\gamma }$ быть определенным как

$(Df)(x,t)=\langle f(x),e_{t}\rangle _{\mathbb {R} ^{T}}$

где $e_{t}$ является $t^{\text{th}}$ компонент канонической основы для $\mathbb {R} ^{T}$, можно показать, что $D$ бидзийтивна и изометрия между $H_{\Gamma }$ и $H_{\gamma }$.

Хотя эта точка зрения на VVRKHS может быть полезна при многозадачном обучении, эта изометрия не уменьшает изучение векторного случая, до того, как в случае скалярного случая. Фактически, эта процедура изометрии может сделать как скалярное ядро, так и входное пространство слишком трудным для работы на практике, поскольку свойства исходных ядер часто теряются.

Важным классом ядра размножаемых ядер, на которые можно использовать ядра, которые могут быть факторизированы как продукт скалярного ценного ядра и $T$-Сятная симметричная положительная полуболевая матрица. В свете нашей предыдущей дискуссии эти ядра имеют форму

$\gamma ((x,t),(y,s))=K(x,y)K_{T}(t,s)$

для всех $x,y$ в $X$ и $t,s$ в $T$Полем Поскольку ядро ​​кодирует скалярную стоимость между входами, мы можем заметить, что ядро, на которое матрикс кодирует зависимости как входных и выходов.

В конце концов мы отмечаем, что вышеупомянутая теория может быть дополнительно расширена на пространства функций со значениями в функциональных пространствах, но получение ядра для этих пространств является более сложной задачей.

Связь между RKHSS и функцией RELU

Функция RELU обычно определяется как $f(x)=\max\{0,x\}$ и является основой в архитектуре нейронных сетей, где она используется в качестве функции активации. Можно построить рельсообразующую нелинейную функцию, используя теорию воспроизведения пространства Hilbert Hilbert. Ниже мы выводим эту конструкцию и показываем, как она подразумевает репрезентативную силу нейронных сетей с активациями RELU.

Мы будем работать с пространством Гильберта ${\mathcal {H}}=L_{2}^{1}(0)[0,\infty )$ абсолютно непрерывных функций с $f(0)=0$ и квадратный интегрируемый (т.е. $L_{2}$) производная. У него внутренний продукт

$\langle f,g\rangle _{\mathcal {H}}=\int _{0}^{\infty }f'(x)g'(x)\,dx.$

Для построения ядра воспроизведения достаточно для рассмотрения плотного подпространства, поэтому пусть $f\in C^{1}[0,\infty )$ и $f(0)=0$Полем Фундаментальная теорема исчисления затем дает

$f(y)=\int _{0}^{y}f'(x)\,dx=\int _{0}^{\infty }G(x,y)f'(x)\,dx=\langle K_{y},f\rangle$

где

$G(x,y)={\begin{cases}1,&x<y\\0,&{\text{otherwise}}\end{cases}}$

и $K_{y}'(x)=G(x,y),\ K_{y}(0)=0$ Т.е.

$K(x,y)=K_{y}(x)=\int _{0}^{x}G(z,y)\,dz={\begin{cases}x,&0\leq x<y\\y,&{\text{otherwise.}}\end{cases}}=\min(x,y)$

Это подразумевает $K_{y}=K(\cdot ,y)$ воспроизводит $f$.

Более того, минимальная функция на $X\times X=[0,\infty )\times [0,\infty )$ имеет следующие представления с функцией RELU:

$\min(x,y)=x-\operatorname {ReLU} (x-y)=y-\operatorname {ReLU} (y-x).$

Используя эту формулировку, мы можем применить теорему представителя к RKHS, позволяя этому доказать оптимальность использования активаций RELU в настройках нейронной сети.

Смотрите также

• Положительное определенное ядро
• Теорема Мерсера
• Уловки ядра
• Ядро встраивание распределений
• Представляют теорему

Ссылки

• Альварес, Маурисио, Розаско, Лоренцо и Лоуренс, Нил, «Ядра для векторных функций: обзор», https://arxiv.org/abs/1106.6251 , июнь 2011 г.
• Aronszajn, Nachman (1950). «Теория воспроизведения ядра» . Труды Американского математического общества . 68 (3): 337–404. doi : 10.1090/s0002-9947-1950-0051437-7 . JSTOR   1990404 . MR   0051437 .
• Берлинат, Ален и Томас, Кристина. Воспроизведение пространств Hilbert hilbert в вероятности и статистике , Kluwer Academic Publishers, 2004.
• Скассер, Фелипе; Смейл, Стив (2002). «О математических основаниях обучения» . Бюллетень Американского математического общества . 39 (1): 1–49. doi : 10.1090/s0273-0979-01-00923-5 . Мистер   1864085 .
• Де Вито, Эрнест, Уманита, Вероника и Вилла, Сильвия. «Расширение теоремы Mercer на измеримые ядра, а также векторные, Arxiv : 1110.4017 , июнь 2013 года.
• Дюрретт, Грег. 9.520 Примечания к курсу, Массачусетский технологический институт, https://www.mit.edu/~9.520/scribe-notes/class03_gdurett.pdf , февраль 2010 г.
• Кимелдорф, Джордж; Вахба, Грейс (1971). «Некоторые результаты по функциям сплайна chebycheffian» (PDF) . Журнал математического анализа и приложений . 33 (1): 82–95. doi : 10.1016/0022-247x (71) 90184-3 . MR   0290013 .
• Окутмустур, Бейвер. «Воспроизведение пространств Hilbert hilbert», MS Disertation, Bilkent University, http://www.theess.bilkent.edu.tr/0002953.pdf , август 2005 г.
• Поулсен, Верн. «Введение в теорию воспроизводительных пространств Hilbert hilbert», https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=440218056738e05b5ab43679f932a9f333 .
• Steinwart, Ingo; Scovel, Clint (2012). «Теорема Мерсера об общих областях: об взаимодействии между показателями, ядрами и RKHSS». Конструкция Примерно ​ 35 (3): 363–417. doi : 10.1007/s00365-012-9153-3 . MR   2914365 . S2CID   253885172 .
• Розаско, Лоренцо и Погио, Томас. «Тур по регуляризации машинного обучения - MIT 9.520 Notes Lecture Notes», Рукопись, декабрь 2014 года.
• Wahba, Grace , Spline Models для данных наблюдений , Siam , 1990.
• Чжан, Хайзханг; Сюй, Юшенг; Чжан, Цинхуи (2012). «Уточнение ядра воспроизводимых операторов» (PDF) . Журнал исследований машинного обучения . 13 : 91–136.