Ядро радиальной базисной функции

В машинном обучении ​​радиальной базисной функции ядро , или ядро ​​RBF , является популярной функцией ядра, используемой в различных кернеризованного алгоритмах обучения. В частности, он широко используется в опорных векторов машинной классификации .

Ядро RBF на двух семплах $\mathbf {x} \in \mathbb {R} ^{k}$ и $\mathbf {x'}$, представленный как векторы признаков в некотором входном пространстве , определяется как

$K(\mathbf {x} ,\mathbf {x'} )=\exp \left(-{\frac {\|\mathbf {x} -\mathbf {x'} \|^{2}}{2\sigma ^{2}}}\right)$

$\textstyle \|\mathbf {x} -\mathbf {x'} \|^{2}$ может быть распознан как квадрат евклидова расстояния между двумя векторами признаков. $\sigma$ является свободным параметром. Эквивалентное определение включает параметр $\textstyle \gamma ={\tfrac {1}{2\sigma ^{2}}}$:

$K(\mathbf {x} ,\mathbf {x'} )=\exp(-\gamma \|\mathbf {x} -\mathbf {x'} \|^{2})$

Поскольку значение ядра RBF уменьшается с расстоянием и колеблется от нуля (в пределе бесконечных расстояний) до единицы (когда x = x' ), оно имеет готовую интерпретацию как мера подобия . Пространство признаков ядра имеет бесконечное количество измерений; для $\sigma =1$, его разложение с использованием полиномиальной теоремы :

${\begin{alignedat}{2}\exp \left(-{\frac {1}{2}}\|\mathbf {x} -\mathbf {x'} \|^{2}\right)&=\exp({\frac {2}{2}}\mathbf {x} ^{\top }\mathbf {x'} -{\frac {1}{2}}\|\mathbf {x} \|^{2}-{\frac {1}{2}}\|\mathbf {x'} \|^{2})\\[5pt]&=\exp(\mathbf {x} ^{\top }\mathbf {x'} )\exp(-{\frac {1}{2}}\|\mathbf {x} \|^{2})\exp(-{\frac {1}{2}}\|\mathbf {x'} \|^{2})\\[5pt]&=\sum _{j=0}^{\infty }{\frac {(\mathbf {x} ^{\top }\mathbf {x'} )^{j}}{j!}}\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right)\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right)\\[5pt]&=\sum _{j=0}^{\infty }\quad \sum _{n_{1}+n_{2}+\dots +n_{k}=j}\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right){\frac {x_{1}^{n_{1}}\cdots x_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right){\frac {{x'}_{1}^{n_{1}}\cdots {x'}_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\\[5pt]&=\langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle \end{alignedat}}$

$\varphi (\mathbf {x} )=\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right)\left(a_{\ell _{0}}^{(0)},a_{1}^{(1)},\dots ,a_{\ell _{1}}^{(1)},\dots ,a_{1}^{(j)},\dots ,a_{\ell _{j}}^{(j)},\dots \right)$

где $\ell _{j}={\tbinom {k+j-1}{j}}$,

$a_{\ell }^{(j)}={\frac {x_{1}^{n_{1}}\cdots x_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\quad |\quad n_{1}+n_{2}+\dots +n_{k}=j\wedge 1\leq \ell \leq \ell _{j}$

Приближения

Поскольку машины опорных векторов и другие модели, использующие трюк с ядром, плохо масштабируются для большого количества обучающих выборок или большого количества функций во входном пространстве, было введено несколько аппроксимаций ядра RBF (и подобных ядер). Обычно они принимают форму функции z , которая отображает один вектор в вектор более высокой размерности, аппроксимируя ядро:

$\langle z(\mathbf {x} ),z(\mathbf {x'} )\rangle \approx \langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle =K(\mathbf {x} ,\mathbf {x'} )$

где $\textstyle \varphi$ — это неявное отображение, встроенное в ядро ​​RBF.

Случайные функции Фурье

Один из способов построить такой z — это случайная выборка из преобразования Фурье ядра. $$\varphi (x)={\frac {1}{\sqrt {D}}}[\cos \langle w_{1},x\rangle ,\sin \langle w_{1},x\rangle ,\ldots ,\cos \langle w_{D},x\rangle ,\sin \langle w_{D},x\rangle ]^{T}$$где $w_{1},...,w_{D}$ являются независимыми выборками из нормального распределения $N(0,\sigma ^{-2}I)$.

Теорема: $\operatorname {E} [\langle \varphi (x),\varphi (y)\rangle ]=e^{\|x-y\|^{2}/(2\sigma ^{2})}.$

Доказательство: Достаточно доказать случай $D=1$. Используйте тригонометрическое тождество $\cos(a-b)=\cos(a)\cos(b)+\sin(a)\sin(b)$, сферическую симметрию гауссова распределения, затем вычислите интеграл

$\int _{-\infty }^{\infty }{\frac {\cos(kx)e^{-x^{2}/2}}{\sqrt {2\pi }}}dx=e^{-k^{2}/2}.$

Теорема: $\operatorname {Var} [\langle \varphi (x),\varphi (y)\rangle ]=O(D^{-1})$. (Приложение А.2 ).

Метод Нистрема

Другой подход использует метод Нистрема для аппроксимации собственного разложения матрицы Грама K , используя только случайную выборку обучающего набора.

См. также

• Функция Гаусса
• Ядро (статистика)
• Полиномиальное ядро
• Радиальная базисная функция
• Сеть радиальных базисных функций
• Сеть фруктовых ядер