Положительно определенное ядро

В теории операторов , разделе математики, положительно определенное ядро является обобщением положительно определенной функции или положительно определенной матрицы . Впервые он был введен Джеймсом Мерсером в начале 20 века в контексте решения интегрально-операторных уравнений . С тех пор положительно определенные функции и их различные аналоги и обобщения возникли в различных разделах математики. Они естественным образом возникают в анализе Фурье , теории вероятностей , теории операторов , теории комплексных функций , проблемах моментов , интегральных уравнениях , краевых задачах для уравнений в частных производных , машинном обучении , задаче встраивания , теории информации и других областях.

Определение

Позволять ${\mathcal {X}}$ быть непустым набором, иногда называемым набором индексов. функция Симметричная $K:{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R}$ называется положительно определенным (pd) ядром на ${\mathcal {X}}$ если

\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})\geq 0

( 1.1 )

держится для всех $x_{1},\dots ,x_{n}\in {\mathcal {X}}$ , $n\in \mathbb {N} ,c_{1},\dots ,c_{n}\in \mathbb {R}$ .

В теории вероятностей иногда различают положительно определенные ядра, для которых из равенства в (1.1) следует $c_{i}=0\;(\forall i)$ и положительные полуопределенные (psd) ядра, которые не накладывают это условие. Обратите внимание, что это эквивалентно требованию, чтобы каждая конечная матрица, построенная путем попарного вычисления, $\mathbf {K} _{ij}=K(x_{i},x_{j})$ , имеет либо полностью положительные (pd), либо неотрицательные (psd) собственные значения .

В математической литературе ядра обычно представляют собой комплексные функции. То есть комплексная функция $K:{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {C}$ называется эрмитовым ядром, если $K(x,y)={\overline {K(y,x)}}$ и положительно определена, если для любого конечного множества точек $x_{1},\dots ,x_{n}\in {\mathcal {X}}$ и любые комплексные числа $\xi _{1},\dots ,\xi _{n}\in \mathbb {C}$ ,

\sum _{i=1}^{n}\sum _{j=1}^{n}\xi _{i}{\overline {\xi }}_{j}K(x_{i},x_{j})\geq 0

где ${\overline {\xi }}_{j}$ обозначает комплексно-сопряженное число . ^[1] В оставшейся части статьи мы предполагаем функции с действительным знаком, что является обычной практикой в приложениях ядер pd.

Некоторые общие свойства

Для семейства ядер pd $(K_{i})_{i\in \mathbb {N} },\ \ K_{i}:{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R}$ ${\ displaystyle (K_ {i}) _ {i \ in \ mathbb {N} }, \ \ K_ {i}: {\ mathcal {X}} \ times {\ mathcal {X}} \ to \ mathbb {R } }$
- Коническая сумма $\sum _{i=1}^{n}\lambda _{i}K_{i}$ это pd, учитывая $\lambda _{1},\dots ,\lambda _{n}\geq 0$
- Продукт $K_{1}^{a_{1}}\dots K_{n}^{a_{n}}$ это pd, учитывая $a_{1},\dots ,a_{n}\in \mathbb {N}$
- Предел $K=\lim _{n\to \infty }K_{n}$ равно pd, если предел существует.
Если $({\mathcal {X}}_{i})_{i=1}^{n}$ представляет собой последовательность множеств, а $(K_{i})_{i=1}^{n},\ \ K_{i}:{\mathcal {X}}_{i}\times {\mathcal {X}}_{i}\to \mathbb {R}$ последовательность ядер pd, затем оба $K((x_{1},\dots ,x_{n}),(y_{1},\dots ,y_{n}))=\prod _{i=1}^{n}K_{i}(x_{i},y_{i})$ и $K((x_{1},\dots ,x_{n}),(y_{1},\dots ,y_{n}))=\sum _{i=1}^{n}K_{i}(x_{i},y_{i})$ ядра pd включены ${\mathcal {X}}={\mathcal {X}}_{1}\times \dots \times {\mathcal {X}}_{n}$ .
Позволять ${\mathcal {X}}_{0}\subset {\mathcal {X}}$ . Тогда ограничение $K_{0}$ из $K$ к ${\mathcal {X}}_{0}\times {\mathcal {X}}_{0}$ также является ядром pd.

Примеры ядер pd

Общие примеры ядер pd, определенных в евклидовом пространстве $\mathbb {R} ^{d}$ $\mathbb {R} ^{d}$ включать:
- Линейное ядро: $K(\mathbf {x} ,\mathbf {y} )=\mathbf {x} ^{T}\mathbf {y} ,\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d}$ .
- Полиномиальное ядро : $K(\mathbf {x} ,\mathbf {y} )=(\mathbf {x} ^{T}\mathbf {y} +r)^{n},\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d},r\geq 0,n\geq 1$ .
- Гауссово ядро ( ядро RBF ): $K(\mathbf {x} ,\mathbf {y} )=e^{-{\frac {\|\mathbf {x} -\mathbf {y} \|^{2}}{2\sigma ^{2}}}},\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d},\sigma >0$ .
- Лапласово ядро: $K(\mathbf {x} ,\mathbf {y} )=e^{-\alpha \|\mathbf {x} -\mathbf {y} \|},\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d},\alpha >0$ .
- Ядро Абеля: $K(x,y)=e^{-\alpha |x-y|},\quad x,y\in \mathbb {R} ,\alpha >0$ .
- Kernel generating Sobolev spaces $W_{2}^{k}(\mathbb {R} ^{d})$ : $K(x,y)=\|x-y\|_{2}^{k-{\frac {d}{2}}}B_{k-{\frac {d}{2}}}(\|x-y\|_{2})$ , где $B_{\nu }$ – функция Бесселя третьего рода .
- Ядро, генерирующее пространство Пэли – Винера: $K(x,y)=\operatorname {sinc} (\alpha (x-y)),\quad x,y\in \mathbb {R} ,\alpha >0$ .
Если $H$ является гильбертовым пространством , то его соответствующее скалярное произведение $(\cdot ,\cdot )_{H}:H\times H\to \mathbb {R}$ это ядро pd. Действительно, у нас есть $\sum _{i,j=1}^{n}c_{i}c_{j}(x_{i},x_{j})_{H}=\left(\sum _{i=1}^{n}c_{i}x_{i},\sum _{j=1}^{n}c_{j}x_{j}\right)_{H}=\left\|\sum _{i=1}^{n}c_{i}x_{i}\right\|_{H}^{2}\geq 0$
Ядра определены на $\mathbb {R} _{+}^{d}$ и гистограммы. Гистограммы часто встречаются при решении реальных задач. Большинство наблюдений обычно доступны в виде неотрицательных векторов отсчетов, которые при нормализации дают гистограммы частот. Было показано ^[2] что следующее семейство квадратов метрик, соответственно дивергенция Йенсена, $\chi$ -квадрат, общая вариация и две вариации расстояния Хеллингера: $\psi _{JD}=H\left({\frac {\theta +\theta '}{2}}\right)-{\frac {H(\theta )+H(\theta ')}{2}},$ $\psi _{\chi ^{2}}=\sum _{i}{\frac {(\theta _{i}-\theta _{i}')^{2}}{\theta _{i}+\theta _{i}'}},\quad \psi _{TV}=\sum _{i}\left|\theta _{i}-\theta _{i}'\right|,$ $\psi _{H_{1}}=\sum _{i}\left|{\sqrt {\theta _{i}}}-{\sqrt {\theta _{i}'}}\right|,\psi _{H_{2}}=\sum _{i}\left|{\sqrt {\theta _{i}}}-{\sqrt {\theta _{i}'}}\right|^{2},$ может использоваться для определения ядер pd, используя следующую формулу $K(\theta ,\theta ')=e^{-\alpha \psi (\theta ,\theta ')},\alpha >0.$

История

Положительно определенные ядра, определенные в (1.1), впервые появились в 1909 году в статье Джеймса Мерсера по интегральным уравнениям. ^[3] Несколько других авторов использовали эту концепцию в последующие два десятилетия, но ни один из них явно не использовал ядра. $K(x,y)=f(x-y)$ , функции iepd (действительно, М. Матиас и С. Бохнер , похоже, не знали об изучении ядер pd). Работа Мерсера возникла на основе статьи Гильберта 1904 года. ^[4] об интегральных уравнениях Фредгольма второго рода:

f(s)=\varphi (s)-\lambda \int _{a}^{b}K(s,t)\varphi (t)\ \mathrm {d} t.

( 1.2 )

В частности, Гильберт показал, что

\int _{a}^{b}\int _{a}^{b}K(s,t)x(s)x(t)\ \mathrm {d} s\,\mathrm {d} t=\sum {\frac {1}{\lambda _{n}}}\left[\int _{a}^{b}\psi _{n}(s)x(s)\,\mathrm {d} s\right]^{2},

( 1.3 )

где $K$ является непрерывным вещественным симметричным ядром, $x$ является непрерывным, $\{\psi _{n}\}$ — полная система ортонормированных собственных функций и $\lambda _{n}$ 's — соответствующие собственные значения (1.2). Гильберт определил «определенное» ядро как такое, для которого двойной интеграл $J(x)=\int _{a}^{b}\int _{a}^{b}K(s,t)x(s)x(t)\ \mathrm {d} s\;\mathrm {d} t$ удовлетворяет $J(x)>0$ за исключением $x(t)=0$ . Первоначальной целью статьи Мерсера была характеристика ядер, определенных в смысле Гильберта, но вскоре Мерсер обнаружил, что класс таких функций слишком ограничен, чтобы их можно было характеризовать в терминах определителей. Поэтому он определил непрерывное вещественное симметричное ядро $K(s,t)$ иметь положительный тип (т.е. положительно определенный), если $J(x)\geq 0$ для всех действительных непрерывных функций $x$ на $[a,b]$ и доказал, что (1.1) является необходимым и достаточным условием того, что ядро имеет положительный тип. Затем Мерсер доказал, что для любого непрерывного ядра pd расширение $K(s,t)=\sum _{n}{\frac {\psi _{n}(s)\psi _{n}(t)}{\lambda _{n}}}$ выполняется абсолютно и равномерно.

Примерно в то же время У.Х. Янг, ^[5] мотивированный другим вопросом теории интегральных уравнений, показал, что для непрерывных ядер условие (1.1) эквивалентно $J(x)\geq 0$ для всех $x\in L^{1}[a,b]$ .

Э. Х. Мур ^[6]^[7] инициировал изучение очень общего вида ядра pd. Если $E$ это абстрактный набор, он вызывает функции $K(x,y)$ определено на $E\times E$ «положительные эрмитовы матрицы», если они удовлетворяют (1.1) для всех $x_{i}\in E$ . Мур интересовался обобщением интегральных уравнений и показал, что каждому такому $K$ существует гильбертово пространство $H$ функций таких, что для каждой $f\in H,f(y)=(f,K(\cdot ,y))_{H}$ . Это свойство называется воспроизводящим свойством ядра и оказывается важным при решении краевых задач для эллиптических уравнений в частных производных.

Другим направлением развития, в котором большую роль сыграли ядра pd, была теория гармоник в однородных пространствах, начатая Э. Картаном в 1929 г. и продолженная Г. Вейлем и С. Ито. Наиболее полная теория pd-ядер в однородных пространствах принадлежит М. Крейну. ^[8] который включает в качестве частных случаев работу над pd-функциями и неприводимыми унитарными представлениями локально компактных групп.

В теории вероятностей ядра pd возникают как ковариационные ядра случайных процессов. ^[9]

Связь с воспроизведением ядерных гильбертовых пространств и карт признаков.

Положительно определенные ядра обеспечивают основу, охватывающую некоторые основные конструкции гильбертового пространства. Далее мы представляем тесную связь между положительно определенными ядрами и двумя математическими объектами, а именно воспроизведением гильбертовых пространств и карт признаков.

Позволять $X$ быть набором, $H$ гильбертово пространство функций $f:X\to \mathbb {R}$ , и $(\cdot ,\cdot )_{H}:H\times H\to \mathbb {R}$ соответствующий внутренний продукт на $H$ . Для любого $x\in X$ функционал оценки $e_{x}:H\to \mathbb {R}$ определяется $f\mapsto e_{x}(f)=f(x)$ .Сначала мы определим воспроизводящее ядро гильбертова пространства (RKHS):

Определение : Пространство $H$ называется воспроизводящим ядерным гильбертовым пространством, если функционалы оценки непрерывны.

С каждым RKHS связана особая функция, а именно воспроизводящее ядро:

Определение : Воспроизведение ядра — это функция. $K:X\times X\to \mathbb {R}$ такой, что
$K_{x}(\cdot )\in H,\forall x\in X$ , и
$(f,K_{x})=f(x)$ , для всех $f\in H$ и $x\in X$ .
Последнее свойство называется воспроизводящим свойством.

Следующий результат показывает эквивалентность между RKHS и воспроизводящими ядрами:

Теорема . Каждое воспроизводящее ядро $K$ индуцирует уникальный RKHS, и каждый RKHS имеет уникальное воспроизводящее ядро.

Теперь связь между положительно определенными ядрами и RKHS дается следующей теоремой

Теорема . Каждое воспроизводящее ядро является положительно определенным, и каждое положительно определенное ядро определяет уникальный RKHS, единственным воспроизводящим ядром которого оно является.

Таким образом, для положительно определенного ядра $K$ , можно построить ассоциированную РКХС с $K$ как воспроизводящее ядро.

Как говорилось ранее, положительно определенные ядра могут быть построены из скалярных произведений. Этот факт можно использовать для связи ядер pd с другим интересным объектом, возникающим в приложениях машинного обучения, а именно с картой признаков. Позволять $F$ быть гильбертовым пространством и $(\cdot ,\cdot )_{F}$ соответствующий внутренний продукт. Любая карта $\Phi :X\to F$ называется картой признаков. В этом случае мы вызываем $F$ пространство признаков. Это легко увидеть ^[10] что каждая карта объектов определяет уникальное ядро pd с помощью $K(x,y)=(\Phi (x),\Phi (y))_{F}.$ Действительно, положительная определенность $K$ следует из свойства pd внутреннего произведения. С другой стороны, каждое ядро pd и соответствующее ему RKHS имеют множество связанных карт объектов. Например: Пусть $F=H$ , и $\Phi (x)=K_{x}$ для всех $x\in X$ . Затем $(\Phi (x),\Phi (y))_{F}=(K_{x},K_{y})_{H}=K(x,y)$ , по воспроизводящему свойству.Это предполагает новый взгляд на ядра pd как на внутренние продукты в соответствующих гильбертовых пространствах, или, другими словами, ядра pd можно рассматривать как карты сходства, которые эффективно количественно определяют, насколько похожи две точки. $x$ и $y$ через значение $K(x,y)$ . Более того, благодаря эквивалентности ядер pd и соответствующего RKHS, каждая карта признаков может использоваться для построения RKHS.

Ядра и расстояния

Методы ядра часто сравнивают с методами, основанными на расстоянии, такими как метод ближайших соседей . В этом разделе мы обсуждаем параллели между двумя соответствующими ингредиентами, а именно ядрами. $K$ и расстояния $d$ .

Здесь функцией расстояния между каждой парой элементов некоторого множества $X$ , мы имеем в виду метрику, определенную на этом множестве, т.е. любую функцию с неотрицательным знаком $d$ на ${\mathcal {X}}\times {\mathcal {X}}$ который удовлетворяет

$d(x,y)\geq 0$ , и $d(x,y)=0$ тогда и только тогда, когда $x=y$ ,
$d(x,y)=d(y,x),$
$d(x,z)\leq d(x,y)+d(y,z).$

Одна связь между расстояниями и ядрами pd задается особым типом ядра, называемым отрицательно определенным ядром и определяемым следующим образом.

Определение : симметричная функция. $\psi :{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R}$ называется отрицательно определенным (nd) ядром на ${\mathcal {X}}$ если
$\sum _{i,j=1}^{n}c_{i}c_{j}\psi (x_{i},x_{j})\leq 0$ ( 1.4 )
справедливо для любого $n\in \mathbb {N} ,x_{1},\dots ,x_{n}\in {\mathcal {X}},$ и $c_{1},\dots ,c_{n}\in \mathbb {R}$ такой, что ${\textstyle \sum _{i=1}^{n}c_{i}=0}$ .

Параллель между nd ядрами и расстояниями заключается в следующем: всякий раз, когда nd ядро обращается в нуль на множестве $\{(x,x):x\in {\mathcal {X}}\}$ , и равен нулю только на этом множестве, то его квадратный корень является расстоянием для ${\mathcal {X}}$ . ^[11] При этом каждое расстояние не обязательно соответствует ядру. Это справедливо только для гильбертовых расстояний, где расстояние $d$ называется гильбертовым, если можно вложить метрическое пространство $({\mathcal {X}},d)$ изометрически в некоторое гильбертово пространство.

С другой стороны, ядра nd можно отождествить с подсемейством ядер pd, известным как бесконечно делимые ядра. Ядро с неотрицательным знаком $K$ называется бесконечно делимым, если для каждого $n\in \mathbb {N}$ существует положительно определенное ядро $K_{n}$ такой, что $K=(K_{n})^{n}$ .

Другая связь заключается в том, что ядро pd вызывает псевдометрику , где первое ограничение на функцию расстояния ослабляется, чтобы позволить $d(x,y)=0$ для $x\neq y$ . Учитывая положительно определенное ядро $K$ , мы можем определить функцию расстояния как: $d(x,y)={\sqrt {K(x,x)-2K(x,y)+K(y,y)}}$

Некоторые приложения

Ядра в машинном обучении

Положительно определенные ядра, благодаря их эквивалентности с воспроизводящими ядерными гильбертовыми пространствами (RKHS), особенно важны в области статистической теории обучения из-за знаменитой теоремы о репрезентаторе , которая утверждает, что каждая функция-минимизатор в RKHS может быть записана как линейная комбинация функция ядра, оцениваемая в точках обучения. Это практически полезный результат, поскольку он эффективно упрощает эмпирическую задачу минимизации риска с бесконечномерной до конечномерной задачи оптимизации.

Ядра в вероятностных моделях

В теории вероятностей существует несколько различных способов возникновения ядер.

Недетерминированные задачи восстановления: предположим, что мы хотим найти ответ. $f(x)$ неизвестной модельной функции $f$ в новой точке $x$ из набора ${\mathcal {X}}$ , при условии, что у нас есть выборка пар вход-ответ $(x_{i},f_{i})=(x_{i},f(x_{i}))$ данные наблюдения или эксперимента. Ответ $f_{i}$ в $x_{i}$ не является фиксированной функцией $x_{i}$ а скорее реализация действительной случайной величины $Z(x_{i})$ . Цель — получить информацию о функции $E[Z(x_{i})]$ который заменяет $f$ в детерминированной обстановке. Для двух элементов $x,y\in {\mathcal {X}}$ случайные величины $Z(x)$ и $Z(y)$ не будет некоррелированным, потому что, если $x$ слишком близко к $y$ случайные эксперименты, описанные $Z(x)$ и $Z(y)$ часто будет демонстрировать подобное поведение. Это описывается ковариационным ядром $K(x,y)=E[Z(x)\cdot Z(y)]$ . Такое ядро существует и является положительно определенным при слабых дополнительных предположениях. Теперь хорошая оценка $Z(x)$ можно получить с помощью интерполяции ядра с ковариационным ядром, полностью игнорируя вероятностный фон.

Предположим теперь, что шумовая переменная $\epsilon (x)$ , с нулевым средним значением и дисперсией $\sigma ^{2}$ , добавляется к $x$ , так что шум независим для разных $x$ и независимо от $Z$ вот тогда проблема найти хорошую оценку для $f$ идентичен приведенному выше, но с модифицированным ядром, заданным $K(x,y)=E[Z(x)\cdot Z(y)]+\sigma ^{2}\delta _{xy}$ .

Оценка плотности по ядрам. Задача состоит в том, чтобы восстановить плотность. $f$ многомерного распределения по области ${\mathcal {X}}$ , из большой выборки $x_{1},\dots ,x_{n}\in {\mathcal {X}}$ включая повторы. Если точки отбора проб расположены плотно, истинная функция плотности должна принимать большие значения. Простую оценку плотности можно получить, подсчитав количество выборок в каждой ячейке сетки и построив полученную гистограмму, которая дает кусочно-постоянную оценку плотности. Более лучшую оценку можно получить, используя неотрицательное трансляционно-инвариантное ядро. $K$ , с полным интегралом, равным единице, и определим $f(x)={\frac {1}{n}}\sum _{i=1}^{n}K\left({\frac {x-x_{i}}{h}}\right)$ как гладкая оценка.

Численное решение уравнений в частных производных

Одной из крупнейших областей применения так называемых бессеточных методов является численное решение уравнений в частных уравнениях . Некоторые из популярных бессеточных методов тесно связаны с положительно определенными ядрами (например, бессеточный локальный метод Петрова Галеркина (МЛПГ) , метод воспроизводящих ядерных частиц (РКПМ) и гидродинамика сглаженных частиц (SPH) ). Эти методы используют радиальное базисное ядро для коллокации . ^[12]

Теорема о расширении Стайнспринга

Другие приложения

В литературе по компьютерным экспериментам ^[13] и других инженерных экспериментах все чаще встречаются модели, основанные на ядрах pd, RBF или кригинге . Одной из таких тем является методология поверхности отклика . Другими типами приложений, которые сводятся к подбору данных, являются быстрое прототипирование и компьютерная графика . Здесь часто используются неявные модели поверхности для аппроксимации или интерполяции данных облака точек.

Ядра pd применяются в различных других областях математики в многомерной интеграции, многомерной оптимизации, а также в численном анализе и научных вычислениях, где изучаются быстрые, точные и адаптивные алгоритмы, идеально реализуемые в высокопроизводительных вычислительных средах. ^[14]

См. также

Ссылки

^ Березанский, Юрий Макарович (1968). Разложения по собственным функциям самосопряженных операторов . Провиденс, Род-Айленд: Американское математическое общество. стр. 45–47. ISBN 978-0-8218-1567-0 .
^ Хейн М. и Буске О. (2005). « Гильбертовы метрики и положительно определенные ядра вероятностных мер ». Гахрамани З. и Коуэлл Р., редакторы, Труды AISTATS 2005.
^ Мерсер, Дж. (1909). «Функции положительного и отрицательного типа и их связь с теорией интегральных уравнений». Философские труды Лондонского королевского общества, серия A 209, стр. 415–446.
^ Гильберт, Д. (1904). «Основы общей теории линейных интегральных уравнений I», Gott. Новости, матем.-физ. К1 (1904), стр. 49–91.
^ Янг, WH (1909). «Заметка об одном классе симметрических функций и теореме, необходимой в теории интегральных уравнений», Филос. Пер. Рой.Сок. Лондон, сер. А, 209, стр. 415–446.
^ Мур, Э.Х. (1916). «О правильно положительных эрмитовых матрицах», Bull. амер. Математика. Соц. 23, 59, стр. 66–67.
^ Мур, Э.Х. (1935). «Общий анализ, часть I», Мемуары амер. Филос. Соц. 1, Филадельфия.
^ Крейн. М (1949/1950). "Эрмитово-положительные ядра на однородных пространствах I и II" (на русском языке), Украина. Мат. З. 1 (1949), стр. 64–98 и 2 (1950), стр. 10–59. Английский перевод: амер. Математика. Соц. Переводы Сер. 2, 34 (1963), стр. 69–164.
^ Лоев, М. (1960). «Теория вероятностей», 2-е изд., Ван Ностранд, Принстон, Нью-Джерси.
^ Росаско Л. и Поджо Т. (2015). Рукопись «Регуляризация машинного обучения – конспекты лекций MIT 9.520».
^ Берг, К., Кристенсен, JPR, и Рессел, П. (1984). «Гармонический анализ полугрупп». Номер 100 в текстах для выпускников по математике, Springer Verlag.
^ Шабак Р. и Вендланд Х. (2006). «Техники ядра: от машинного обучения к бессеточным методам», Cambridge University Press, Acta Numerica (2006), стр. 1–97.
^ Хааланд, Б. и Цянь, PZG (2010). «Точные эмуляторы для масштабных компьютерных экспериментов», Анн. Стат.
^ Гумеров Н.А. и Дурайсвами Р. (2007). « Быстрая интерполяция радиальной базисной функции с помощью предварительно обусловленной итерации Крылова ». СИАМ Дж. Сайент. Computing 29/5, стр. 1876–1899.

[1] Березанский, Юрий Макарович (1968). Разложения по собственным функциям самосопряженных операторов . Провиденс, Род-Айленд: Американское математическое общество. стр. 45–47. ISBN 978-0-8218-1567-0 .

[2] Хейн М. и Буске О. (2005). « Гильбертовы метрики и положительно определенные ядра вероятностных мер ». Гахрамани З. и Коуэлл Р., редакторы, Труды AISTATS 2005.

[3] Мерсер, Дж. (1909). «Функции положительного и отрицательного типа и их связь с теорией интегральных уравнений». Философские труды Лондонского королевского общества, серия A 209, стр. 415–446.

[4] Гильберт, Д. (1904). «Основы общей теории линейных интегральных уравнений I», Gott. Новости, матем.-физ. К1 (1904), стр. 49–91.

[5] Янг, WH (1909). «Заметка об одном классе симметрических функций и теореме, необходимой в теории интегральных уравнений», Филос. Пер. Рой.Сок. Лондон, сер. А, 209, стр. 415–446.

[6] Мур, Э.Х. (1916). «О правильно положительных эрмитовых матрицах», Bull. амер. Математика. Соц. 23, 59, стр. 66–67.

[7] Мур, Э.Х. (1935). «Общий анализ, часть I», Мемуары амер. Филос. Соц. 1, Филадельфия.

[8] Крейн. М (1949/1950). "Эрмитово-положительные ядра на однородных пространствах I и II" (на русском языке), Украина. Мат. З. 1 (1949), стр. 64–98 и 2 (1950), стр. 10–59. Английский перевод: амер. Математика. Соц. Переводы Сер. 2, 34 (1963), стр. 69–164.

[9] Лоев, М. (1960). «Теория вероятностей», 2-е изд., Ван Ностранд, Принстон, Нью-Джерси.

[10] Росаско Л. и Поджо Т. (2015). Рукопись «Регуляризация машинного обучения – конспекты лекций MIT 9.520».

[11] Берг, К., Кристенсен, JPR, и Рессел, П. (1984). «Гармонический анализ полугрупп». Номер 100 в текстах для выпускников по математике, Springer Verlag.

[12] Шабак Р. и Вендланд Х. (2006). «Техники ядра: от машинного обучения к бессеточным методам», Cambridge University Press, Acta Numerica (2006), стр. 1–97.

[13] Хааланд, Б. и Цянь, PZG (2010). «Точные эмуляторы для масштабных компьютерных экспериментов», Анн. Стат.

[14] Гумеров Н.А. и Дурайсвами Р. (2007). « Быстрая интерполяция радиальной базисной функции с помощью предварительно обусловленной итерации Крылова ». СИАМ Дж. Сайент. Computing 29/5, стр. 1876–1899.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]