Радиальная базисная функция

В математике радиальная базисная функция ( RBF ) — это функция с действительным знаком. ${\textstyle \varphi }$ значение которого зависит только от расстояния между входными данными и некоторой фиксированной точкой, либо началом координат , так что ${\textstyle \varphi (\mathbf {x} )={\hat {\varphi }}(\left\|\mathbf {x} \right\|)}$ или какая-то другая фиксированная точка ${\textstyle \mathbf {c} }$ называется центром , так что ${\textstyle \varphi (\mathbf {x} )={\hat {\varphi }}(\left\|\mathbf {x} -\mathbf {c} \right\|)}$ . Любая функция ${\textstyle \varphi }$ который удовлетворяет свойству ${\textstyle \varphi (\mathbf {x} )={\hat {\varphi }}(\left\|\mathbf {x} \right\|)}$ является радиальной функцией . Расстояние обычно представляет собой евклидово расстояние , хотя другие метрики иногда используются и . Их часто используют как коллекцию. $\{\varphi _{k}\}_{k}$ который формирует основу для некоторого интересующего функционального пространства , отсюда и название.

Суммы радиальных базисных функций обычно используются для аппроксимации заданных функций . Этот процесс аппроксимации также можно интерпретировать как простую нейронную сеть ; именно в этом контексте они первоначально применялись к машинному обучению в работе Дэвида Брумхеда и Дэвида Лоу в 1988 году. ^[1]^[2] которая возникла в результате Майкла Дж. Д. Пауэлла, проведенного в 1977 году. плодотворного исследования ^[3]^[4]^[5]RBF также используются в качестве ядра в классификации опорных векторов . ^[6] Этот метод оказался достаточно эффективным и гибким, поэтому радиальные базисные функции теперь применяются во многих инженерных приложениях. ^[7]^[8]

Определение

Радиальная функция – это функция ${\textstyle \varphi :[0,\infty )\to \mathbb {R} }$ . В сочетании с нормой векторного пространства ${\textstyle \|\cdot \|:V\to [0,\infty )}$ , функция вида ${\textstyle \varphi _{\mathbf {c} }=\varphi (\|\mathbf {x} -\mathbf {c} \|)}$ называется радиальным ядром с центром в ${\textstyle \mathbf {c} \in V}$ . Радиальная функция и связанные с ней радиальные ядра называются радиальными базисными функциями, если для любого конечного набора узлов $\{\mathbf {x} _{k}\}_{k=1}^{n}\subseteq V$ , все следующие условия верны:

Ядра $\varphi _{\mathbf {x} _{1}},\varphi _{\mathbf {x} _{2}},\dots ,\varphi _{\mathbf {x} _{n}}$ линейно независимы (например, $\varphi (r)=r^{2}$ в $V=\mathbb {R}$ не является радиальной базисной функцией)
Ядра $\varphi _{\mathbf {x} _{1}},\varphi _{\mathbf {x} _{2}},\dots ,\varphi _{\mathbf {x} _{n}}$ образуют основу для пространства Хаара , что означает, что матрица интерполяции (приведенная ниже) невырождена. ^[9]^[10]

{\begin{bmatrix}\varphi (\|\mathbf {x} _{1}-\mathbf {x} _{1}\|)&\varphi (\|\mathbf {x} _{2}-\mathbf {x} _{1}\|)&\dots &\varphi (\|\mathbf {x} _{n}-\mathbf {x} _{1}\|)\\\varphi (\|\mathbf {x} _{1}-\mathbf {x} _{2}\|)&\varphi (\|\mathbf {x} _{2}-\mathbf {x} _{2}\|)&\dots &\varphi (\|\mathbf {x} _{n}-\mathbf {x} _{2}\|)\\\vdots &\vdots &\ddots &\vdots \\\varphi (\|\mathbf {x} _{1}-\mathbf {x} _{n}\|)&\varphi (\|\mathbf {x} _{2}-\mathbf {x} _{n}\|)&\dots &\varphi (\|\mathbf {x} _{n}-\mathbf {x} _{n}\|)\\\end{bmatrix}}

( 1 )

Примеры

Обычно используемые типы радиальных базисных функций включают в себя (запись ${\textstyle r=\left\|\mathbf {x} -\mathbf {x} _{i}\right\|}$ и использование ${\textstyle \varepsilon }$ чтобы указать параметр формы , который можно использовать для масштабирования входных данных радиального ядра ^[11]):

Бесконечно гладкие RBF
Эти радиальные базисные функции взяты из $C^{\infty }(\mathbb {R} )$ и являются строго положительно определенными функциями ^[12] требующие настройки параметра формы $\varepsilon$
- Гауссово :
  $\varphi (r)=e^{-(\varepsilon r)^{2}},$ ( 2 )
  Функция Гаусса для нескольких вариантов выбора $\varepsilon$
  График масштабированной функции рельефа с несколькими вариантами выбора $\varepsilon$
- Обратный квадрат :
  $\varphi (r)={\dfrac {1}{1+(\varepsilon r)^{2}}},$ ( 4 )
- Обратная мультиквадрика :
  $\varphi (r)={\dfrac {1}{\sqrt {1+(\varepsilon r)^{2}}}},$ ( 5 )
Полигармонический сплайн :
${\begin{aligned}\varphi (r)&=r^{k},&k&=1,3,5,\dotsc \\\varphi (r)&=r^{k}\ln(r),&k&=2,4,6,\dotsc \end{aligned}}$ ( 6 )
*Для полигармонических сплайнов четной степени $(k=2,4,6,\dotsc )$ , чтобы избежать числовых проблем при $r=0$ где $\ln(0)=-\infty$ , вычислительная реализация часто записывается как $\varphi (r)=r^{k-1}\ln(r^{r})$ . ^{[ нужна ссылка ]}
Тонкий пластинчатый сплайн (специальный полигармонический сплайн):
$\varphi (r)=r^{2}\ln(r),$ ( 7 )

Компактно поддерживаемые RBF

Эти RBF поддерживаются компактно и поэтому отличны от нуля только в радиусе $1/\varepsilon$ и, следовательно, имеют разреженные матрицы дифференцирования

Функция удара :

\varphi (r)={\begin{cases}\exp \left(-{\frac {1}{1-(\varepsilon r)^{2}}}\right)&{\text{ for }}r<{\frac {1}{\varepsilon }}\\0&{\text{ otherwise}}\end{cases}},

( 8 )

Приближение

Радиальные базисные функции обычно используются для построения аппроксимаций функций вида

y(\mathbf {x} )=\sum _{i=1}^{N}w_{i}\,\varphi (\left\|\mathbf {x} -\mathbf {x} _{i}\right\|),

( 9 )

где аппроксимирующая функция ${\textstyle y(\mathbf {x} )}$ представляется как сумма $N$ радиальные базисные функции, каждая из которых связана со своим центром ${\textstyle \mathbf {x} _{i}}$ , и взвешенный соответствующим коэффициентом ${\textstyle w_{i}.}$ Веса ${\textstyle w_{i}}$ можно оценить матричными методами линейных наименьших квадратов , поскольку аппроксимирующая функция линейна по весам ${\textstyle w_{i}}$ .

Схемы аппроксимации такого типа особенно использовались ^{[ нужна ссылка ]} в прогнозировании временных рядов и управлении нелинейными системами, демонстрирующими достаточно простое хаотическое поведение, и трехмерной реконструкции в компьютерной графике (например, иерархический RBF и Pose Space Deformation ).

Сеть РФБ

Сумма

y(\mathbf {x} )=\sum _{i=1}^{N}w_{i}\,\varphi (\left\|\mathbf {x} -\mathbf {x} _{i}\right\|),

( 10 )

также можно интерпретировать как довольно простой однослойный тип искусственной нейронной сети, называемый сетью радиальных базисных функций , где радиальные базисные функции берут на себя роль функций активации сети. Можно показать, что любая непрерывная функция на компактном интервале в принципе может быть с произвольной точностью интерполирована суммой этого вида, если достаточно большое число ${\textstyle N}$ радиальных базисных функций.

Аппроксимант ${\textstyle y(\mathbf {x} )}$ дифференцируемо по весам ${\textstyle w_{i}}$ . Таким образом, веса можно узнать, используя любой стандартный итеративный метод для нейронных сетей.

Использование радиальных базисных функций таким образом дает разумный подход к интерполяции при условии, что подгоночный набор выбран таким образом, что он систематически охватывает весь диапазон (идеально подходят равноудаленные точки данных). Однако без полиномиального члена, ортогонального радиальным базисным функциям, оценки вне подгоночного набора имеют тенденцию работать плохо. ^{[ нужна ссылка ]}

RBF для PDE

Радиальные базисные функции используются для аппроксимации функций и поэтому могут использоваться для дискретизации и численного решения уравнений в частных производных (PDE). Впервые это было сделано в 1990 году Э. Дж. Кансой, который разработал первый численный метод, основанный на RBF. Он называется методом Канзы и использовался для решения эллиптического уравнения Пуассона и линейного уравнения адвекции-диффузии . Значения функции в точках $\mathbf {x}$ в области аппроксимируются линейной комбинацией RBF:

u(\mathbf {x} )=\sum _{i=1}^{N}\lambda _{i}\,\varphi (\left\|\mathbf {x} -\mathbf {x} _{i}\right\|),\quad \mathbf {x} \in \mathbb {R} ^{d}

( 11 )

Производные аппроксимируются следующим образом:

{\frac {\partial ^{n}u({\textbf {x}})}{\partial x^{n}}}=\sum _{i=1}^{N}\lambda _{i}\,{\frac {\partial ^{n}}{\partial x^{n}}}\varphi (\left\|\mathbf {x} -\mathbf {x} _{i}\right\|),\quad \mathbf {x} \in \mathbb {R} ^{d}

( 12 )

где $N$ – количество точек в дискретизированной области, $d$ размерность домена и $\lambda$ скалярные коэффициенты, которые не изменяются дифференциальным оператором. ^[13]

После этого были разработаны различные численные методы, основанные на радиальных базисных функциях. Некоторые методы — это метод RBF-FD, ^[14]^[15] метод RBF-QR ^[16] и метод RBF-PUM. ^[17]

См. также

Ссылки

^ Сети радиальных базисных функций. Архивировано 23 апреля 2014 г. на Wayback Machine.
^ Брумхед, Дэвид Х.; Лоу, Дэвид (1988). «Многомерная функциональная интерполяция и адаптивные сети» (PDF) . Сложные системы . 2 : 321–355. Архивировано из оригинала (PDF) 14 июля 2014 г.
^ Майкл Дж. Д. Пауэлл (1977). «Процедуры перезапуска метода сопряженных градиентов». Математическое программирование . 12 (1): 241–254. дои : 10.1007/bf01593790 . S2CID 9500591 .
^ Шахин, Ферат (1997). Подход с использованием радиальной базисной функции к задаче классификации цветных изображений в промышленном приложении реального времени (магистр наук). Вирджинский технологический институт . п. 26. HDL : 10919/36847 . Радиальные базисные функции были впервые введены Пауэллом для решения реальной задачи многомерной интерполяции.
^ Брумхед и Лоу 1988 , с. 347: «Мы хотели бы поблагодарить профессора М.Дж.Д. Пауэлла с кафедры прикладной математики и теоретической физики Кембриджского университета за первоначальный стимул для этой работы».
^ ВандерПлас, Джейк (6 мая 2015 г.). «Введение в машины опорных векторов» . [О'Рейли] . Проверено 14 мая 2015 г.
^ Буманн, Мартин Дитрих (2003). Радиальные базисные функции: теория и реализации . Издательство Кембриджского университета. ISBN 978-0511040207 . OCLC 56352083 .
^ Бьянколини, Марко Евангелос (2018). Быстрые радиальные базисные функции для инженерных приложений . Международное издательство Спрингер. ISBN 9783319750118 . OCLC 1030746230 .
^ Фассауэр, Грегори Э. (2007). Методы бессеточной аппроксимации с помощью MATLAB . Сингапур: World Scientific Publishing Co. Pte. ООО, стр. 17–25. ISBN 9789812706331 .
^ Вендланд, Хольгер (2005). Аппроксимация рассеянных данных . Кембридж: Издательство Кембриджского университета. стр. 11, 18–23, 64–66. ISBN 0521843359 .
^ Фассауэр, Грегори Э. (2007). Методы бессеточной аппроксимации с помощью MATLAB . Сингапур: World Scientific Publishing Co. Pte. ООО с. 37. ИСБН 9789812706331 .
^ Фассауэр, Грегори Э. (2007). Методы бессеточной аппроксимации с помощью MATLAB . Сингапур: World Scientific Publishing Co. Pte. ООО, стр. 37–45. ISBN 9789812706331 .
^ Канса, EJ (1 января 1990 г.). «Мультиквадрика — схема аппроксимации разбросанных данных с приложениями к вычислительной гидродинамике — решения II параболических, гиперболических и эллиптических уравнений в частных производных» . Компьютеры и математика с приложениями . 19 (8): 147–161. дои : 10.1016/0898-1221(90)90271-К . ISSN 0898-1221 .
^ Толстых А.И.; Широбоков Д.А. (01 декабря 2003 г.). «Об использовании радиальных базисных функций в «режиме конечных разностей» с применением к задачам упругости» . Вычислительная механика . 33 (1): 68–79. Бибкод : 2003CompM..33...68T . дои : 10.1007/s00466-003-0501-9 . ISSN 1432-0924 . S2CID 121511032 .
^ Шу, С; Дин, Х; Йео, К.С. (14 февраля 2003 г.). «Метод дифференциальных квадратур на основе локальной радиальной базисной функции и его применение для решения двумерных уравнений Навье – Стокса для несжимаемой жидкости» . Компьютерные методы в прикладной механике и технике . 192 (7): 941–954. Бибкод : 2003CMAME.192..941S . дои : 10.1016/S0045-7825(02)00618-7 . ISSN 0045-7825 .
^ Форнберг, Бенгт; Ларссон, Элизабет; Флаер, Наташа (01 января 2011 г.). «Стабильные вычисления с гауссовскими радиальными базисными функциями» . Журнал SIAM по научным вычислениям . 33 (2): 869–892. Бибкод : 2011ГАО...33..869Ф . дои : 10.1137/09076756X . ISSN 1064-8275 .
^ Сафдари-Вайгани, Али; Херюдоно, Альфа; Ларссон, Элизабет (01 августа 2015 г.). «Радиальное разделение базисной функции метода коллокации с единицей для уравнений конвекции-диффузии, возникающих в финансовых приложениях» . Журнал научных вычислений . 64 (2): 341–367. дои : 10.1007/s10915-014-9935-9 . ISSN 1573-7691 . S2CID 254691757 .

Дальнейшее чтение

Харди, Р.Л. (1971). «Мультиквадрические уравнения топографии и других нерегулярных поверхностей». Журнал геофизических исследований . 76 (8): 1905–1915. Бибкод : 1971JGR....76.1905H . дои : 10.1029/jb076i008p01905 .
Харди, Р.Л. (1990). «Теория и приложения мультиквадрично-бигармонического метода, 20 лет Открытий, 1968 1988» . Комп. Математическое приложение . 19 (8/9): 163–208. дои : 10.1016/0898-1221(90)90272-л .
Пресс, WH; Теукольский, С.А.; Феттерлинг, WT; Фланнери, Б.П. (2007), «Раздел 3.7.1. Интерполяция радиальной базисной функции» , Численные рецепты: искусство научных вычислений (3-е изд.), Нью-Йорк: Cambridge University Press, ISBN 978-0-521-88068-8
Сираяноне, С., 1988, Сравнительные исследования кригинга, мультиквадрично-бигармонического и других методов решения проблем минеральных ресурсов, доктор философии. Диссертация, кафедра наук о Земле, Университет штата Айова, Эймс, Айова.
Сираяноне, С.; Харди, Р.Л. (1995). «Мультиквадрично-бигармонический метод, используемый для минеральных ресурсов, метеорологических и других приложений». Журнал прикладных наук и вычислений . 1 : 437–475.

[1] Сети радиальных базисных функций. Архивировано 23 апреля 2014 г. на Wayback Machine.

[2] Брумхед, Дэвид Х.; Лоу, Дэвид (1988). «Многомерная функциональная интерполяция и адаптивные сети» (PDF) . Сложные системы . 2 : 321–355. Архивировано из оригинала (PDF) 14 июля 2014 г.

[3] Майкл Дж. Д. Пауэлл (1977). «Процедуры перезапуска метода сопряженных градиентов». Математическое программирование . 12 (1): 241–254. дои : 10.1007/bf01593790 . S2CID 9500591 .

[4] Шахин, Ферат (1997). Подход с использованием радиальной базисной функции к задаче классификации цветных изображений в промышленном приложении реального времени (магистр наук). Вирджинский технологический институт . п. 26. HDL : 10919/36847 . Радиальные базисные функции были впервые введены Пауэллом для решения реальной задачи многомерной интерполяции.

[CITEREFBroomheadLowe1988-5] Брумхед и Лоу 1988 , с. 347: «Мы хотели бы поблагодарить профессора М.Дж.Д. Пауэлла с кафедры прикладной математики и теоретической физики Кембриджского университета за первоначальный стимул для этой работы».

[6] ВандерПлас, Джейк (6 мая 2015 г.). «Введение в машины опорных векторов» . [О'Рейли] . Проверено 14 мая 2015 г.

[7] Буманн, Мартин Дитрих (2003). Радиальные базисные функции: теория и реализации . Издательство Кембриджского университета. ISBN 978-0511040207 . OCLC 56352083 .

[8] Бьянколини, Марко Евангелос (2018). Быстрые радиальные базисные функции для инженерных приложений . Международное издательство Спрингер. ISBN 9783319750118 . OCLC 1030746230 .

[9] Фассауэр, Грегори Э. (2007). Методы бессеточной аппроксимации с помощью MATLAB . Сингапур: World Scientific Publishing Co. Pte. ООО, стр. 17–25. ISBN 9789812706331 .

[wendland2005-10] Вендланд, Хольгер (2005). Аппроксимация рассеянных данных . Кембридж: Издательство Кембриджского университета. стр. 11, 18–23, 64–66. ISBN 0521843359 .

[11] Фассауэр, Грегори Э. (2007). Методы бессеточной аппроксимации с помощью MATLAB . Сингапур: World Scientific Publishing Co. Pte. ООО с. 37. ИСБН 9789812706331 .

[12] Фассауэр, Грегори Э. (2007). Методы бессеточной аппроксимации с помощью MATLAB . Сингапур: World Scientific Publishing Co. Pte. ООО, стр. 37–45. ISBN 9789812706331 .

[13] Канса, EJ (1 января 1990 г.). «Мультиквадрика — схема аппроксимации разбросанных данных с приложениями к вычислительной гидродинамике — решения II параболических, гиперболических и эллиптических уравнений в частных производных» . Компьютеры и математика с приложениями . 19 (8): 147–161. дои : 10.1016/0898-1221(90)90271-К . ISSN 0898-1221 .

[14] Толстых А.И.; Широбоков Д.А. (01 декабря 2003 г.). «Об использовании радиальных базисных функций в «режиме конечных разностей» с применением к задачам упругости» . Вычислительная механика . 33 (1): 68–79. Бибкод : 2003CompM..33...68T . дои : 10.1007/s00466-003-0501-9 . ISSN 1432-0924 . S2CID 121511032 .

[15] Шу, С; Дин, Х; Йео, К.С. (14 февраля 2003 г.). «Метод дифференциальных квадратур на основе локальной радиальной базисной функции и его применение для решения двумерных уравнений Навье – Стокса для несжимаемой жидкости» . Компьютерные методы в прикладной механике и технике . 192 (7): 941–954. Бибкод : 2003CMAME.192..941S . дои : 10.1016/S0045-7825(02)00618-7 . ISSN 0045-7825 .

[16] Форнберг, Бенгт; Ларссон, Элизабет; Флаер, Наташа (01 января 2011 г.). «Стабильные вычисления с гауссовскими радиальными базисными функциями» . Журнал SIAM по научным вычислениям . 33 (2): 869–892. Бибкод : 2011ГАО...33..869Ф . дои : 10.1137/09076756X . ISSN 1064-8275 .

[17] Сафдари-Вайгани, Али; Херюдоно, Альфа; Ларссон, Элизабет (01 августа 2015 г.). «Радиальное разделение базисной функции метода коллокации с единицей для уравнений конвекции-диффузии, возникающих в финансовых приложениях» . Журнал научных вычислений . 64 (2): 341–367. дои : 10.1007/s10915-014-9935-9 . ISSN 1573-7691 . S2CID 254691757 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]