Сеть гипербазисных функций

В машинном обучении сеть базисных функций Hyper или сеть HyperBF представляет собой обобщение концепции сетей радиальных базисных функций (RBF) , где Махаланобису вместо евклидовой меры расстояния используется расстояние, подобное . Сети гипербазисных функций были впервые представлены Поджо и Джирози в статье 1990 года «Сети для аппроксимации и обучения». ^[1]^[2]

Сетевая архитектура

Типичная сетевая структура HyperBF состоит из реального входного вектора. $x\in \mathbb {R} ^{n}$ , скрытый слой функций активации и слой линейного вывода. Выход сети является скалярной функцией входного вектора, $\phi :\mathbb {R} ^{n}\to \mathbb {R}$ , определяется

\phi (x)=\sum _{j=1}^{N}a_{j}\rho _{j}(||x-\mu _{j}||)

где $N$ количество нейронов в скрытом слое, $\mu _{j}$ и $a_{j}$ центр и вес нейрона $j$ . Функция активации $\rho _{j}(||x-\mu _{j}||)$ в сети HyperBF принимает следующий вид

\rho _{j}(||x-\mu _{j}||)=e^{(x-\mu _{j})^{T}R_{j}(x-\mu _{j})}

где $R_{j}$ является положительно определенным $d\times d$ матрица. В зависимости от применения используются следующие типы матриц $R_{j}$ обычно считаются ^[3]

$R_{j}={\frac {1}{2\sigma ^{2}}}\mathbb {I} _{d\times d}$ , где $\sigma >0$ . Этот случай соответствует обычной сети RBF.
$R_{j}={\frac {1}{2\sigma _{j}^{2}}}\mathbb {I} _{d\times d}$ , где $\sigma _{j}>0$ . В этом случае базисные функции радиально симметричны, но масштабируются с разной шириной.
$R_{j}=diag\left({\frac {1}{2\sigma _{j1}^{2}}},...,{\frac {1}{2\sigma _{jz}^{2}}}\right)\mathbb {I} _{d\times d}$ , где $\sigma _{ji}>0$ . Каждый нейрон имеет эллиптическую форму и разный размер.
Положительно определенная матрица, но не диагональная.

Обучение

Обучение сетей HyperBF включает оценку весов. $a_{j}$ , форма и центры нейронов $R_{j}$ и $\mu _{j}$ . Поджио и Джирози (1990) описывают метод обучения с использованием движущихся центров и адаптируемой формы нейронов. Краткое описание метода представлено ниже.

Рассмотрим квадратичные потери сети $H[\phi ^{*}]=\sum _{i=1}^{N}(y_{i}-\phi ^{*}(x_{i}))^{2}$ . В оптимальном случае должны быть соблюдены следующие условия:

{\frac {\partial H(\phi ^{*})}{\partial a_{j}}}=0

,

{\frac {\partial H(\phi ^{*})}{\partial \mu _{j}}}=0

,

{\frac {\partial H(\phi ^{*})}{\partial W}}=0

где $R_{j}=W^{T}W$ . Тогда в методе градиентного спуска значения $a_{j},\mu _{j},W$ которые минимизируют $H[\phi ^{*}]$ можно найти как устойчивую неподвижную точку следующей динамической системы:

{\dot {a_{j}}}=-\omega {\frac {\partial H(\phi ^{*})}{\partial a_{j}}}

,

{\dot {\mu _{j}}}=-\omega {\frac {\partial H(\phi ^{*})}{\partial \mu _{j}}}

,

{\dot {W}}=-\omega {\frac {\partial H(\phi ^{*})}{\partial W}}

где $\omega$ определяет скорость сходимости.

В целом, обучение сетей HyperBF может оказаться сложной вычислительной задачей. Более того, высокая степень свободы HyperBF приводит к переобучению и плохому обобщению. Однако сети HyperBF имеют важное преимущество: для обучения сложным функциям достаточно небольшого количества нейронов. ^[2]

Ссылки

^ Т. Поджо и Ф. Джирози (1990). «Сети для аппроксимации и обучения». Учеб. IEEE Том. 78, № 9 : 1481-1497.
^ Jump up to: ^а ^б Р.Н. Махди, ЕС.Рушка (2011). «Сокращенные сети HyperBF: регуляризация путем явного снижения сложности и масштабированного обучения на основе Rprop» . Транзакции нейронных сетей IEEE 2 : 673–686.
^ Ф. Швенкер, Х. А. Кестлер и Г. Палм (2001). «Три фазы обучения для сети с радиальными базисными функциями» Neural Netw. 14 :439-458.

[PoggioGirosi1990-1] Т. Поджо и Ф. Джирози (1990). «Сети для аппроксимации и обучения». Учеб. IEEE Том. 78, № 9 : 1481-1497.

[Mahdi-2] Jump up to: ^а ^б Р.Н. Махди, ЕС.Рушка (2011). «Сокращенные сети HyperBF: регуляризация путем явного снижения сложности и масштабированного обучения на основе Rprop» . Транзакции нейронных сетей IEEE 2 : 673–686.

[Schwenker-3] Ф. Швенкер, Х. А. Кестлер и Г. Палм (2001). «Три фазы обучения для сети с радиальными базисными функциями» Neural Netw. 14 :439-458.

[1]

[2]

[3]