Математика искусственных нейронных сетей

Искусственная нейронная сеть (ИНС) сочетает биологические принципы с расширенной статистикой для решения проблем в таких областях, как распознавание образов и игровой процесс. ИНС принимают базовую модель аналогов нейронов, связанных друг с другом различными способами.

Структура

Нейрон

Нейрон с меткой $j$ получение входных данных $p_{j}(t)$ из нейронов-предшественников состоит из следующих компонентов: ^[1]

активация $a_{j}(t)$ , состояние нейрона в зависимости от дискретного параметра времени,
дополнительный порог $\theta _{j}$ , который остается неизменным, пока не будет изменен в результате обучения,
функция активации $f$ который вычисляет новую активацию в заданный момент времени $t+1$ от $a_{j}(t)$ , $\theta _{j}$ и чистый вход $p_{j}(t)$ порождая отношение

a_{j}(t+1)=f(a_{j}(t),p_{j}(t),\theta _{j}),

и функция вывода $f_{\text{out}}$ вычисление результата активации

o_{j}(t)=f_{\text{out}}(a_{j}(t)).

Часто выходная функция — это просто тождественная функция .

не Входной нейрон имеет предшественника, но служит входным интерфейсом для всей сети. Аналогично, выходной нейрон не имеет преемника и, таким образом, служит выходным интерфейсом всей сети.

Функция распространения

Функция распространения вычисляет входные данные $p_{j}(t)$ к нейрону $j$ из выходов $o_{i}(t)$ и обычно имеет вид ^[1]

p_{j}(t)=\sum _{i}o_{i}(t)w_{ij}.

Предвзятость

Можно добавить термин смещения, изменив форму на следующую: ^[2]

p_{j}(t)=\sum _{i}o_{i}(t)w_{ij}+w_{0j},

где

w_{0j}

это предвзятость.

Нейронные сети как функции

Модели нейронных сетей можно рассматривать как определение функции, которая принимает входные данные (наблюдение) и выдает выходные данные (решение). $\textstyle f:X\rightarrow Y$ или распределение по $\textstyle X$ или оба $\textstyle X$ и $\textstyle Y$ . Иногда модели тесно связаны с определенным правилом обучения. Обычное использование фразы «модель ИНС» на самом деле представляет собой определение класса таких функций (где члены класса получаются путем изменения параметров, весов соединений или особенностей архитектуры, таких как количество нейронов, количество слоев). или их связь).

Математически сетевая функция нейрона $\textstyle f(x)$ определяется как композиция других функций $\textstyle g_{i}(x)$ , которые в дальнейшем можно разложить на другие функции. Это удобно представить в виде сетевой структуры со стрелками, обозначающими зависимости между функциями. Широко используемым типом композиции является нелинейная взвешенная сумма , где $\textstyle f(x)=K\left(\sum _{i}w_{i}g_{i}(x)\right)$ , где $\textstyle K$ (обычно называемую функцией активации ^[3]) — это некоторая предопределенная функция, такая как гиперболический тангенс , сигмовидная функция , функция softmax или функция выпрямителя . Важной характеристикой функции активации является то, что она обеспечивает плавный переход при изменении входных значений, т. е. небольшое изменение входных данных приводит к небольшому изменению выходных данных. Следующее относится к набору функций $\textstyle g_{i}$ как вектор $\textstyle g=(g_{1},g_{2},\ldots ,g_{n})$ .

На этом рисунке изображено такое разложение $\textstyle f$ , причем зависимости между переменными обозначены стрелками. Их можно интерпретировать двояко.

Первое представление — функциональное: ввод $\textstyle x$ преобразуется в трехмерный вектор $\textstyle h$ , который затем преобразуется в двумерный вектор $\textstyle g$ , который окончательно преобразуется в $\textstyle f$ . Эта точка зрения чаще всего встречается в контексте оптимизации .

Второй взгляд — вероятностный: случайная величина $\textstyle F=f(G)$ зависит от случайной величины $\textstyle G=g(H)$ , что зависит от $\textstyle H=h(X)$ , который зависит от случайной величины $\textstyle X$ . Это представление чаще всего встречается в контексте графических моделей .

Эти две точки зрения во многом эквивалентны. В любом случае для этой конкретной архитектуры компоненты отдельных уровней независимы друг от друга (например, компоненты $\textstyle g$ независимы друг от друга, учитывая их входные данные $\textstyle h$ ). Это, естественно, обеспечивает определенную степень параллелизма в реализации.

Сети, подобные предыдущей, обычно называют прямыми , поскольку их граф представляет собой ориентированный ациклический граф . Сети с циклами обычно называют рекуррентными . Такие сети обычно изображаются так, как показано вверху рисунка, где $\textstyle f$ показано как зависящее от самого себя. Однако подразумеваемая временная зависимость не показана.

Обратное распространение ошибки

Алгоритмы обучения обратного распространения ошибки делятся на три категории:

крутой спуск (с переменной скоростью обучения и импульсом , устойчивым обратным распространением ошибки );
квазиньютоновский ( Бройден-Флетчер-Гольдфарб-Шанно , секанс на один шаг );
Левенберга – Марквардта и сопряженный градиент (обновление Флетчера – Ривза, обновление Полака – Рибьера, перезапуск Пауэлла – Била, масштабированный сопряженный градиент). ^[4]

Алгоритм

Позволять $N$ быть сетью с $e$ связи, $m$ входы и $n$ выходы.

Ниже, $x_{1},x_{2},\dots$ обозначим векторы в $\mathbb {R} ^{m}$ , $y_{1},y_{2},\dots$ векторы в $\mathbb {R} ^{n}$ , и $w_{0},w_{1},w_{2},\ldots$ векторы в $\mathbb {R} ^{e}$ . Они называются входами , выходами и весами соответственно.

Сеть соответствует функции $y=f_{N}(w,x)$ что, учитывая вес $w$ , отображает вход $x$ к выходу $y$ .

В обучении с учителем — последовательность обучающих примеров. $(x_{1},y_{1}),\dots ,(x_{p},y_{p})$ производит последовательность весов $w_{0},w_{1},\dots ,w_{p}$ начиная с некоторого начального веса $w_{0}$ , обычно выбираются случайно.

Эти веса вычисляются по очереди: сначала вычислите $w_{i}$ используя только $(x_{i},y_{i},w_{i-1})$ для $i=1,\dots ,p$ . Тогда результат алгоритма будет $w_{p}$ , давая новую функцию $x\mapsto f_{N}(w_{p},x)$ . Вычисления на каждом этапе одинаковы, поэтому только случай $i=1$ описано.

$w_{1}$ рассчитывается из $(x_{1},y_{1},w_{0})$ учитывая переменный вес $w$ и применив градиентный спуск к функции $w\mapsto E(f_{N}(w,x_{1}),y_{1})$ найти локальный минимум, начиная с $w=w_{0}$ .

Это делает $w_{1}$ минимизирующий вес, найденный градиентным спуском.

Изучение псевдокода

Для реализации приведенного выше алгоритма необходимы явные формулы для градиента функции $w\mapsto E(f_{N}(w,x),y)$ где функция $E(y,y')=|y-y'|^{2}$ .

Алгоритм обучения можно разделить на две фазы: распространение и обновление веса.

Распространение

Распространение включает в себя следующие этапы:

Распространение вперед по сети для генерации выходных значений.
Расчет стоимости (срок ошибки)
Распространение выходных активаций обратно через сеть с использованием целевого шаблона обучения для генерации дельт (разницы между целевыми и фактическими выходными значениями) всех выходных и скрытых нейронов.

Обновление веса

Для каждого веса:

Умножьте выходную дельту веса и входную активацию, чтобы найти градиент веса.
Вычтите соотношение (процент) градиента веса из веса.

Скорость обучения – это соотношение (процент), влияющее на скорость и качество обучения. Чем больше это соотношение, тем быстрее обучается нейрон, но чем оно ниже, тем точнее обучение. Знак градиента веса указывает, изменяется ли ошибка прямо или обратно пропорционально весу. Поэтому вес необходимо обновлять в противоположном направлении, «спускаясь» по градиенту.

Обучение повторяется (в новых пакетах) до тех пор, пока сеть не будет работать адекватно.

Псевдокод

Псевдокод алгоритма стохастического градиентного спуска для обучения трехслойной сети (один скрытый слой):

initialize network weights (often small random values)
do
    for each training example named ex do
        prediction = neural-net-output(network, ex)  // forward pass
        actual = teacher-output(ex)
        compute error (prediction - actual) at the output units
        compute  $\Delta w_{h}$  for all weights from hidden layer to output layer  // backward pass
        compute  $\Delta w_{i}$  for all weights from input layer to hidden layer   // backward pass continued
        update network weights // input layer not modified by error estimate
until error rate becomes acceptably low
return the network

Строки, помеченные как «обратный проход», могут быть реализованы с использованием алгоритма обратного распространения ошибки, который вычисляет градиент ошибки сети относительно модифицируемых весов сети. ^[5]

Ссылки

^ Jump up to: ^а ^б Зелл, Андреас (2003). «глава 5.2». сетей ( Моделирование нейронных на немецком языке) (1-е изд.). Эддисон Уэсли. ISBN 978-3-89319-554-1 . ОСЛК 249017987 .
^ ДОУСОН, КРИСТИАН В. (1998). «Подход на основе искусственных нейронных сетей к моделированию стока осадков» . Журнал гидрологических наук . 43 (1): 47–66. Бибкод : 1998HydSJ..43...47D . дои : 10.1080/02626669809492102 .
^ «Словарь машинного обучения» . www.cse.unsw.edu.au. Архивировано из оригинала 26 августа 2018 г. Проверено 18 августа 2019 г.
^ М. Форузанфар; ХР Даджани; В.З. Гроза; М. Болич и С. Раджан (июль 2010 г.). Сравнение алгоритмов обучения нейронных сетей с прямой связью для осциллометрической оценки артериального давления . 4-й Межд. Семинар «Приложения мягких вычислений». Арад, Румыния: IEEE.
^ Вербос, Пол Дж. (1994). Корни обратного распространения ошибки . От упорядоченных производных к нейронным сетям и политическому прогнозированию. Нью-Йорк, штат Нью-Йорк: John Wiley & Sons, Inc.

[Zell1994ch5.2-1] Jump up to: ^а ^б Зелл, Андреас (2003). «глава 5.2». сетей ( Моделирование нейронных на немецком языке) (1-е изд.). Эддисон Уэсли. ISBN 978-3-89319-554-1 . ОСЛК 249017987 .

[DAWSON1998-2] ДОУСОН, КРИСТИАН В. (1998). «Подход на основе искусственных нейронных сетей к моделированию стока осадков» . Журнал гидрологических наук . 43 (1): 47–66. Бибкод : 1998HydSJ..43...47D . дои : 10.1080/02626669809492102 .

[3] «Словарь машинного обучения» . www.cse.unsw.edu.au. Архивировано из оригинала 26 августа 2018 г. Проверено 18 августа 2019 г.

[4] М. Форузанфар; ХР Даджани; В.З. Гроза; М. Болич и С. Раджан (июль 2010 г.). Сравнение алгоритмов обучения нейронных сетей с прямой связью для осциллометрической оценки артериального давления . 4-й Межд. Семинар «Приложения мягких вычислений». Арад, Румыния: IEEE.

[5] Вербос, Пол Дж. (1994). Корни обратного распространения ошибки . От упорядоченных производных к нейронным сетям и политическому прогнозированию. Нью-Йорк, штат Нью-Йорк: John Wiley & Sons, Inc.

[1]

[2]

[3]

[4]

[5]