Нейронная сеть прямого распространения

В сети прямой связи информация всегда движется в одном направлении; оно никогда не идет назад.

Упрощенный пример обучения нейронной сети обнаружению объектов: сеть обучается на нескольких изображениях, на которых, как известно, изображены морские звезды и морские ежи , которые коррелируют с «узлами», представляющими визуальные особенности . Морская звезда сочетается с кольцевой текстурой и звездным контуром, тогда как большинство морских ежей сочетается с полосатой текстурой и овальной формой. Однако экземпляр морского ежа с кольцевой текстурой создает между ними слабо взвешенную ассоциацию.

Последующий запуск сети на входном изображении (слева): Сеть правильно обнаруживает морскую звезду. Однако слабовзвешенная связь между кольцевой текстурой и морским ежом также дает последнему слабый сигнал от одного из двух промежуточных узлов. Кроме того, раковина, не включенная в обучение, дает слабый сигнал овальной формы, что также приводит к слабому сигналу выхода морского ежа. Эти слабые сигналы могут привести к ложноположительному результату на морского ежа.
В действительности текстуры и контуры будут представлены не отдельными узлами, а скорее соответствующими весовыми шаблонами нескольких узлов.

Нейронная сеть прямого распространения ( FNN ) — это один из двух широких типов искусственных нейронных сетей , характеризующийся направлением потока информации между ее слоями. Его поток является однонаправленным, что означает, что информация в модели течет только в одном направлении — вперед — от входных узлов через скрытые узлы (если таковые имеются) и к выходным узлам без каких-либо циклов или петель. в отличие от рекуррентных нейронных сетей , которые имеют двунаправленный поток. Современные сети прямого распространения обучаются с использованием обратного распространения ошибки. метода и в просторечии их называют «ванильными» нейронными сетями.

Хронология

• В 1958 году многослойная сеть перцептронов, состоящая из входного слоя, скрытого слоя со рандомизированными весами, которые не обучаются, и выходного слоя с обучающими связями, была представлена ​​уже Фрэнком Розенблаттом в его книге «Перцептрон» . Эта экстремальная обучающая машина еще не была сетью глубокого обучения .

• первая сеть прямого обучения с глубоким обучением , еще не использующая стохастический градиентный спуск и Валентином Лапой была опубликована В 1965 году Алексеем Григорьевичем Ивахненко , которая в то время называлась « Групповой метод обработки данных» .

• В 1967 году сеть глубокого обучения, использовавшая стохастический градиентный спуск впервые , смогла классифицировать нелинейно разделимые классы шаблонов, как сообщил Шуничи Амари . Ученик Амари Сайто провел компьютерные эксперименты, используя пятислойную сеть прямого распространения с двумя уровнями обучения.

• В 1970 году появился современный метод обратного распространения ошибки , эффективное применение цепочек правил на основе контролируемого обучения . была впервые опубликована финским исследователем Сеппо Линнаинмаа . Сам термин (то есть «ошибки обратного распространения») использовался самим Розенблаттом. но он не знал, как это реализовать, хотя непрерывный предшественник обратного распространения ошибки уже использовался в контексте теории управления в 1960 году Генри Дж. Келли . Он известен также как обратный режим автоматического дифференцирования .

• В 1982 году обратное распространение ошибки было применено способом, ставшим стандартным, впервые Полом Вербосом .

• В 1985 году экспериментальный анализ метода был проведен Дэвидом Э. Румельхартом и др.. В последующие десятилетия в этот подход было внесено множество усовершенствований.

• В 1987 году, используя стохастический градиентный спуск в (широкой 12-слойной нелинейной) сети прямого распространения, Мэтью Брэнд обучил ее воспроизводить логические функции нетривиальной глубины схемы, используя небольшие партии случайных входных/выходных выборок. Он, однако, пришел к выводу, что на аппаратном обеспечении (компьютерах с субмегафлопсной производительностью), доступном в то время, это было непрактично, и предложил использовать фиксированные случайные ранние слои в качестве входного хеша для одного изменяемого слоя.

• В 1990-х годах появилась (гораздо более простая) альтернатива использованию нейронных сетей, хотя и все еще связанная с ней. Машинный подход опорных векторов был разработан Владимиром Вапником и его коллегами. Помимо выполнения линейной классификации , они смогли эффективно выполнить нелинейную классификацию, используя так называемый трюк с ядром , используя многомерные пространства признаков .

• В 2003 году интерес к сетям обратного распространения ошибки вернулся благодаря успехам глубокого обучения , примененного к языковому моделированию Йошуа Бенджио с соавторами.

• В 2017 году современные архитектуры трансформаторов были представлены в статье « Внимание — это все, что вам нужно ».

Математические основы

Функция активации

Две исторически распространенные функции активации являются сигмоидами и описываются формулой

$y(v_{i})=\tanh(v_{i})~~{\textrm {and}}~~y(v_{i})=(1+e^{-v_{i}})^{-1}$.

Первая представляет собой гиперболический тангенс , который находится в диапазоне от -1 до 1, а вторая — логистическая функция , которая аналогична по форме, но находится в диапазоне от 0 до 1. Здесь $y_{i}$ это результат $i$-й узел (нейрон) и $v_{i}$ — взвешенная сумма входных соединений. Были предложены альтернативные функции активации, включая функции выпрямителя и softplus . К более специализированным функциям активации относятся радиальные базисные функции (используемые в радиальных базисных сетях — другом классе контролируемых моделей нейронных сетей).

В недавних разработках глубокого обучения выпрямленная линейная единица (ReLU) чаще используется как один из возможных способов преодоления числовых проблем, связанных с сигмоидами.

Обучение

Обучение происходит путем изменения весов соединений после обработки каждого фрагмента данных в зависимости от количества ошибок в выходных данных по сравнению с ожидаемым результатом. Это пример обучения с учителем , который осуществляется посредством обратного распространения ошибки .

Мы можем представить степень ошибки в выходном узле $j$ в $n$-я точка данных (обучающий пример) по $e_{j}(n)=d_{j}(n)-y_{j}(n)$, где $d_{j}(n)$ желаемое целевое значение для $n$Точка данных в узле $j$, и $y_{j}(n)$ значение, произведенное в узле $j$ когда $n$эта точка данных предоставляется в качестве входных данных.

Затем веса узлов можно скорректировать на основе поправок, которые минимизируют ошибку во всем выводе для $n$th точка данных, заданная

${\mathcal {E}}(n)={\frac {1}{2}}\sum _{{\text{output node }}j}e_{j}^{2}(n)$.

Используя градиентный спуск , изменение каждого веса $w_{ij}$ является

$\Delta w_{ji}(n)=-\eta {\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}y_{i}(n)$

где $y_{i}(n)$ это выход предыдущего нейрона $i$, и $\eta$ — скорость обучения , которая выбирается для того, чтобы веса быстро сходились к ответу, без колебаний. В предыдущем выражении ${\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}$ обозначает частичную производную ошибки ${\mathcal {E}}(n)$ по взвешенной сумме $v_{j}(n)$ входных связей нейрона $i$.

Производная, которую необходимо вычислить, зависит от индуцированного локального поля $v_{j}$, который сам по себе варьируется. Легко доказать, что для выходного узла эту производную можно упростить до

$-{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=e_{j}(n)\phi ^{\prime }(v_{j}(n))$

где $\phi ^{\prime }$ является производной описанной выше функции активации, которая сама по себе не меняется. Анализ более сложен для изменения весов в скрытом узле, но можно показать, что соответствующая производная равна

$-{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=\phi ^{\prime }(v_{j}(n))\sum _{k}-{\frac {\partial {\mathcal {E}}(n)}{\partial v_{k}(n)}}w_{kj}(n)$.

Это зависит от изменения веса $k$th узлов, которые представляют выходной слой. Таким образом, чтобы изменить веса скрытого слоя, веса выходного слоя изменяются в соответствии с производной функции активации, и поэтому этот алгоритм представляет собой обратное распространение функции активации.

История

Линейная нейронная сеть

Самый простой вид нейронной сети прямого распространения — это линейная сеть, состоящая из одного слоя выходных узлов; входные данные подаются непосредственно на выходные через ряд весов. Сумма произведений весов и входных данных рассчитывается в каждом узле. Среднеквадратические ошибки между этими рассчитанными выходными данными и заданными целевыми значениями сводятся к минимуму за счет корректировки весов. Этот метод известен уже более двух столетий как метод наименьших квадратов или линейная регрессия . (1795 г.) использовали его как средство нахождения хорошей грубой линейной аппроксимации набора точек Лежандр (1805 г.) и Гаусс для предсказания движения планет.

Персептрон

Основная статья: Персептрон

Если используется порог, то есть линейная функция активации , результирующая линейная пороговая единица называется персептроном . (Часто этот термин используется для обозначения только одной из этих единиц.) Несколько параллельных нелинейных единиц способны аппроксимировать любую непрерывную функцию из компактного интервала действительных чисел в интервал [-1,1], несмотря на ограниченную вычислительную мощность. единичного устройства с линейной пороговой функцией. Этот результат можно найти у Питера Ауэра, Харальда Бургштайнера и Вольфганга Маасса «Правило обучения для очень простых универсальных аппроксиматоров, состоящих из одного слоя перцептронов».

Перцептроны можно обучать с помощью простого алгоритма обучения, который обычно называют дельта-правилом . Он вычисляет ошибки между вычисленными выходными данными и выборочными выходными данными и использует их для корректировки весов, реализуя тем самым форму градиентного спуска .

Многослойный персептрон

Двухслойная нейронная сеть, способная вычислять XOR . Числа внутри нейронов представляют явный порог каждого нейрона. Числа, обозначающие стрелки, представляют вес входных данных. Обратите внимание: если пороговое значение 2 достигнуто, то значение 1 используется для умножения веса на следующий уровень. Несоблюдение порогового значения приводит к использованию 0. Нижний уровень входных данных не всегда считается настоящим слоем нейронной сети.

Многослойный перцептрон ( MLP ) — это неправильное название современной искусственной нейронной сети прямого распространения, состоящей из полностью связанных нейронов (отсюда иногда используется синоним полностью связанной сети ( FCN )), часто с нелинейным типом функции активации, организованной по крайней мере в три слоя, отличающиеся возможностью различать данные, которые не являются линейно разделимыми .

Другие сети прямой связи

Пример одномерной сверточной нейронной сети с прямой связью

Примеры других сетей прямого распространения включают сверточные нейронные сети и сети радиальных базисных функций , которые используют другую функцию активации.

См. также

• Сеть Хопфилда
• Прямая связь
• Обратное распространение ошибки
• Рпроп

Внешние ссылки

• Учебное пособие по нейронным сетям с прямой связью
• Нейронная сеть прямого распространения: пример
• Нейронные сети с прямой связью: введение