Многослойный персептрон

«MLP» не следует путать с «NLP», которое относится к обработке естественного языка .

Многослойный перцептрон ( MLP ) — это название современной искусственной нейронной сети прямого распространения , состоящей из полностью связанных нейронов с нелинейной функцией активации , организованных как минимум в три слоя, отличающихся способностью различать данные, которые не являются линейно разделимыми .

Современные сети прямого распространения обучаются с использованием обратного распространения ошибки. метода и в просторечии их называют «ванильными» нейронными сетями.

MLP возникли в результате попыток улучшить однослойные перцептроны , которые могли различать только линейно разделимые данные. Персептрон традиционно использовал ступенчатую функцию Хевисайда в качестве нелинейной функции активации. Однако алгоритм обратного распространения ошибки требует, чтобы современные MLP использовали непрерывно дифференцируемые функции активации, такие как сигмовидная или ReLU .

Хронология

• В 1958 году многослойная сеть перцептронов, состоящая из входного слоя, скрытого слоя со рандомизированными весами, которые не обучаются, и выходного слоя с обучающими связями, была представлена ​​уже Фрэнком Розенблаттом в его книге «Перцептрон» . Эта экстремальная обучающая машина еще не была сетью глубокого обучения .
• первая сеть прямого обучения с глубоким обучением , еще не использующая стохастический градиентный спуск и Валентином Лапой была опубликована В 1965 году Алексеем Григорьевичем Ивахненко , которая в то время называлась « Групповой метод обработки данных» .
• опубликовал сеть глубокого обучения, использовавшую стохастический градиентный спуск впервые В 1967 году Шуничи Амари и способную классифицировать нелинейно разделимые классы шаблонов . Ученик Амари Сайто провел компьютерные эксперименты, используя пятислойную сеть прямого распространения с двумя уровнями обучения.
• В 1970 году появился современный метод обратного распространения ошибки , эффективное применение цепочек правил на основе контролируемого обучения . была впервые опубликована финским исследователем Сеппо Линнаинмаа . Сам термин (то есть «ошибки обратного распространения») использовался самим Розенблаттом. но он не знал, как это реализовать, хотя непрерывный предшественник обратного распространения ошибки уже использовался в контексте теории управления в 1960 году Генри Дж. Келли . Он также известен как обратный режим автоматического дифференцирования .
• В 1982 году обратное распространение ошибки было применено способом, ставшим стандартным, впервые Полом Вербосом .
• В 1985 году экспериментальный анализ метода был проведен Дэвидом Э. Румельхартом и др. В последующие десятилетия в этот подход было внесено множество усовершенствований.
• В 1990-х годах появилась (гораздо более простая) альтернатива использованию нейронных сетей, хотя и все еще связанная с ней. Машинный подход опорных векторов был разработан Владимиром Вапником и его коллегами. Помимо выполнения линейной классификации , они смогли эффективно выполнить нелинейную классификацию, используя так называемый трюк с ядром , используя многомерные пространства признаков .
• В 2003 году интерес к сетям обратного распространения ошибки вернулся благодаря успехам глубокого обучения , примененного к языковому моделированию Йошуа Бенджио с соавторами.
• В 2017 году трансформаторов . были представлены современные архитектуры
• В 2021 году была разработана очень простая архитектура NN, объединяющая два глубоких MLP с пропусками соединений и нормализацией слоев, которая получила название MLP-Mixer; Было показано, что его реализации, содержащие от 19 до 431 миллионов параметров, сопоставимы с преобразователями изображения аналогичного размера в ImageNet и аналогичными задачами классификации изображений .

Математические основы

Функция активации

Если многослойный персептрон имеет линейную функцию активации во всех нейронах, то есть линейную функцию, которая сопоставляет взвешенные входы с выходом каждого нейрона, то линейная алгебра показывает, что любое количество слоев можно свести к двухслойному входу. выходная модель. В MLP некоторые нейроны используют нелинейную функцию активации, которая была разработана для моделирования частоты потенциалов действия или срабатывания биологических нейронов.

Две исторически распространенные функции активации являются сигмоидами и описываются формулой

$y(v_{i})=\tanh(v_{i})~~{\textrm {and}}~~y(v_{i})=(1+e^{-v_{i}})^{-1}$.

Первый представляет собой гиперболический тангенс , который находится в диапазоне от −1 до 1, а другой — логистическую функцию , которая аналогична по форме, но находится в диапазоне от 0 до 1. Здесь $y_{i}$ это результат $i$-й узел (нейрон) и $v_{i}$ — взвешенная сумма входных соединений. Были предложены альтернативные функции активации, включая функции выпрямителя и softplus . К более специализированным функциям активации относятся радиальные базисные функции (используемые в радиальных базисных сетях — другом классе контролируемых моделей нейронных сетей).

В недавних разработках глубокого обучения выпрямленная линейная единица (ReLU) чаще используется как один из возможных способов преодоления числовых проблем, связанных с сигмоидами.

Слои

Основная статья: Слой (глубокое обучение)

MLP состоит из трех или более слоев (входной и выходной слой с одним или несколькими скрытыми слоями ) узлов нелинейной активации. Поскольку MLP полностью связаны, каждый узел одного слоя соединяется с определенным весом. $w_{ij}$ к каждому узлу следующего слоя.

Обучение

Обучение происходит в перцептроне путем изменения весов соединений после обработки каждого фрагмента данных в зависимости от количества ошибок на выходе по сравнению с ожидаемым результатом. Это пример обучения с учителем , который осуществляется посредством обратного распространения ошибки — обобщения алгоритма наименьших средних квадратов в линейном персептроне.

Мы можем представить степень ошибки в выходном узле $j$ в $n$-я точка данных (обучающий пример) по $e_{j}(n)=d_{j}(n)-y_{j}(n)$, где $d_{j}(n)$ желаемое целевое значение для $n$Точка данных в узле $j$, и $y_{j}(n)$ значение, создаваемое перцептроном в узле $j$ когда $n$эта точка данных предоставляется в качестве входных данных.

Затем веса узлов можно скорректировать на основе поправок, которые минимизируют ошибку во всем выводе для $n$th точка данных, заданная

${\mathcal {E}}(n)={\frac {1}{2}}\sum _{{\text{output node }}j}e_{j}^{2}(n)$.

Используя градиентный спуск , изменение каждого веса $w_{ij}$ является

$\Delta w_{ji}(n)=-\eta {\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}y_{i}(n)$

где $y_{i}(n)$ это выход предыдущего нейрона $i$, и $\eta$ — скорость обучения , которая выбирается для того, чтобы веса быстро сходились к ответу, без колебаний. В предыдущем выражении ${\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}$ обозначает частичную производную ошибки ${\mathcal {E}}(n)$ по взвешенной сумме $v_{j}(n)$ входных связей нейрона $i$.

Производная, которую необходимо вычислить, зависит от индуцированного локального поля $v_{j}$, который сам по себе варьируется. Легко доказать, что для выходного узла эту производную можно упростить до

$-{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=e_{j}(n)\phi ^{\prime }(v_{j}(n))$

где $\phi ^{\prime }$ является производной описанной выше функции активации, которая сама по себе не меняется. Анализ более сложен для изменения весов в скрытом узле, но можно показать, что соответствующая производная равна

$-{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=\phi ^{\prime }(v_{j}(n))\sum _{k}-{\frac {\partial {\mathcal {E}}(n)}{\partial v_{k}(n)}}w_{kj}(n)$.

Это зависит от изменения веса $k$th узлов, которые представляют выходной слой. Таким образом, чтобы изменить веса скрытого слоя, веса выходного слоя изменяются в соответствии с производной функции активации, и поэтому этот алгоритм представляет собой обратное распространение функции активации.

Внешние ссылки

• Weka: Программное обеспечение для анализа данных с открытым исходным кодом и реализацией многослойного перцептрона .
• Документация Neuroph Studio реализует этот алгоритм и некоторые другие .