Персептрон

«Персептроны» перенаправляется сюда. О книге 1969 года см. «Персептроны» (книга) .

В машинном обучении перцептрон ) (или нейрон Маккаллоха-Питтса представляет собой алгоритм контролируемого обучения бинарных классификаторов . Бинарный классификатор — это функция, которая может решить, принадлежит ли входной сигнал, представленный вектором чисел, к какому-то конкретному классу. Это тип линейного классификатора , то есть алгоритм классификации, который делает свои прогнозы на основе функции линейного предиктора, объединяющей набор весов с вектором признаков .

История

Машина Mark I Perceptron, первая реализация алгоритма перцептрона. Он был подключен к камере с из сульфида кадмия фотоэлементами 20×20 для получения изображения размером 400 пикселей. Основной видимой особенностью является панель сенсорных ассоциаций, которая устанавливает различные комбинации входных функций. Справа расположены массивы потенциометров , реализующие адаптивные веса.

См. Также: История искусственного интеллекта § Персептроны и противодействие коннекционизму и зима ИИ § Отказ от коннекционизма в 1969 году.

Перцептрон Mark 1, настраиваемый Чарльзом Вайтманом (инженером проекта Mark I Perceptron). Сенсорные блоки слева, ассоциативные блоки в центре, а также панель управления и блоки реагирования крайне справа. Панель сенсорных ассоциаций находится за закрытой панелью справа от оператора. Буква «С» на передней панели — индикация текущего состояния сенсорного входа.

Персептрон был изобретен в 1943 году Уорреном Маккалоком и Уолтером Питтсом . Первой аппаратной реализацией была машина Mark I Perceptron, построенная в 1957 году в Корнеллской авиационной лаборатории Фрэнком Розенблаттом . США финансируется Отделением информационных систем Управления военно-морских исследований и Римским центром развития авиации . Впервые он был публично продемонстрирован 23 июня 1960 года. Машина была «частью ранее секретной четырехлетней работы NPIC [ Национального центра интерпретации фотографий США ] с 1963 по 1966 год по разработке этого алгоритма в полезный инструмент для фотоинтерпретаторов».

Розенблатт описал детали персептрона в статье 1958 года. Его организация персептрона построена из трех видов клеток («единиц»): AI, AII, R, которые означают « проекцию », «ассоциацию» и «ответ».

Проект Розенблатта финансировался в рамках контракта Nonr-401(40) «Программа исследований когнитивных систем», который длился с 1959 по 1970 год. и Контракт Nonr-2381(00) «Проект ПАРА» («ПАРА» означает «Автоматы восприятия и распознавания»), который длился с 1957 года. до 1963 года.

I

Организация биологического мозга и перцептрона.

Перцептрон был задуман как машина, а не программа, и хотя его первая реализация была в программном обеспечении для IBM 704 , впоследствии он был реализован на специально изготовленном оборудовании как «Персептрон Mark I» с названием проекта «Проект PARA». ", предназначен для распознавания изображений . В настоящее время машина находится в Смитсоновском национальном музее американской истории .

Персептрон Mark I имеет 3 слоя.

• Массив из 400 фотоэлементов, расположенных в сетке 20x20, названных «сенсорными единицами» (S-единицы) или «входной сетчаткой». К каждому S-блоку можно подключить до 40 A-блоков.
• Скрытый слой из 512 перцептронов, названный «ассоциативными единицами» (А-единицы).
• Выходной слой из 8 перцептронов, названных «единицами ответа» (R-единицы).

Розенблатт назвал эту трехслойную сеть перцептрона альфа-перцептроном , чтобы отличить ее от других моделей перцептрона, с которыми он экспериментировал.

S-блоки подключаются к A-блокам случайным образом (согласно таблице случайных чисел) через коммутационную панель (см. фото), чтобы «устранить какое-либо конкретное преднамеренное смещение в перцептроне». Веса соединений фиксированы, а не изучены. Розенблатт был непреклонен в отношении случайных связей, поскольку он считал, что сетчатка случайным образом связана со зрительной корой, и хотел, чтобы его перцептронная машина напоминала зрительное восприятие человека.

Блоки A соединены с блоками R, при этом регулируемые веса закодированы в потенциометрах , а обновление веса во время обучения выполнялось с помощью электродвигателей. Подробная информация об аппаратном обеспечении содержится в руководстве оператора.

Компоненты персептрона Mark I. Из руководства оператора.

На пресс-конференции 1958 года, организованной ВМС США, Розенблатт сделал заявления о персептроне, вызвавшие горячие споры среди молодого сообщества ИИ ; Основываясь на заявлениях Розенблатта, газета «Нью-Йорк Таймс» сообщила, что перцептрон является «зародышем электронного компьютера, который, как ожидает [ВМФ], сможет ходить, говорить, видеть, писать, воспроизводить себя и осознавать свое существование».

нейродинамики 1962

Розенблатт описал свои эксперименты со многими вариантами машины перцептрона в книге «Принципы нейродинамики» (1962). Книга представляет собой опубликованную версию отчета 1961 года.

Среди вариантов:

• «перекрестная связь» (соединения между блоками внутри одного слоя) с возможными замкнутыми контурами,
• «обратная связь» (соединения блоков более позднего уровня с блоками предыдущего уровня),
• четырехслойные перцептроны, где последние два слоя имеют регулируемый вес (и, следовательно, правильный многослойный перцептрон),
• включение временных задержек в блоки перцептрона, чтобы обеспечить обработку последовательных данных,
• анализ аудио (вместо изображений).

Машина была отправлена ​​из Корнелла в Смитсоновский институт в 1967 году по правительственной передаче, администрируемой Управлением военно-морских исследований.

Персептроны (

Основная статья: Перцептроны (книга)

Хотя поначалу перцептрон казался многообещающим, быстро было доказано, что перцептроны невозможно научить распознавать многие классы шаблонов. области исследований нейронных сетей Это привело к стагнации на многие годы, прежде чем было признано, что нейронная сеть прямого распространения с двумя или более слоями (также называемая многослойным перцептроном ) имеет большую вычислительную мощность, чем перцептроны с одним слоем (также называемые однослойным перцептроном). слой перцептрона ).

Однослойные перцептроны способны изучать только линейно разделимые шаблоны. Для задачи классификации с некоторой функцией пошаговой активации один узел будет иметь одну линию, разделяющую точки данных, образующие шаблоны. Больше узлов может создать больше разделительных линий, но эти линии необходимо каким-то образом объединить, чтобы сформировать более сложную классификацию. Второго слоя перцептронов или даже линейных узлов достаточно для решения многих неразделимых иначе проблем.

В 1969 году знаменитая книга названием «Персептроны» под Марвина Мински и Сеймура Пейперта показала, что эти классы сетей не могут изучить функцию XOR . Часто полагают (ошибочно), что они также предполагали, что аналогичный результат справедлив и для многослойной сети перцептрона. Однако это неправда, поскольку и Мински, и Паперт уже знали, что многослойные перцептроны способны создавать функцию XOR. (Для получения дополнительной информации см. страницу «Персептроны» (книга) .) Тем не менее, часто ошибочно трактуемый текст Мински/Пейперта вызвал значительное снижение интереса и финансирования исследований нейронных сетей. Прошло еще десять лет, прежде чем в 1980-х годах исследования нейронных сетей возобновились. Этот текст был переиздан в 1987 году как «Персептроны — расширенное издание», где показаны и исправлены некоторые ошибки в исходном тексте.

Последующая работа

Розенблатт продолжал работать над перцептронами, несмотря на сокращение финансирования. Последней попыткой стал Тобермори, построенный между 1961 и 1967 годами и предназначенный для распознавания речи. Оно занимало целую комнату. Он имел 4 слоя с 12 000 весов, реализованных тороидальными магнитными сердечниками . К моменту его завершения моделирование на цифровых компьютерах стало быстрее, чем специально созданные перцептронные машины. Он погиб в катастрофе в 1971 году.

Изометрический вид Тобермори, фаза I.

Алгоритм ядра персептрона был представлен еще в 1964 году Айзерманом и др. Гарантии границ маржи были даны для алгоритма Персептрона в общем неразделимом случае впервые Фрейндом и Шапиром ( 1998): и совсем недавно Мори и Ростамизаде (2013), которые расширили предыдущие результаты и дали новые, более благоприятные границы L1.

Персептрон — это упрощенная модель биологического нейрона . Хотя для полного понимания поведения нейронов часто требуется сложность моделей биологических нейронов , исследования показывают, что линейная модель, подобная перцептрону, может воспроизводить некоторое поведение, наблюдаемое в реальных нейронах.

Изучаются пространства решений границ решений для всех бинарных функций и поведения обучения.

Определение

К входным данным применяются соответствующие веса, и полученная взвешенная сумма передается функции, которая выдает результат o.

В современном смысле персептрон — это алгоритм обучения двоичного классификатора, называемого пороговой функцией : функция, которая отображает входные данные $\mathbf {x}$ с действительным знаком ( вектор ) к выходному значению $f(\mathbf {x} )$ (одно двоичное значение):

$f(\mathbf {x} )=\theta (\mathbf {w} \cdot \mathbf {x} +b)$

где $\theta$ — ступенчатая функция Хевисайда , $\mathbf {w}$ вектор действительных весов, $\mathbf {w} \cdot \mathbf {x}$ это скалярное произведение $\sum _{i=1}^{m}w_{i}x_{i}$, где m — количество входов в персептрон, а b — смещение . Смещение смещает границу решения от начала координат и не зависит ни от какого входного значения.

Эквивалентно, поскольку $\mathbf {w} \cdot \mathbf {x} +b=(\mathbf {w} ,b)\cdot (\mathbf {x} ,1)$, мы можем добавить член смещения $b$ как еще один вес $\mathbf {w} _{m+1}$ и добавьте координату $1$ к каждому входу $\mathbf {x}$, а затем запишите его как линейный классификатор, передающий начало координат:

$$f(\mathbf {x} )=\theta (\mathbf {w} \cdot \mathbf {x} )$$

Двоичное значение $f(\mathbf {x} )$ (0 или 1) используется для выполнения двоичной классификации на $\mathbf {x}$ как положительный или отрицательный пример. В пространственном отношении смещение меняет положение (но не ориентацию) плоской границы решения .

В контексте нейронных сетей перцептрон — это искусственный нейрон, использующий ступенчатую функцию Хевисайда в качестве функции активации. Алгоритм персептрона также называют однослойным персептроном , чтобы отличить его от многослойного персептрона , который является неправильным названием для более сложной нейронной сети. В качестве линейного классификатора однослойный перцептрон представляет собой простейшую нейронную сеть прямого распространения .

Представительская власть

Теория информации

С точки зрения теории информации , одиночный персептрон с K входами имеет емкость 2K бит информации. Этот результат принадлежит Томасу Коверу .

Конкретно пусть $T(N,K)$ — количество способов линейно разделить N точек в K измерениях, тогда

$$T(N,K)=\left\{{\begin{array}{cc}2^{N}&K\geq N\\2\sum _{k=0}^{K-1}\left({\begin{array}{c}N-1\\k\end{array}}\right)&K<N\end{array}}\right.$$

Когда К велико, $T(N,K)/2^{N}$ очень близко к тому, когда $N\leq 2K$, но очень близко к нулю, когда $N>2K$. Другими словами, одна единица перцептрона почти наверняка может запомнить случайное назначение двоичных меток в N точках, когда $N\leq 2K$, но почти наверняка не тогда, когда $N>2K$.

Булева функция

При работе только с двоичными входами персептрон называется линейно разделимой булевой функцией или пороговой булевой функцией. Последовательность номеров пороговых булевых функций на n входах — OEIS A000609 . Значение известно только с точностью до $n=9$ случай, но порядок величины известен совершенно точно: он имеет верхнюю границу $2^{n^{2}-n\log _{2}n+O(n)}$ и нижняя граница $2^{n^{2}-n\log _{2}n-O(n)}$.

Любая булева линейная пороговая функция может быть реализована только с целочисленными весами. Кроме того, количество битов, необходимое и достаточное для представления одного целочисленного весового параметра, равно $\Theta (n\ln n)$.

универсальной

Один персептрон может научиться классифицировать любое полупространство. Он не может решить никакие линейно неразделимые векторы, такие как булева проблема «исключающее ИЛИ» (знаменитая «проблема XOR»).

Сеть перцептрона с одним скрытым слоем может научиться сколь угодно точно классифицировать любое компактное подмножество. Точно так же он также может сколь угодно точно аппроксимировать любую с компактным носителем непрерывную функцию . По сути, это частный случай теорем Джорджа Цыбенко и Курта Хорника .

Конъюнктивно-локальный перцептрон

Основная статья: Перцептроны (книга)

Перцептроны (Мински и Паперт, 1969) изучали виды сетей перцептронов, необходимые для изучения различных булевых функций.

Рассмотрим персептронную сеть с $n$ входные блоки, один скрытый слой и один выходной, как в машине Mark I Perceptron. Он вычисляет булеву функцию типа $f:2^{n}\to 2$. Они вызывают функцию конъюнктивно локального порядка $k$, если существует сеть перцептронов, в которой каждый элемент скрытого слоя соединяется не более чем с $k$ входные единицы.

Теорема. (Теорема 3.1.1): Функция четности конъюнктивно локальна порядка $n$.

Теорема. (раздел 5.5): Функция связности конъюнктивно локальна порядка $\Omega (n^{1/2})$.

Алгоритм обучения однослойного перцептрона

Диаграмма, показывающая, как перцептрон обновляет свою линейную границу по мере добавления новых обучающих примеров.

Ниже приведен пример алгоритма обучения однослойного перцептрона с одним выходным блоком. Для однослойного перцептрона с несколькими выходными блоками, поскольку веса одного выходного блока полностью отделены от всех остальных, один и тот же алгоритм можно запустить для каждого выходного блока.

Для многослойных перцептронов , где существует скрытый слой, более сложные алгоритмы, такие как обратное распространение ошибки необходимо использовать . Если функция активации или основной процесс, моделируемый перцептроном, нелинейны , можно использовать альтернативные алгоритмы обучения, такие как дельта-правило, при условии, что функция активации дифференцируема . Тем не менее, алгоритм обучения, описанный ниже, часто работает даже для многослойных персептронов с нелинейными функциями активации.

Когда несколько перцептронов объединяются в искусственную нейронную сеть, каждый выходной нейрон работает независимо от всех остальных; таким образом, изучение каждого результата можно рассматривать изолированно.

Определения

Сначала мы определяем некоторые переменные:

• $r$ это скорость обучения перцептрона. Скорость обучения — это положительное число, обычно выбираемое меньше 1. Чем больше значение, тем больше вероятность волатильности изменений веса.
• $y=f(\mathbf {z} )$ обозначает выходной сигнал перцептрона для входного вектора $\mathbf {z}$.
• $D=\{(\mathbf {x} _{1},d_{1}),\dots ,(\mathbf {x} _{s},d_{s})\}$ это обучающий набор $s$ образцы, где:
  • $\mathbf {x} _{j}$ это $n$-мерный входной вектор.
  • $d_{j}$ — желаемое выходное значение перцептрона для этого входа.

Мы показываем значения функций следующим образом:

• $x_{j,i}$ это ценность $i$эта особенность $j$ обучения входной вектор .
• $x_{j,0}=1$.

Чтобы представить веса:

• $w_{i}$ это $i$th значение в векторе весов , которое будет умножено на значение $i$функция ввода.
• Потому что $x_{j,0}=1$, $w_{0}$ по сути, это смещение, которое мы используем вместо константы смещения $b$.

Чтобы показать зависимость от времени $\mathbf {w}$, мы используем:

• $w_{i}(t)$ это вес $i$ во время $t$.

Шаги

1. Инициализируйте веса. Веса могут быть инициализированы значением 0 или небольшим случайным значением. В примере ниже мы используем 0.
2. Для каждого примера j в нашем обучающем наборе D выполните следующие шаги над входными данными: $\mathbf {x} _{j}$ и желаемый результат $d_{j}$:
   1. Рассчитаем фактическую производительность:

      ${\begin{aligned}y_{j}(t)&=f[\mathbf {w} (t)\cdot \mathbf {x} _{j}]\\&=f[w_{0}(t)x_{j,0}+w_{1}(t)x_{j,1}+w_{2}(t)x_{j,2}+\dotsb +w_{n}(t)x_{j,n}]\end{aligned}}$

   2. Обновите веса:
      $w_{i}(t+1)=w_{i}(t)\;{\boldsymbol {+}}\;r\cdot (d_{j}-y_{j}(t))x_{j,i}$, для всех функций $0\leq i\leq n$, $r$ это скорость обучения .
3. Для автономного обучения второй шаг может повторяться до тех пор, пока не будет обнаружена ошибка итерации. ${\frac {1}{s}}\sum _{j=1}^{s}|d_{j}-y_{j}(t)|$ меньше заданного пользователем порога ошибки $\gamma$, или было завершено заранее определенное количество итераций, где s — это снова размер набора выборок.

Алгоритм обновляет веса после каждой обучающей выборки на шаге 2b.

Сходимость одного перцептрона на линейно

Иллюстрация конвергенции перцептрона. На картинке $\gamma =0.01,R=1,r=1$. Все точки данных имеют $y=+1$, поскольку отрицательные образцы эквивалентны $y=+1$ после отражения через начало координат. По мере обучения вектор весов совершает несколько случайное блуждание в пространстве весов. Каждый шаг отклоняется как минимум на 90 градусов от текущего направления, что увеличивает его норма-квадрат не более чем на 90 градусов. $R$. Каждый шаг добавляет $w$ по точке в выборках, и поскольку все выборки имеют $x_{1}\geq 0.01$, весовой вектор должен двигаться вдоль $x_{1}$ по крайней мере $0.01$. Поскольку норма растет как ${\sqrt {t}}$ но $x_{1}$-компонент растет как $t$, это в конечном итоге приведет к тому, что весовой вектор почти полностью укажет на $x_{1}$ направлении и, таким образом, достичь конвергенции.

Одиночный персептрон представляет собой линейный классификатор . Он может достичь стабильного состояния только в том случае, если все входные векторы правильно классифицированы. В случае, если обучающий набор D является не линейно разделимым , т. е. если положительные примеры не могут быть отделены от отрицательных примеров гиперплоскостью, то алгоритм не будет сходиться, поскольку решения нет. Следовательно, если линейная отделимость обучающего набора априори неизвестна, следует использовать один из приведенных ниже вариантов обучения. Подробный анализ и расширения теоремы о сходимости приведены в главе 11 книги «Персептроны» (1969).

Линейную разделимость можно проверить во времени. $\min(O(n^{d/2}),O(d^{2n}),O(n^{d-1}\ln n))$, где $n$ количество точек данных, и $d$ - размерность каждой точки.

Если обучающее множество линейно разделимо , то персептрон гарантированно сходится после совершения конечного числа ошибок. Теорема доказана Розенблаттом и др.

Теорема о сходимости перцептрона — Учитывая набор данных ${\textstyle D}$, такой, что ${\textstyle \max _{(x,y)\in D}\|x\|_{2}=R}$, и он линейно разделим некоторым единичным вектором ${\textstyle w^{*}}$, с запасом ${\textstyle \gamma }$:

$$\gamma :=\min _{(x,y)\in D}y(w^{*}\cdot x)$$

Тогда алгоритм обучения персептрона 0-1 сходится, сделав не более ${\textstyle (R/\gamma )^{2}}$ ошибок при любой скорости обучения и любом методе выборки из набора данных.

Следующее простое доказательство принадлежит Новикову (1962). Идея доказательства состоит в том, что весовой вектор всегда корректируется на ограниченную величину в направлении, с которым он имеет отрицательное произведение , и, таким образом, может быть ограничен сверху величиной O ( √t ) скалярное , где t — количество изменений в вектор веса. Однако его также можно ограничить снизу величиной O ( t ), поскольку если существует (неизвестный) удовлетворительный весовой вектор, то каждое изменение продвигается в этом (неизвестном) направлении на положительную величину, которая зависит только от входного вектора.

Доказательство

Предположим, на шаге ${\textstyle t}$, перцептрон с весом ${\textstyle w_{t}}$ делает ошибку в точке данных ${\textstyle (x,y)}$, затем он обновляется до ${\textstyle w_{t+1}=w_{t}+r(y-f_{w_{t}}(x))x}$.

Если ${\textstyle y=0}$, аргумент симметричен, поэтому мы его опускаем.

блог , ${\textstyle y=1}$, затем ${\textstyle f_{w_{t}}(x)=0}$, ${\textstyle f_{w^{*}}(x)=1}$, и ${\textstyle w_{t+1}=w_{t}+rx}$.

По предположению имеем разделение с полями:

$$w^{*}\cdot x\geq \gamma$$

Таким образом,

$$w^{*}\cdot w_{t+1}-w^{*}\cdot w_{t}=w^{*}\cdot (rx)\geq r\gamma$$

Также

$$\|w_{t+1}\|_{2}^{2}-\|w_{t}\|_{2}^{2}=\|w_{t}+rx\|_{2}^{2}-\|w_{t}\|_{2}^{2}=2r(w_{t}\cdot x)+r^{2}\|x\|_{2}^{2}$$

и поскольку перцептрон допустил ошибку, ${\textstyle w_{t}\cdot x\leq 0}$, и так

$$\|w_{t+1}\|_{2}^{2}-\|w_{t}\|_{2}^{2}\leq \|x\|_{2}^{2}\leq r^{2}R^{2}$$

Поскольку мы начали с ${\textstyle w_{0}=0}$, после создания ${\textstyle N}$ ошибки,

$$\|w\|_{2}\leq {\sqrt {Nr^{2}R^{2}}}$$

но и

$$\|w\|_{2}\geq w\cdot w^{*}\geq Nr\gamma$$

Объединив их, мы имеем ${\textstyle N\leq (R/\gamma )^{2}}$

Два класса точек и две из бесконечного множества линейных границ, разделяющих их. Несмотря на то, что границы расположены почти под прямым углом друг к другу, алгоритм перцептрона не имеет возможности выбирать между ними.

Хотя алгоритм перцептрона гарантированно сходится к некоторому решению в случае линейно разделимого обучающего набора, он все равно может выбрать любое решение, и проблемы могут допускать множество решений различного качества. and Mezard , 1987 Для решения этой проблемы был разработан персептрон оптимальной устойчивости, ныне более известный как линейная машина опорных векторов (Krauth ) .

использовании перцептрона

Когда набор данных не является линейно разделимым, единый перцептрон не может сойтись. Однако у нас еще есть

Теорема о цикле перцептрона . Если набор данных $D$ имеет лишь конечное число точек, то существует верхнее граничное число $M$, такой, что для любого стартового весового вектора $w_{0}$ весь вектор веса $w_{t}$ имеет норму, ограниченную $\|w_{t}\|\leq \|w_{0}\|+M$

Первым это доказал Брэдли Эфрон .

Изучение логической функции

Рассмотрим набор данных, в котором $x$ из $\{-1,+1\}^{n}$, то есть вершины n-мерного гиперкуба с центром в начале координат, и $y=\theta (x_{i})$. То есть все точки данных с положительным $x_{i}$ иметь $y=1$, и наоборот. По теореме о сходимости перцептрона перцептрон сходится после того, как сделает не более $n$ ошибки.

Если бы мы написали логическую программу для выполнения одной и той же задачи, каждый положительный пример показал бы, что одна из координат является правильной, а каждый отрицательный пример показал бы, что ее дополнение является положительным примером. Собрав все известные положительные примеры, мы в конечном итоге исключаем все координаты, кроме одной, после чего набор данных изучается.

Эта граница асимптотически точна в наихудшем случае. В худшем случае первый представленный пример является совершенно новым и дает $n$ бит информации, но каждый последующий пример будет минимально отличаться от предыдущих примеров и дает по 1 биту каждый. После $n+1$ примеры, есть $2n$ бит информации, которого достаточно для перцептрона (с $2n$ кусочки информации).

Однако с точки зрения ожиданий это не является жестким, если примеры представлены равномерно и случайным образом, поскольку первый дал бы $n$ бит, второй $n/2$ биты и так далее, принимая $O(\ln n)$ примеры всего.

Варианты

Карманный алгоритм с храповым механизмом (Gallant, 1990) решает проблему стабильности обучения перцептрона, сохраняя лучшее из виденных до сих пор решений «в кармане». Затем карманный алгоритм возвращает решение в кармане, а не последнее решение. Его также можно использовать для неразделимых наборов данных, где цель состоит в том, чтобы найти персептрон с небольшим количеством ошибочных классификаций. Однако эти решения появляются чисто стохастически, и, следовательно, карманный алгоритм не приближается к ним постепенно в ходе обучения и не гарантирует их появление в течение заданного количества шагов обучения.

Алгоритм Максовера (Вендемут, 1995) является «надежным» в том смысле, что он сходится независимо от (предварительного) знания о линейной разделимости набора данных. В линейно-разделимом случае это решит задачу обучения – при желании даже с оптимальной стабильностью ( максимальным запасом между классами). Для неразделимых наборов данных он вернет решение с небольшим количеством ошибок классификации. Во всех случаях алгоритм в процессе обучения постепенно приближается к решению, без запоминания предыдущих состояний и без стохастических скачков. Сходимость заключается в глобальной оптимальности для разделимых наборов данных и в локальной оптимальности для неразделимых наборов данных.

Голосуемый перцептрон (Freund and Schapire, 1999) представляет собой вариант, использующий несколько взвешенных перцептронов. Алгоритм запускает новый перцептрон каждый раз, когда пример неправильно классифицирован, инициализируя вектор весов окончательными весами последнего перцептрона. Каждому перцептрону также будет присвоен другой вес, соответствующий тому, сколько примеров он правильно классифицирует, прежде чем ошибочно классифицирует один, и в конце результатом будет взвешенное голосование по всем перцептронам.

В разделимых задачах обучение персептрона также может быть направлено на поиск наибольшего разделительного разрыва между классами. Так называемый перцептрон оптимальной устойчивости можно определить с помощью итеративных схем обучения и оптимизации, таких как алгоритм Min-Over (Krauth and Mezard, 1987). или AdaTron (Анлауф и Биль, 1989)). AdaTron использует тот факт, что соответствующая задача квадратичной оптимизации является выпуклой. Персептрон оптимальной устойчивости вместе с трюком ядра являются концептуальными основами машины опорных векторов .

The $\alpha$-перцептрон далее использовал уровень предварительной обработки фиксированных случайных весов с пороговыми единицами вывода. Это позволило перцептрону классифицировать аналоговые закономерности, проецируя их в двоичное пространство . Фактически, для проекционного пространства достаточно высокой размерности шаблоны могут стать линейно разделимыми.

Другой способ решения нелинейных задач без использования нескольких слоев — использовать сети более высокого порядка (модуль сигма-пи). В сети этого типа каждый элемент входного вектора расширяется с каждой попарной комбинацией умноженных входов (второй порядок). Это можно распространить на сеть n -порядка.

Однако следует иметь в виду, что лучший классификатор – это не обязательно тот, который идеально классифицирует все обучающие данные. Действительно, если бы у нас было предварительное ограничение, согласно которому данные поступают из эквивариантных гауссовых распределений, линейное разделение во входном пространстве является оптимальным, а нелинейное решение переоснащается .

Другие алгоритмы линейной классификации включают Winnow , машину опорных векторов и логистическую регрессию .

Мультиклассовый перцептрон

Как и большинство других методов обучения линейных классификаторов, перцептрон естественным образом обобщается на многоклассовую классификацию . Здесь вход $x$ и вывод $y$ взяты из произвольных наборов. Функция представления объектов $f(x,y)$ сопоставляет каждую возможную пару ввода/вывода с конечномерным вектором признаков с действительным знаком. Как и раньше, вектор признаков умножается на вектор весов. $w$, но теперь полученная оценка используется для выбора среди множества возможных выходов:

${\hat {y}}=\operatorname {argmax} _{y}f(x,y)\cdot w.$

При повторном обучении повторяются примеры, прогнозируя результат для каждого, оставляя веса неизменными, когда прогнозируемый результат соответствует целевому, и изменяя их, когда это не так. Обновление становится:

$w_{t+1}=w_{t}+f(x,y)-f(x,{\hat {y}}).$

Эта формулировка многоклассовой обратной связи сводится к исходному перцептрону, когда $x$ вектор с действительным знаком, $y$ выбирается из $\{0,1\}$, и $f(x,y)=yx$.

Для определенных задач представления и функции ввода/вывода могут быть выбраны так, чтобы $\mathrm {argmax} _{y}f(x,y)\cdot w$ можно найти эффективно, хотя $y$ выбирается из очень большого или даже бесконечного множества.

С 2002 года обучение персептроном стало популярным в области обработки естественного языка для таких задач, как разметка частей речи и синтаксический анализ (Коллинз, 2002). Он также применялся для решения крупномасштабных задач машинного обучения в условиях распределенных вычислений .

Дальнейшее чтение

• Айзерман, М.А., Браверман, Э.М. и Лев И. Розоноер. Теоретические основы метода потенциальных функций в обучении распознаванию образов. Автоматизация и дистанционное управление, 25:821–837, 1964.
• Розенблатт, Фрэнк (1958), Персептрон: вероятностная модель хранения и организации информации в мозге, Корнеллская авиационная лаборатория, Psychoological Review, v65, № 6, стр. 386–408. дои : 10.1037/h0042519 .
• Розенблатт, Франк (1962), Принципы нейродинамики. Вашингтон, округ Колумбия: Спартанские книги.
• Мински М.Л. и Паперт С.А. 1969. Перцептроны . Кембридж, Массачусетс: MIT Press.
• Галлант, С.И. (1990). Алгоритмы обучения на основе перцептрона. Транзакции IEEE в нейронных сетях, том. 1, нет. 2, стр. 179–191.
• Олазаран Родригес, Хосе Мигель. Историческая социология исследований нейронных сетей . Кандидатская диссертация. Эдинбургский университет, 1991.
• Мори, Мехриар и Ростамизаде, Афшин (2013). Границы ошибок перцептрона arXiv:1305.0208, 2013.
• Новиков, AB (1962). О доказательствах сходимости на перцептронах. Симпозиум по математической теории автоматов, 12, 615–622. Политехнический институт Бруклина.
• Уидроу, Б. , Лер, Массачусетс, « 30 лет адаптивных нейронных сетей: персептрон, Мадалин и обратное распространение ошибки », Proc. IEEE , том 78, № 9, стр. 1415–1442, (1990).
• Коллинз, М. 2002. Дискриминационные методы обучения для скрытых марковских моделей: теория и эксперименты с алгоритмом перцептрона в материалах конференции по эмпирическим методам обработки естественного языка (EMNLP '02).
• Инь, Хунфэн (1996), Алгоритмы и анализ на основе персептрона, Библиотека спектра, Университет Конкордия, Канада

Внешние ссылки

• Персептрон, реализованный в MATLAB для изучения двоичной функции NAND.
• Глава 3 «Взвешенные сети — перцептрон» и глава 4 «Перцептронное обучение нейронных сетей — систематическое введение» Рауля Рохаса ( ISBN   978-3-540-60505-8 )
• История перцептронов
• Математика многослойных перцептронов
• Применение модели перцептрона с помощью scikit-learn — https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.Perceptron.html