АДАЛИН

Обучение внутри одного слоя ADALINE

Фотография тренажера ADALINE с гирями, регулируемыми вручную.

Схема одного блока ADALINE с рисунка 2 (Widrow, 1960).

ADALINE ( Adaptive Linear Neuron или более поздний Adaptive Linear Element ) — ранняя однослойная искусственная нейронная сеть и название физического устройства, реализовавшего эту сеть. В сети используются мемисторы. Он был разработан профессором Бернардом Уидроу и его докторантом Тедом Хоффом в Стэнфордском университете в 1960 году. Он основан на перцептроне . Он состоит из веса, смещения и функции суммирования.

Разница между Адалиной и стандартным перцептроном (Маккаллоха-Питтса) заключается в том, как они учатся. Веса единиц Adaline корректируются в соответствии с сигналом учителя перед применением функции Хевисайда (см. рисунок), но веса стандартных единиц перцептрона корректируются так, чтобы соответствовать правильному выходному сигналу, после применения функции Хевисайда.

Многоуровневая — сеть модулей ADALINE это MADALINE .

Определение

Adaline — это однослойная нейронная сеть с несколькими узлами, где каждый узел принимает несколько входных данных и генерирует один выходной. Учитывая следующие переменные:

• $x$ входной вектор
• $w$ весовой вектор
• $n$ это количество входов
• $\theta$ это некоторая константа
• $y$ это результат модели

то мы обнаруживаем, что результат $y=\sum _{j=1}^{n}x_{j}w_{j}+\theta$. Если мы далее предположим, что

• $x_{0}=1$
• $w_{0}=\theta$

тогда результат дополнительно уменьшается до: $y=\sum _{j=0}^{n}x_{j}w_{j}$

Правило обучения

Правилом обучения , используемым ADALINE, является алгоритм LMS («наименьшие средние квадраты»), частный случай градиентного спуска.

Определите следующие обозначения:

• $\eta$ - скорость обучения (некоторая положительная константа)
• $y$ это результат модели
• $o$ целевой (желаемый) результат
• $E=(o-y)^{2}$ – квадрат ошибки.

Алгоритм LMS обновляет веса по $$w\leftarrow w+\eta (o-y)x.$$

Это правило обновления сводит к минимуму $E$, квадрат ошибки, и на самом деле является обновлением стохастического градиентного спуска для линейной регрессии .

МАДАЛИН

МАДАЛИН (Много АДАЛИН ) представляет собой трехуровневую (входной, скрытый, выходной), полностью связанную искусственной нейронной сети архитектуру с прямой связью для классификации , которая использует блоки ADALINE в своих скрытых и выходных слоях, т. е. ее функция активации — это знаковая функция . Трехслойная сеть использует мемисторы . Были предложены три различных алгоритма обучения для сетей MADALINE, которые невозможно обучить с помощью обратного распространения ошибки , поскольку знаковая функция не дифференцируема, и названы Правилом I, Правилом II и Правилом III.

Несмотря на множество попыток, им никогда не удавалось тренировать более одного слоя отягощений в MADALINE. Так было до тех пор, пока Уидроу не увидел алгоритм обратного распространения ошибки на конференции 1982 года.

MADALINE Правило 1 (МРТ). Первое из них датируется 1962 годом. Он состоит из двух слоев. Первый слой выполнен из блоков ADALINE. Пусть выход i-го блока ADALINE будет $o_{i}$. Второй слой состоит из двух единиц. Одна из них представляет собой мажоритарную единицу: она принимает все $o_{i}$, и если положительных значений больше, чем отрицательных, то единица выдает +1, и наоборот. Другой - «назначитель работы». Предположим, что желаемый результат отличается от результата, полученного большинством голосов, скажем, желаемый результат равен -1, тогда ответственный за задание вычисляет минимальное количество модулей ADALINE, которые должны изменить свои выходные данные с положительного на отрицательный, а затем выбирает те блоки ADALINE, которые находятся ближе всего к на отрицательные значения и заставить их обновить свои веса в соответствии с правилом обучения ADALINE. Это рассматривалось как форма «принципа минимального возмущения».

Самая большая машина MADALINE имела 1000 гирь, каждая из которых была реализована мемистором.

Правило 2 MADALINE (MRII). Второй алгоритм обучения усовершенствовал Правило I и был описан в 1988 году. Алгоритм обучения Правилу II основан на принципе, называемом «минимальное вмешательство». Он продолжается путем перебора обучающих примеров, а затем для каждого примера:

• находит блок скрытого слоя (классификатор ADALINE) с наименьшей достоверностью его прогноза,
• предварительно переворачивает знак единицы,
• принимает или отклоняет изменение в зависимости от того, уменьшилась ли ошибка сети,
• останавливается, когда ошибка равна нулю.

Правило MADALINE 3. Третье «Правило» применяется к модифицированной сети с активациями сигмовидной мышцы вместо сигнума; Позже было обнаружено, что это эквивалентно обратному распространению ошибки.

Кроме того, если переворачивание знаков отдельных единиц не приводит к нулю ошибки для конкретного примера, алгоритм обучения начинает переворачивать пары знаков единиц, затем тройки единиц и т. д.

См. также

• Многослойный персептрон

Внешние ссылки

• «Правило дельта-обучения: АДАЛИН» . Искусственные нейронные сети . Политехнический университет Мадрида. Архивировано из оригинала 15 июня 2002 г.
• « Многослойные нейронные сети на основе мемристоров с онлайн-обучением градиентного спуска ». Реализация алгоритма ADALINE с мемристорами в аналоговых вычислениях.