АЛОПЕКС

ALOPEX (аббревиатура от «алгоритмы извлечения шаблонов») — это алгоритм машинного обучения, основанный на корреляции , впервые предложенный Цанаку и Хартом в 1974 году.

Принцип

В машинном обучении цель состоит в том, чтобы научить систему минимизировать функцию стоимости или (имеется в виду ALOPEX) функцию отклика. Многим алгоритмам обучения, таким как обратное распространение ошибки , свойственна склонность «застревать» в локальных минимумах или максимумах функции отклика. ALOPEX использует взаимную корреляцию различий и стохастический процесс, чтобы преодолеть это в попытке достичь абсолютного минимума (или максимума) функции отклика.

Метод

ALOPEX в своей простейшей форме определяется уравнением обновления:

$\Delta \ W_{ij}(n)=\gamma \ \Delta \ W_{ij}(n-1)\Delta \ R(n)+r_{i}(n)$

где:

• $n\geq 0$ это итерация или временной шаг.
• $\Delta \ W_{ij}(n)$ это разница между текущим и предыдущим значением системной переменной $\ W_{ij}$ на итерации $n$.
• $\Delta \ R(n)$ это разница между текущим и предыдущим значением функции отклика $\ R,$ на итерации $n$.
• $\gamma$ параметр скорости обучения $(\gamma \ <0$ сводит к минимуму $R,$ и $\gamma \ >0$ максимизирует $R\ )$
• $r_{i}(n)\sim \ N(0,\sigma \ ^{2})$

Обсуждение

По сути, ALOPEX изменяет каждую системную переменную. $W_{ij}(n)$ на основе произведения: предыдущего изменения переменной $\Delta$$W_{ij}(n-1)$, результирующее изменение функции стоимости $\Delta$$R(n)$и параметр скорости обучения $\gamma$. Далее, чтобы найти абсолютный минимум (или максимум), используется стохастический процесс $r_{ij}(n)$ (Гауссово или другое) добавляется для стохастического «выталкивания» алгоритма из любых локальных минимумов.

Ссылки

• Харт Э. и Цанаку Э. (1974) Алопекс: стохастический метод определения зрительных рецептивных полей. Vision Research, 14 :1475-1482. Аннотация от ScienceDirect