Контроллер артикуляции модели мозжечка
( Арифметический компьютер модели мозжечка CMAC ) представляет собой тип нейронной сети, основанной на модели мозжечка млекопитающих . Он также известен как контроллер артикуляции модели мозжечка. Это разновидность ассоциативной памяти . [2]
CMAC был впервые предложен Джеймсом Альбусом в 1975 году в качестве средства моделирования функций для контроллеров роботов. [1] (отсюда и название), но широко использовался в обучении с подкреплением , а также для автоматической классификации в сообществе машинного обучения . CMAC является расширением модели перцептрона . Он вычисляет функцию для входные размеры. Пространство ввода разделено на гиперпрямоугольники, каждый из которых связан с ячейкой памяти. Содержимое ячеек памяти — это веса, которые корректируются во время обучения. Обычно используется более одного квантования входного пространства, так что любая точка входного пространства связана с несколькими гиперпрямоугольниками и, следовательно, с несколькими ячейками памяти. Выходные данные CMAC представляют собой алгебраическую сумму весов во всех ячейках памяти, активированных входной точкой.
Изменение значения входной точки приводит к изменению набора активированных гиперпрямоугольников и, следовательно, к изменению набора ячеек памяти, участвующих в выходе CMAC. Таким образом, выходные данные CMAC сохраняются распределенным образом, так что выходные данные, соответствующие любой точке входного пространства, получаются из значения, хранящегося в нескольких ячейках памяти (отсюда и название ассоциативной памяти). Это обеспечивает обобщение.
Строительные блоки
[ редактировать ]
На соседнем изображении есть два входа в CMAC, представленные в виде 2D-пространства. Для разделения этого пространства двумя перекрывающимися сетками (одна показана более жирными линиями) использовались две функции квантования. Один вход показан ближе к середине, и это активирует две ячейки памяти, соответствующие заштрихованной области. Если рядом с показанной окажется другая точка, она будет использовать некоторые из тех же ячеек памяти, что обеспечит обобщение.
CMAC обучается путем представления пар входных точек и выходных значений и корректировки весов в активированных ячейках на долю ошибки, наблюдаемой на выходе. Этот простой алгоритм обучения имеет доказательство сходимости. [3]
Добавление функции ядра к гиперпрямоугольнику является нормальным явлением, так что точки, падающие к краю гиперпрямоугольника, активируются меньше, чем точки, падающие ближе к центру. [4]
Одной из основных проблем, возникающих при практическом использовании CMAC, является требуемый объем памяти, который напрямую связан с количеством используемых ячеек. Обычно эту проблему можно решить, используя хеш-функцию и предоставляя хранилище памяти только для реальных ячеек, которые активируются входными данными.
Одношаговый конвергентный алгоритм
[ редактировать ]Первоначально для обновления весов CMAC используется метод наименьших среднеквадратических значений (LMS). Конвергенция использования LMS для обучения CMAC чувствительна к скорости обучения и может привести к расхождению. В 2004 году [5] для онлайн-обучения CMAC был введен рекурсивный алгоритм наименьших квадратов (RLS). Нет необходимости настраивать скорость обучения. Его сходимость доказана теоретически и может быть гарантированно сходится за один шаг. Вычислительная сложность этого алгоритма RLS составляет O(N3).
Инфраструктура аппаратной реализации
[ редактировать ]На основе QR-разложения алгоритм (QRLS) был дополнительно упрощен и теперь имеет сложность O (N). Следовательно, это значительно снижает использование памяти и затраты времени. Была представлена структура параллельного конвейерного массива для реализации этого алгоритма. [6]
В целом, используя алгоритм QRLS, можно гарантировать сходимость нейронной сети CMAC, а веса узлов можно обновлять за один этап обучения. Его структура параллельного конвейерного массива предлагает большой потенциал для реализации в аппаратном обеспечении для крупномасштабного промышленного использования.
Непрерывный CMAC
[ редактировать ]Поскольку прямоугольная форма функций рецептивного поля CMAC обеспечивает прерывистую аппроксимацию лестничной функции, путем интеграции CMAC с функциями B-сплайнов непрерывный CMAC предлагает возможность получения производных любого порядка аппроксимированных функций.
Глубокий CMAC
[ редактировать ]В последние годы многочисленные исследования подтвердили, что объединение нескольких неглубоких структур в одну глубокую структуру позволяет всей системе обеспечить лучшее представление данных и, таким образом, более эффективно решать нелинейные и сложные задачи. В 2018 году [7] была предложена структура глубокого CMAC (DCMAC) и разработан алгоритм обратного распространения ошибки для оценки параметров DCMAC. Экспериментальные результаты задачи адаптивного шумоподавления показали, что предлагаемый DCMAC может обеспечить лучшую производительность шумоподавления по сравнению с обычным однослойным CMAC.
Краткое содержание
[ редактировать ]| Масштабируемость | Просто распространить на миллионы нейронов или дальше. |
| Конвергенция | Обучение всегда может сводиться в один этап |
| Производные функции | Легко получить, используя интерполяцию B-сплайнами. |
| Аппаратная структура | Параллельная структура трубопровода |
| Использование памяти | Линейный по количеству нейронов |
| Вычислительная сложность | НА) |
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Перейти обратно: а б Дж. С. Альбус (1975). «Новый подход к управлению манипулятором: контроллер артикуляции модели мозжечка (CMAC)». В: Пер. ASME, Серия G. Журнал динамических систем, измерений и управления , Vol. 97, стр. 220–233, 1975.
- ^ Дж. С. Альбус (1979). « Механизмы планирования и решения проблем в мозгу ». В: Математические биологические науки . Том. 45, стр. 247–293, 1979.
- ^ Ю. Вонг, Обучение CMAC управляется одним параметром, Международная конференция IEEE по нейронным сетям, Сан-Франциско, Vol. 1, стр. 1439–43, 1993.
- ^ PCE An, WT Miller и PC Parks, Улучшения конструкции ассоциативной памяти для контроллеров артикуляции модели мозжечка, Proc. ICANN, стр. 1207–10, 1991 г.
- ^ Тин Цинь и др. «Алгоритм обучения CMAC на основе RLS». Письма о нейронной обработке 19.1 (2004): 49-61.
- ^ Перейти обратно: а б Тин Цинь и др. «Непрерывный CMAC-QRLS и его систолический массив». Письма о нейронной обработке 22.1 (2005): 1–16.
- ^ * Ю Цао и др. «Адаптивное шумоподавление с использованием контроллера артикуляции глубокой модели мозжечка». IEEE Доступ Том. 6, стр. 37395 - 37402, 2018.
Дальнейшее чтение
[ редактировать ]- Альбус, Дж. С. (1971). « Теория функции мозжечка ». В: Математические биологические науки , том 10, номера 1/2, февраль 1971 г., стр. 25–61
- Альбус, Дж. С. (1975). « Новый подход к управлению манипулятором: контроллер артикуляции модели мозжечка (CMAC) ». В: Труды журнала ASME по динамическим системам, измерениям и управлению , сентябрь 1975 г., стр. 220 – 227
- Альбус, Дж. С. (1979). « Механизмы планирования и решения проблем в мозгу ». В: Mathematical Biosciences 45, стр. 247–293, 1979.
- Иван Л. и Стенгель Р. « Применение нейронных сетей в топливных процессорах для топливных элементов » в IEEE Transactions on Vehicle Technology , Vol. 50 (1), стр. 125–143, 2001.
- Цао, Ю. (2018). « Адаптивное шумоподавление с использованием контроллера артикуляции глубокой модели мозжечка ». В: IEEE Access, 6, апрель 2018 г., стр. 37395-37402.
Внешние ссылки
[ редактировать ]- контроллере артикуляции модели мозжечка (CMAC) Блог Тин Цинь о . Подробнее об одношаговом конвергентном алгоритме, разработке кода и т. д.