Рабочая память префронтальной коры базальных ганглиев

Рабочая память базальных ганглиев префронтальной коры ( PBWM ) — это алгоритм , который моделирует рабочую память в префронтальной коре и базальных ганглиях . ^[1]

По функциональности ее можно сравнить с долговременной кратковременной памятью (LSTM), но она более объяснима биологически. ^[1]^[2]

Он использует модель усвоенных ценностей первичной ценности для обучения системы обновления рабочей памяти префронтальной коры, основанной на биологии префронтальной коры и базальных ганглиев. ^[3]

Он используется как часть платформы Leabra и был реализован в Emergent в 2019 году.

Абстрактный

Долгое время считалось, что префронтальная кора выполняет как рабочую память (хранение информации в режиме онлайн для обработки), так и «исполнительные» функции (решение, как манипулировать рабочей памятью и выполнять обработку). множество вычислительных моделей рабочей памяти Хотя было разработано , механистическая основа исполнительной функции остается неуловимой.

PBWM — это вычислительная модель префронтальной коры головного мозга, позволяющая управлять ею и другими областями мозга стратегическим и соответствующим задаче образом. Эти механизмы обучения основаны на подкорковых структурах среднего мозга, базальных ганглиях и миндалевидном теле, которые вместе образуют архитектуру актер/критик. Система критика узнает, какие префронтальные представления актуальны для задачи, и обучает актера, что, в свою очередь, обеспечивает механизм динамического пропуска для управления обновлением рабочей памяти. В вычислительном отношении механизм обучения предназначен для одновременного решения временных и структурных проблем присвоения кредитов.

Производительность модели выгодно отличается от стандартных обратного распространения ошибки механизмов временного обучения на основе при выполнении сложной задачи рабочей памяти 1-2-AX и других эталонных задач рабочей памяти. ^[1]^{[ нужен сторонний источник ]}

Модель

имеется множество отдельных полос Во-первых, в слоях префронтальной коры и полосатого тела (групп единиц) . Каждая полоса может обновляться независимо, так что эта система может запоминать несколько разных вещей одновременно, каждая из которых имеет разную «политику обновления», когда память обновляется и поддерживается. Активное поддержание памяти осуществляется в префронтальной коре (ПФК), а сигналы обновления (и политика обновления в более общем смысле) исходят от блоков полосатого тела (подгруппы блоков базальных ганглиев ). ^[3]

PVLV обеспечивает сигналы обучения с подкреплением для тренировки системы динамических ворот в базальных ганглиях.

Сенсорный вход и моторный выход

Сенсорный вход связан с задней корой , которая связана с моторным выходом. Сенсорный вход также связан с системой PVLV .

Задняя кора

Задняя кора формирует скрытые слои отображения ввода/вывода. PFC связана с задней частью коры головного мозга, чтобы контекстуализировать это отображение ввода/вывода.

ПФК

PFC (для выходного стробирования) имеет локальное однозначное представление входных блоков для каждой полосы. Таким образом, вы можете посмотреть на эти представления PFC и непосредственно увидеть, что поддерживает сеть. PFC поддерживает рабочую память, необходимую для выполнения задачи.

полосатое тело

Это динамическая система ворот, представляющая полосатое тело базальных ганглиев . Каждая единица с четным индексом в полосе представляет собой «Go», а единица с нечетным индексом представляет «NoGo». Модули Go вызывают обновление PFC, а блоки NoGo заставляют PFC сохранять существующее представление в памяти.

Для каждой полосы есть группы юнитов.

В модели PBWM в Emergent матрицы представляют полосатое тело.

ПВЛВ

Все эти слои являются частью системы PVLV . Система PVLV контролирует дофаминергическую модуляцию базальных ганглиев (БГ). Таким образом, BG/PVLV образуют архитектуру «актёр-критик», в которой система PVLV учится, когда следует обновляться. ^{[ нужна ссылка ]}

СНрТал

SNrThal представляет собой черной субстанции сетчатую часть (SNr) и связанную с ней область таламуса , которые вызывают конкуренцию между единицами Go/NoGo в пределах данной полосы и опосредуют конкуренцию с использованием динамики «k-победители получают все» . Если в данном страйпе наблюдается большая общая активность Go, то активируется соответствующий модуль SNrThal и он запускает обновление в PFC. На каждую полосу приходится одна единица в SNrThal. ^{[ нужна ссылка ]}

ВТА и SNc

Вентральная покрышка (VTA) и компактная часть черной субстанции (SNc) являются частью дофаминового слоя. Этот слой моделирует дофаминовые нейроны среднего мозга. Они контролируют дофаминергическую модуляцию базальных ганглиев. ^{[ нужна ссылка ]}

См. также

Ссылки

^ Jump up to: ^а ^б ^с О'Рейли, Р.К. и Фрэнк, М.Дж. (2006). «Заставить рабочую память работать: вычислительная модель обучения в лобной коре и базальных ганглиях» . Нейронные вычисления . 18 (2): 283–328. дои : 10.1162/089976606775093909 . ПМИД 16378516 . S2CID 8912485 .
^ Дживанандам, Ниваш (13 сентября 2021 г.). «Недооцененные, но увлекательные концепции машинного обучения №5 — CST, PBWM, SARSA и картографирование Sammon» . Журнал Analytics India . Проверено 4 декабря 2021 г.
^ Jump up to: ^а ^б «Леабра ПБВМ» . CCNLab.

[paper-1] Jump up to: ^а ^б ^с О'Рейли, Р.К. и Фрэнк, М.Дж. (2006). «Заставить рабочую память работать: вычислительная модель обучения в лобной коре и базальных ганглиях» . Нейронные вычисления . 18 (2): 283–328. дои : 10.1162/089976606775093909 . ПМИД 16378516 . S2CID 8912485 .

[aim-2] Дживанандам, Ниваш (13 сентября 2021 г.). «Недооцененные, но увлекательные концепции машинного обучения №5 — CST, PBWM, SARSA и картографирование Sammon» . Журнал Analytics India . Проверено 4 декабря 2021 г.

[emergent-3] Jump up to: ^а ^б «Леабра ПБВМ» . CCNLab.

[1]

[2]

[3]