Структура прогнозирования памяти

Система прогнозирования памяти — это теория функций мозга , созданная Джеффом Хокинсом и описанная в его книге «Об интеллекте» 2004 года . Эта теория касается роли неокортекса млекопитающих и его связей с гиппокампом и таламусом в сопоставлении сенсорных сигналов с сохраненными моделями памяти , а также того, как этот процесс приводит к предсказаниям того, что произойдет в будущем.

Обзор

Теория мотивирована наблюдаемым сходством между структурами мозга (особенно неокортикальной тканью), которые используются для широкого спектра поведенческих реакций, доступных млекопитающим. Теория утверждает, что удивительно однородное физическое расположение кортикальной ткани отражает единый принцип или алгоритм, который лежит в основе всей корковой обработки информации. Предполагается, что основным принципом обработки данных является цикл обратной связи/воспоминания , который включает как корковое , так и экстракортикальное участие (последнее, со стороны таламуса и гиппокампа в частности, ).

Основная теория: распознавание и прогнозирование в двунаправленных иерархиях

Центральная концепция системы прогнозирования памяти заключается в том, что восходящие входные данные сопоставляются в иерархии распознавания . и вызывают серию нисходящих ожиданий, закодированных как потенциации Эти ожидания взаимодействуют с восходящими сигналами как для анализа этих входных данных, так и для создания прогнозов последующих ожидаемых входных данных. Каждый уровень иерархии запоминает часто наблюдаемые временные последовательности входных шаблонов и генерирует метки или «имена» для этих последовательностей. Когда входная последовательность соответствует запомненной последовательности на данном уровне иерархии, метка или «имя» распространяется вверх по иерархии, тем самым устраняя детали на более высоких уровнях и позволяя им изучать последовательности более высокого порядка. Этот процесс обеспечивает повышенную инвариантность на более высоких уровнях. Более высокие уровни прогнозируют будущие входные данные, сопоставляя частичные последовательности и проецируя свои ожидания на более низкие уровни. Однако когда происходит несоответствие между входными и запомненными/прогнозированными последовательностями, более полное представление распространяется вверх. Это приводит к активации альтернативных «интерпретаций» на более высоких уровнях, что, в свою очередь, генерирует другие прогнозы на более низких уровнях.

Рассмотрим, например, процесс зрения . низкого уровня Информация «снизу вверх» начинается с сигналов сетчатки (указывающих на наличие простых визуальных элементов и контрастов). На более высоких уровнях иерархии извлекается все более значимая информация, касающаяся наличия линий , областей , движений и т. д. Еще выше по иерархии активность соответствует присутствию конкретных объектов, а затем поведению этих объектов. Информация сверху вниз содержит подробную информацию о распознанных объектах, а также об их ожидаемом поведении с течением времени.

Сенсорная иерархия порождает ряд различий между различными уровнями. По мере продвижения вверх по иерархии количество представлений увеличивается:

Протяженность — например, более крупные области поля зрения или более обширные тактильные области.
Временная стабильность – сущности более низкого уровня быстро меняются, тогда как восприятия более высокого уровня имеют тенденцию быть более стабильными.
Абстракция – в процессе последовательного извлечения инвариантных признаков распознаются все более абстрактные сущности.

Взаимосвязь между сенсорной и моторной обработкой является важным аспектом базовой теории. Предполагается, что моторные области коры имеют поведенческую иерархию, аналогичную сенсорной иерархии, причем нижние уровни состоят из явных двигательных команд мускулатуре, а высшие уровни соответствуют абстрактным предписаниям (например, «изменить размер браузера»). Сенсорная и моторная иерархии тесно связаны: поведение порождает сенсорные ожидания, а сенсорное восприятие управляет моторными процессами.

Наконец, важно отметить, что все воспоминания в кортикальной иерархии необходимо запомнить — эта информация не запрограммирована заранее в мозгу. Следовательно, процесс извлечения этого представления из потока входных данных и поведения теоретически рассматривается как процесс, который происходит постоянно во время познания .

Другие условия

Хокинс имеет обширную подготовку в качестве инженера-электрика. Другой способ описания теории (на который намекают в его книге) — это обучения иерархия стохастических прямой связью с конечных автоматов . С этой точки зрения мозг анализируется как проблема кодирования, не слишком отличающаяся от кодов, предсказывающих будущее и исправляющих ошибки. Иерархия представляет собой иерархию абстракции , в которой состояния машин более высокого уровня представляют более абстрактные условия или события, и эти состояния предрасполагают машины более низкого уровня к выполнению определенных переходов. Машины более низкого уровня моделируют ограниченные области опыта или управляют или интерпретируют датчики или эффекторы. Вся система фактически управляет поведением организма. Поскольку конечный автомат является «упреждающим», организм реагирует на будущие события, предсказанные на основе прошлых данных. Поскольку система иерархична, она демонстрирует поведенческую гибкость, легко создавая новые последовательности поведения в ответ на новые сенсорные данные. Поскольку система учится, новое поведение адаптируется к изменяющимся условиям.

То есть эволюционная цель мозга — предсказывать будущее, хотя и ограниченными способами, чтобы изменить его.

Нейрофизиологическая реализация

Предполагается, что описанные выше иерархии возникают преимущественно в неокортексе млекопитающих. В частности, предполагается, что неокортекс состоит из большого количества столбцов (как предполагал также Вернон Бенджамин Маунткасл на основе анатомических и теоретических соображений). Каждый столбец настроен на определенную функцию на определенном уровне иерархии. Он получает входные данные снизу вверх от более низких уровней и входные данные сверху вниз от более высоких уровней. (Другие столбцы на том же уровне также вводятся в данный столбец и служат главным образом для запрета эксклюзивных представлений активации.) Когда вход распознается, то есть достигается приемлемое согласие между восходящими и нисходящими источниками, происходит Столбец генерирует выходные данные, которые, в свою очередь, распространяются как на более низкие, так и на более высокие уровни.

Кора

Эти процессы хорошо соотносятся с определенными слоями коры головного мозга млекопитающих. (Корковые слои не следует путать с разными уровнями иерархии обработки: все слои в одном столбце участвуют как один элемент на одном иерархическом уровне). Ввод снизу вверх поступает на уровень 4 (L4), откуда он распространяется на уровни L2 и L3 для распознавания инвариантного контента. Активация сверху вниз поступает на L2 и L3 через L1 (в основном аксональный слой, который локально распределяет активацию по столбцам). L2 и L3 сравнивают информацию снизу вверх и сверху вниз и генерируют либо инвариантные «имена», когда достигается достаточное совпадение, либо более изменчивые сигналы, которые возникают, когда это не удается. Эти сигналы распространяются вверх по иерархии (через L5), а также вниз по иерархии (через L6 и L1).

Таламус

Для учета хранения и распознавания последовательностей шаблонов предлагается комбинация двух процессов. Неспецифический таламус действует как «линия задержки» — то есть L5 активирует эту область мозга, которая повторно активирует L1 после небольшой задержки. Таким образом, выходные данные одного столбца генерируют активность L1, которая будет совпадать с входными данными для столбца, следующего по времени в последовательности. Такое упорядочение по времени действует совместно с идентификацией последовательности более высокого уровня, которая не меняется во времени; следовательно, активация представления последовательности приводит к предсказанию компонентов более низкого уровня один за другим. (Помимо этой роли в секвенировании, таламус также действует как сенсорная перевалочная станция – эти роли, по-видимому, затрагивают отдельные области этой анатомически неоднородной структуры.)

Гиппокамп

Другой анатомически разнообразной структурой мозга, которая, как предполагается, играет важную роль в иерархическом познании, является гиппокамп . Хорошо известно, что повреждение обоих гиппокампов нарушает формирование долговременной декларативной памяти ; люди с таким повреждением не способны формировать новые воспоминания эпизодического характера, хотя без затруднений могут вспомнить более ранние воспоминания, а также могут осваивать новые навыки. В современной теории гиппокампы считаются высшим уровнем кортикальной иерархии; они специализируются на сохранении воспоминаний о событиях, которые распространяются до самого верха. Поскольку такие события вписываются в предсказуемые закономерности, они становятся запоминаемыми на более низких уровнях иерархии. (Такое перемещение воспоминаний вниз по иерархии, кстати, является общим предсказанием теории.) Таким образом, гиппокамп постоянно запоминает «неожиданные» события (то есть те, которые не были предсказаны на более низких уровнях); если они повреждены, весь процесс запоминания по иерархии оказывается под угрозой.

В 2016 году Хокинс выдвинул гипотезу, что кортикальные столбцы фиксируют не только ощущение, но и относительное расположение этого ощущения в трех измерениях, а не в двух ( локальный захват ) по отношению к тому, что было вокруг него. ^[1] «Когда мозг строит модель мира, все имеет свое местоположение относительно всего остального» ^[1] — Джефф Хокинс.

Объяснительные успехи и прогнозы

Структура прогнозирования памяти объясняет ряд психологически важных аспектов познания. Например, способность экспертов в любой области без особых усилий анализировать и запоминать сложные проблемы в своей области является естественным следствием формирования ими все более совершенных концептуальных иерархий. Кроме того, легко понять процесс перехода от « восприятия » к « пониманию » в результате совпадения ожиданий сверху вниз и снизу вверх . Несоответствия, напротив, порождают исключительную способность биологического познания обнаруживать неожиданные восприятия и ситуации. (Недостатки в этом отношении являются общей характеристикой современных подходов к искусственному интеллекту.)

Помимо этих субъективно удовлетворительных объяснений, модель также делает ряд проверяемых предсказаний . Например, важная роль, которую предсказание играет во всех сенсорных иерархиях, требует упреждающей нейронной активности в определенных клетках сенсорной коры. Кроме того, ячейки, которые «называют» определенные инварианты, должны оставаться активными на протяжении всего существования этих инвариантов, даже если базовые входные данные изменяются. Прогнозируемые модели активности «снизу вверх» и «сверху вниз» (первые из которых более сложны, когда ожидания не оправдываются) можно обнаружить, например, с помощью функциональной магнитно-резонансной томографии ( фМРТ ).

Хотя эти предсказания не очень специфичны для предлагаемой теории, они достаточно однозначны, чтобы сделать возможной проверку или опровержение ее основных положений. см . в разделе «Об интеллекте» Подробную информацию о прогнозах и выводах .

Вклад и ограничения

По своей сути нынешняя теория основана на работах многочисленных нейробиологов, и можно утверждать, что большинство этих идей уже были предложены такими исследователями, как Гроссберг и Маунткасл . С другой стороны, новое отделение концептуального механизма (т.е. двунаправленной обработки и инвариантного распознавания) от биологических деталей (т.е. нейронных слоев, столбцов и структур) закладывает основу для абстрактного мышления о широком спектре когнитивных процессов.

Наиболее существенным ограничением этой теории является ее нынешняя ^{[ когда? ]} отсутствие детализации. Например, концепция инвариантности решающую роль играет ; Хокинс постулирует наличие « именных ячеек » по крайней мере для некоторых из этих инвариантов. (См. также «Нейронный ансамбль#Кодирование» для бабушкиных нейронов , выполняющих этот тип функций, и зеркальных нейронов для точки зрения соматосенсорной системы .) Но далеко не очевидно, как разработать математически строгое определение, которое будет нести необходимую концептуальную нагрузку по всему миру. домены, представленные Хокинсом. Точно так же полная теория потребует достоверных подробностей как о краткосрочной динамике, так и о процессах обучения, которые позволят корковым слоям вести себя так, как рекламируется.

IBM реализует модель Хокинса. ^[2]

Модели машинного обучения

Теория прогнозирования памяти утверждает, что во всех областях неокортекса используется общий алгоритм. Эта теория породила ряд программных моделей, призванных имитировать этот общий алгоритм с использованием иерархической структуры памяти. Год в списке ниже указывает, когда модель обновлялась в последний раз.

Модели на основе байесовских сетей

Следующие модели используют распространение убеждений или пересмотр убеждений в односвязных байесовских сетях .

Иерархическая временная память (HTM), модель, соответствующая платформа разработки и исходный код от Numenta, Inc. (2008).
Хтмлиб ^{[ мертвая ссылка ]}, альтернативная реализация алгоритмов HTM Грега Кочаняка с рядом модификаций для повышения точности и скорости распознавания (2008).
Project Neocortex — проект с открытым исходным кодом для моделирования структуры прогнозирования памяти (2008 г.).
- Страница исследований Саулюса Гаралевичюса , научные статьи и программы, представляющие экспериментальные результаты с использованием модели структуры прогнозирования памяти, лежащей в основе проекта Neocortex (2007).
Джордж, Дилип (2005). «Иерархическая байесовская модель инвариантного распознавания образов в зрительной коре» (Документ). IEEE. стр. 1812–1817. статья, описывающая более раннюю байесовскую модель до HTM, написанную соучредителем Numenta. Это первая модель структуры прогнозирования памяти, использующая байесовские сети, и все вышеперечисленные модели основаны на этих первоначальных идеях. Исходный код этой модели в Matlab был доступен для бесплатного скачивания в течение ряда лет.

Другие модели

Реализация MPF , статья Саулюса Гаралевичюса, описывающая метод классификации и прогнозирования в модели, которая хранит временные последовательности и использует обучение без учителя (2005).
M5 , машина шаблонов для Palm OS, которая хранит последовательности шаблонов и вызывает шаблоны, соответствующие его текущей среде (2007 г.).
BrainGame , класс предсказателей с открытым исходным кодом, который изучает закономерности и может быть связан с другими предикторами (2005 г.).

См. также

Теория адаптивного резонанса — архитектура нейронной сети, разработанная Стивеном Гроссбергом .
Вычислительная нейробиология
Нейронный дарвинизм
Прогнозирующее кодирование
Прогнозирующее обучение
Разреженная распределенная память

Ссылки

^ Jump up to: ^а ^б Мец, Кейд (15 октября 2018 г.). «Новый взгляд на то, как мы думаем» . Нью-Йорк Таймс . стр. В1, В4. См.: «Ясность за чашкой кофе».
^ Симонит, Том (8 апреля 2015 г.). «IBM тестирует противоречивые алгоритмы мозга пионера мобильных компьютеров» . Обзор технологий Массачусетского технологического института . Проверено 8 апреля 2015 г.

Дальнейшее чтение

Джефф Хокинс (2004), Об разведке , Нью-Йорк: Генри Холт. Библиография, Указатель, 251 страница. ISBN 0-8050-7456-2

Внешние ссылки

Исходный код и данные алгоритма иерархического видения
– аналогично системе прогнозирования памяти (из Центра биологического и вычислительного обучения Массачусетского технологического института )
Группа статей о нейробиологии и искусственном интеллекте
– Группа статей и статей, поддерживающих теорию MPF Джеффа.
MIT Обзор технологий , понедельник, 12 февраля 2007 г.: Создание коры головного мозга в кремнии

[cadeMetz15October2018-1] Jump up to: ^а ^б Мец, Кейд (15 октября 2018 г.). «Новый взгляд на то, как мы думаем» . Нью-Йорк Таймс . стр. В1, В4. См.: «Ясность за чашкой кофе».

[2] Симонит, Том (8 апреля 2015 г.). «IBM тестирует противоречивые алгоритмы мозга пионера мобильных компьютеров» . Обзор технологий Массачусетского технологического института . Проверено 8 апреля 2015 г.

[1]

[2]