Теория Хебба

Теория Хеббиана — это нейропсихологическая теория, утверждающая, что увеличение синаптической эффективности происходит в результате повторной и постоянной стимуляции постсинаптической клетки пресинаптической клеткой . Это попытка объяснить синаптическую пластичность — адаптацию нейронов мозга в процессе обучения. Он был представлен Дональдом Хеббом в его книге «Организация поведения» 1949 года . Теорию также называют правилом Хебба , постулатом Хебба и теорией сборки клеток . Хебб утверждает это следующим образом:

Предположим, что сохранение или повторение реверберационной активности (или «следа») имеет тенденцию вызывать устойчивые клеточные изменения, которые повышают ее стабильность. ... Когда аксон клетки A находится достаточно близко, чтобы возбудить клетку B , и неоднократно или постоянно участвует в ее возбуждении, в одной или обеих клетках происходит некоторый процесс роста или метаболические изменения, так что из эффективность A, как одна клетки, запускающие B , увеличиваются.

Эту теорию часто резюмируют так: « Нейроны, которые срабатывают вместе, соединяются вместе ». Однако Хебб подчеркнул, что ячейка A должна «принимать участие в срабатывании» ячейки B следственная связь может возникнуть только в том случае, если ячейка A срабатывает непосредственно перед, а не одновременно с ячейкой B. , и такая причинно - Этот аспект причинно-следственной связи в работе Хебба предвосхитил то, что сейчас известно о пластичности, зависящей от времени всплеска , которая требует временного приоритета.

Теория пытается объяснить ассоциативное или Хеббианское обучение , при котором одновременная активация клеток приводит к выраженному увеличению синаптической силы между этими клетками. Он также обеспечивает биологическую основу для безошибочных методов обучения и восстановления памяти. При изучении нейронных сетей в когнитивных функциях их часто рассматривают как нейрональную основу обучения без учителя .

сборки клеток

Теория Хебба касается того, как нейроны могут соединяться, образуя инграммы . Теории Хебба о форме и функциях клеточных ансамблей можно понять из следующего:

Общая идея старая: любые две клетки или системы клеток, неоднократно активные одновременно, будут иметь тенденцию становиться «ассоциированными», так что активность в одной облегчает активность в другой.

Хебб также писал:

Когда одна клетка неоднократно помогает активировать другую, аксон первой клетки образует синаптические выступы (или увеличивает их, если они уже существуют) в контакте с сомой второй клетки.

[Д. Алан Олпорт] выдвигает дополнительные идеи относительно теории сборки клеток и ее роли в формировании инграмм, в соответствии с концепцией автоассоциации, описываемой следующим образом:

Если входные данные системы вызывают повторное возникновение одного и того же паттерна деятельности, набор активных элементов, составляющих этот паттерн, становится все более тесно взаимосвязанным. То есть каждый элемент будет стремиться включать все остальные элементы и (с отрицательными весами) отключать элементы, которые не являются частью шаблона. Другими словами, шаблон в целом станет «автоассоциированным». Мы можем назвать выученный (автоассоциированный) паттерн инграммой.

Работа в лаборатории Эрика Кандела предоставила доказательства участия Хеббианских механизмов обучения в синапсах морских брюхоногих моллюсков Aplysia California . Эксперименты по механизмам модификации геббианских синапсов в центральной нервной системы синапсах позвоночных гораздо труднее контролировать, чем эксперименты с относительно простыми синапсами периферической нервной системы, изучаемыми у морских беспозвоночных. Большая часть работ по долговременным синаптическим изменениям между нейронами позвоночных (таким как долговременная потенциация ) предполагает использование нефизиологической экспериментальной стимуляции клеток головного мозга. Однако некоторые из физиологически значимых механизмов модификации синапсов, которые были изучены в мозге позвоночных, действительно кажутся примерами процессов Хебба. Одно из таких исследований рассматривает результаты экспериментов, которые показывают, что долговременные изменения в синаптической силе могут быть вызваны физиологически значимой синаптической активностью, действующей как через хеббианские, так и нехеббианские механизмы.

Принципы

С точки зрения искусственных нейронов и искусственных нейронных сетей принцип Хебба можно описать как метод определения того, как изменить веса между модельными нейронами. Вес между двумя нейронами увеличивается, если два нейрона активируются одновременно, и уменьшается, если они активируются по отдельности. Узлы, которые имеют тенденцию быть либо положительными, либо одновременно отрицательными, имеют сильные положительные веса, тогда как те, которые имеют тенденцию быть противоположными, имеют сильные отрицательные веса.

Ниже приводится шаблонное описание обучения Хебба: (возможны многие другие описания)

$\,w_{ij}=x_{i}x_{j}$

где $w_{ij}$ вес связи от нейрона $j$ нейрону $i$ и $x_{i}$ вход для нейрона $i$. Обратите внимание, что это обучение по шаблону (веса обновляются после каждого обучающего примера). В сети Хопфилда соединения $w_{ij}$ устанавливаются равными нулю, если $i=j$ (рефлексивные связи не допускаются). В случае бинарных нейронов (активация 0 или 1) соединения будут установлены в 1, если связанные нейроны имеют одинаковую активацию для шаблона.

При использовании нескольких шаблонов обучения выражение становится средним из отдельных:

$w_{ij}={\frac {1}{p}}\sum _{k=1}^{p}x_{i}^{k}x_{j}^{k}$

где $w_{ij}$ вес связи от нейрона $j$ нейрону $i$, $p$ количество тренировочных шаблонов и $x_{i}^{k}$ тот $k$-й вход для нейрона $i$. Это обучение по эпохам (веса обновляются после представления всех примеров обучения), что является последним термином, применимым как к дискретным, так и к непрерывным обучающим наборам. Опять же, в сети Хопфилда соединения $w_{ij}$ устанавливаются равными нулю, если $i=j$ (рефлекторных связей нет).

Разновидностью обучения Хебба, учитывающей такие явления, как блокировка и многие другие явления нейронного обучения, является математическая модель Гарри Клопфа . Модель Клопфа воспроизводит множество биологических явлений, а также проста в реализации.

, стабильностью и

Из-за простой природы обучения Хебба, основанного только на совпадении пре- и постсинаптической активности, может быть интуитивно непонятно, почему эта форма пластичности приводит к значимому обучению. Однако можно показать, что пластичность Хебба действительно улавливает статистические свойства входных данных таким образом, что это можно отнести к категории обучения без учителя.

Математически это можно показать на упрощенном примере. Давайте поработаем в упрощающем предположении об одном нейроне с частотой $y(t)$, чьи входы имеют ставки $x_{1}(t)...x_{N}(t)$. Реакция нейрона $y(t)$ обычно описывается как линейная комбинация входных данных, $\sum _{i}w_{i}x_{i}$, за которым следует функция ответа $f$:

$y=f\left(\sum _{i=1}^{N}w_{i}x_{i}\right).$

Как определено в предыдущих разделах, пластичность Хебба описывает эволюцию во времени синаптического веса. $w$:

${\frac {dw_{i}}{dt}}=\eta x_{i}y.$

Предполагая для простоты тождественную функцию ответа $f(a)=a$, мы можем написать

${\frac {dw_{i}}{dt}}=\eta x_{i}\sum _{j=1}^{N}w_{j}x_{j}$

или в матричной форме:

${\frac {d\mathbf {w} }{dt}}=\eta \mathbf {x} \mathbf {x} ^{T}\mathbf {w} .$

Как и в предыдущей главе, если обучение по эпохам проводится в среднем $\langle \dots \rangle$ по дискретному или непрерывному (по времени) обучающему набору $\mathbf {x}$ можно сделать:

$${\frac {d\mathbf {w} }{dt}}=\langle \eta \mathbf {x} \mathbf {x} ^{T}\mathbf {w} \rangle =\eta \langle \mathbf {x} \mathbf {x} ^{T}\rangle \mathbf {w} =\eta C\mathbf {w} .$$

где $C=\langle \,\mathbf {x} \mathbf {x} ^{T}\rangle$ — корреляционная матрица входных данных при дополнительном предположении, что $\langle \mathbf {x} \rangle =0$ (т.е. среднее значение входных данных равно нулю). Это система $N$ связанные линейные дифференциальные уравнения. С $C$ симметричен , и решение можно найти, работая в его базисе собственных векторов, и , он также диагонализуем иметь вид

$\mathbf {w} (t)=k_{1}e^{\eta \alpha _{1}t}\mathbf {c} _{1}+k_{2}e^{\eta \alpha _{2}t}\mathbf {c} _{2}+...+k_{N}e^{\eta \alpha _{N}t}\mathbf {c} _{N}$

где $k_{i}$ являются произвольными константами, $\mathbf {c} _{i}$ являются собственными векторами $C$ и $\alpha _{i}$ соответствующие им собственные значения. Поскольку корреляционная матрица всегда является положительно определенной матрицей , все собственные значения положительны, и можно легко увидеть, как приведенное выше решение всегда экспоненциально расходится во времени.Это внутренняя проблема, поскольку эта версия правила Хебба нестабильна, поскольку в любой сети с доминирующим сигналом синаптические веса будут увеличиваться или уменьшаться экспоненциально. Интуитивно это происходит потому, что всякий раз, когда пресинаптический нейрон возбуждает постсинаптический нейрон, вес между ними усиливается, вызывая еще более сильное возбуждение в будущем и так далее самоусиливающимся способом. Можно подумать, что решение состоит в том, чтобы ограничить частоту импульсов постсинаптического нейрона, добавив нелинейную функцию насыщения реакции. $f$, но на самом деле можно показать, что для любой модели нейрона правило Хебба неустойчиво. Поэтому в сетевых моделях нейронов обычно используются другие теории обучения, такие как теория BCM , правило Оджи , или обобщенный алгоритм Хеббиана .

Несмотря на это, даже для приведенного выше неустойчивого решения можно видеть, что по прошествии достаточного времени один из членов доминирует над другими, и

$\mathbf {w} (t)\approx e^{\eta \alpha ^{*}t}\mathbf {c} ^{*}$

где $\alpha ^{*}$ является наибольшим собственным значением $C$. В это время постсинаптический нейрон совершает следующую операцию:

$y\approx e^{\eta \alpha ^{*}t}\mathbf {c} ^{*}\mathbf {x}$

Потому что, опять же, $\mathbf {c} ^{*}$ — собственный вектор, соответствующий наибольшему собственному значению корреляционной матрицы между $x_{i}$s, это в точности соответствует вычислению первого главного компонента входных данных.

Этот механизм можно расширить до выполнения полного PCA (анализа главных компонентов) входных данных путем добавления дополнительных постсинаптических нейронов при условии, что все постсинаптические нейроны не могут улавливать один и тот же главный компонент, например, путем добавления латерального торможения в постсинаптическом слое. Таким образом, мы связали обучение Хебба с PCA, который является элементарной формой обучения без учителя, в том смысле, что сеть может улавливать полезные статистические аспекты входных данных и «описывать» их в четком виде на выходе.

Ограничения

Несмотря на широкое использование моделей Хебба для долговременной потенциации, принцип Хебба не охватывает все формы синаптической долгосрочной пластичности. Хебб не постулировал никаких правил для тормозных синапсов и не делал предсказаний для антипричинных последовательностей спайков (пресинаптический нейрон срабатывает после постсинаптического нейрона). Синаптическая модификация может происходить не только между активированными нейронами A и B, но и в соседних синапсах. Поэтому все формы гетеросинаптической и гомеостатической пластичности считаются нехеббианскими. Примером является ретроградная передача сигналов пресинаптическим терминалям. Соединением, наиболее часто идентифицируемым как выполняющее роль ретроградного медиатора, является оксид азота , который из-за своей высокой растворимости и диффузионной способности часто оказывает воздействие на близлежащие нейроны. Этот тип диффузной синаптической модификации, известный как объемное обучение, не включен в традиционную модель Хебба.

обучения зеркальных

Обучение Хебба и пластичность, зависящая от времени импульса, были использованы во влиятельной теории возникновения зеркальных нейронов . Зеркальные нейроны — это нейроны, которые срабатывают как тогда, когда человек выполняет действие, так и когда человек видит или слышит другой выполняет аналогичное действие. Открытие этих нейронов оказало большое влияние на объяснение того, как люди понимают действия других, показав, что, когда человек воспринимает действия других, он активирует двигательные программы, которые он мог бы использовать для выполнения аналогичных действий. Активация этих двигательных программ затем добавляет информацию к восприятию и помогает предсказать, что человек будет делать дальше, на основе собственной двигательной программы воспринимающего. Задача заключалась в том, чтобы объяснить, как у людей появляются нейроны, которые реагируют как на выполнение действия, так и на то, когда он слышит или видит, как другой выполняет аналогичные действия.

Кристиан Кейзерс и Дэвид Перретт предположили, что, выполняя определенное действие, человек будет видеть, слышать и чувствовать выполнение этого действия. Эти реафферентные сенсорные сигналы вызовут активность нейронов, реагирующих на вид, звук и ощущение действия. Поскольку активность этих сенсорных нейронов будет постоянно перекрываться во времени с активностью мотонейронов, вызвавших действие, обучение Хебба предсказывает, что синапсы, соединяющие нейроны, реагирующие на вид, звук и ощущение действия, и синапсы нейронов, запускающих действие. действие должно быть потенцировано. То же самое происходит, когда люди смотрят на себя в зеркало, слышат свою болтовню или когда другие подражают им. После повторного опыта этой реафференции синапсы, соединяющие сенсорные и моторные представления действия, становятся настолько сильными, что мотонейроны начинают возбуждаться в ответ на звук или видение действия, и создается зеркальный нейрон.

Доказательства этой точки зрения получены во многих экспериментах, которые показывают, что двигательные программы могут запускаться новыми слуховыми или зрительными стимулами после неоднократного сочетания стимула с выполнением двигательной программы (обзор доказательств см. в Giudice et al., 2009). ). Например, люди, которые никогда не играли на фортепиано, не активируют участки мозга, участвующие в игре на фортепиано, при прослушивании фортепианной музыки. Пять часов уроков игры на фортепиано, во время которых участник подвергается звуку фортепиано каждый раз, когда он нажимает клавишу, оказывается достаточным для запуска активности в двигательных областях мозга при прослушивании фортепианной музыки, когда она будет услышана позже. В соответствии с тем фактом, что пластичность, зависящая от времени спайка, возникает только в том случае, если срабатывание пресинаптического нейрона предсказывает срабатывание постсинаптического нейрона, Связь между сенсорными стимулами и двигательными программами также усиливается только в том случае, если стимул зависит от двигательной программы.

См. также

• Принцип Дейла
• Обнаружение совпадений в нейробиологии
• Леабра
• Метапластичность
• Тетаническая стимуляция
• Синаптотропная гипотеза
• Нейропластичность
• Бихевиоризм

Дальнейшее чтение

• Хебб, DO (1961). «Отличительные особенности обучения у высших животных». В Ж. Ф. Делафресне (ред.). Мозговые механизмы и обучение . Лондон: Издательство Оксфордского университета.
• Хебб, DO (1940). «Поведение человека после обширного двустороннего удаления лобных долей». Архив неврологии и психиатрии . 44 (2): 421–438. doi : 10.1001/archneurpsyc.1940.02280080181011 .
• Бишоп, CM (1995). Нейронные сети для распознавания образов . Оксфорд: Издательство Оксфордского университета. ISBN  978-0-19-853849-3 .
• Полсен, О.; Сейновский, Т.Дж. (2000). «Естественные закономерности активности и долговременная синаптическая пластичность» . Современное мнение в нейробиологии . 10 (2): 172–179. дои : 10.1016/S0959-4388(00)00076-3 . ПМК   2900254 . ПМИД   10753798 .

Внешние ссылки

• Обзор. Архивировано 2 мая 2017 г. на Wayback Machine.
• Учебное пособие по Hebbian Learning ( Часть 1: Фильтрация новинок , Часть 2: PCA )