Теория БКМ

Теория BCM , синаптическая модификация BCM или правило BCM , названное в честь Эли Биненстока , Леона Купера и Пола Манро, представляет собой физическую теорию обучения в зрительной коре, разработанную в 1981 году. Модель BCM предлагает скользящий порог для индукции долгосрочной потенциации (LTP) или долгосрочной депрессии (LTD) и утверждает, что синаптическая пластичность стабилизируется за счет динамической адаптации усредненной по времени постсинаптической активности. Согласно модели BCM, когда пресинаптический нейрон срабатывает, постсинаптические нейроны будут иметь тенденцию подвергаться ДП, если они находятся в состоянии высокой активности (например, срабатывают с высокой частотой и/или имеют высокие внутренние концентрации кальция). ) или LTD, если он находится в состоянии более низкой активности (например, срабатывание с низкой частотой, низкие внутренние концентрации кальция). Эта теория часто используется для объяснения того, как кортикальные нейроны могут подвергаться как LTP, так и LTD в зависимости от различных протоколов кондиционирующих стимулов, применяемых к пресинаптическим нейронам (обычно высокочастотная стимуляция, или HFS, для LTP или низкочастотная стимуляция, LFS, для ООО).

Разработка

В 1949 году Дональд Хебб предложил рабочий механизм памяти и вычислительной адаптации мозга, который теперь называется Хеббианским обучением , или принципом, согласно которому клетки, которые срабатывают вместе, соединяются вместе . Это понятие является основополагающим в современном понимании мозга как нейронной сети, и хотя оно не является универсальным, оно остается хорошим первым приближением, подкрепленным десятилетиями фактов.

Однако у правила Хебба есть проблемы, а именно: в нем нет механизма ослабления связей и верхней границы того, насколько сильными они могут стать. Другими словами, модель нестабильна как теоретически, так и вычислительно. Более поздние модификации постепенно улучшили правило Хебба, нормализовав его и допустив распад синапсов, при котором отсутствие активности или несинхронизированная активность между нейронами приводит к потере прочности связи. Новые биологические данные привели эту активность к пику в 1970-х годах, когда теоретики формализовали различные приближения в теории, такие как использование частоты возбуждения вместо потенциала при определении возбуждения нейронов и предположение об идеальной и, что более важно, линейной синаптической интеграции. сигналов. То есть при добавлении входных токов, определяющих, сработает ли элемент, не происходит неожиданного поведения.

Эти приближения привели к созданию базовой формы BCM, представленной ниже в 1979 году, но последним шагом стал математический анализ для доказательства стабильности и вычислительный анализ для доказательства применимости, кульминацией которого стала статья Биненстока, Купера и Манро 1982 года.

С тех пор эксперименты показали доказательства поведения BCM как в зрительной коре , так и в гиппокампе , последний из которых играет важную роль в формировании и хранении воспоминаний. Обе эти области хорошо изучены экспериментально, но ни теория, ни эксперимент еще не установили убедительное синаптическое поведение в других областях мозга. Было высказано предположение, что в мозжечке синапс параллельных волокон к клеткам Пуркинье следует «обратному правилу BCM», означающему, что во время активации параллельных волокон высокая концентрация кальция в клетках Пуркинье приводит к LTD, в то время как более низкая концентрация приводит к LTP. Более того, биологическая реализация синаптической пластичности в BCM еще не установлена.

Теория

Основное правило BCM принимает форму

$\,{\frac {dm_{j}(t)}{dt}}=\phi ({\textbf {c}}(t))d_{j}(t)-\epsilon m_{j}(t),$

где:

• $m_{j}$ это синаптический вес $j$синапс,
• $d_{j}$ является $j$входной ток синапса,
• $c(t)={\textbf {w}}(t){\textbf {d}}(t)=\sum _{j}w_{j}(t)d_{j}(t)$ - внутренний продукт весов и входных токов (взвешенная сумма входов),
• $\phi (c)$ является нелинейной функцией. Эта функция должна изменить знак при некотором пороге $\theta _{M}$, то есть, $\phi (c)<0$ тогда и только тогда, когда $c<\theta _{M}$ . Подробности и свойства смотрите ниже.
• и $\epsilon$ — это (часто незначительная) постоянная времени равномерного распада всех синапсов.

Эта модель представляет собой модифицированную форму правила обучения Хебба , ${\dot {m_{j}}}=cd_{j}$и требует подходящего выбора функции $\phi$ чтобы избежать Хеббианской проблемы нестабильности.

Биненшток и др. переписать $\phi (c)$ как функция $\phi (c,{\bar {c}})$ где ${\bar {c}}$ это среднее время $c$. После этой модификации и исключения равномерного затухания правило принимает векторный вид:

${\dot {\mathbf {m} }}(t)=\phi (c(t),{\bar {c}}(t))\mathbf {d} (t)$

Условия стабильного обучения строго выводятся в BCM, при этом отмечается, что при $c(t)={\textbf {m}}(t)\cdot {\textbf {d}}(t)$ и с аппроксимацией среднего выпуска ${\bar {c}}(t)\approx {\textbf {m}}(t){\bar {\mathbf {d} }}$, достаточно, чтобы

$\,\operatorname {sgn} \phi (c,{\bar {c}})=\operatorname {sgn} \left(c-\left({\frac {\bar {c}}{c_{0}}}\right)^{p}{\bar {c}}\right)~~{\textrm {for}}~c>0,~{\textrm {and}}$

$\,\phi (0,{\bar {c}})=0~~{\textrm {for}}~{\textrm {all}}~{\bar {c}},$

или, что то же самое, что порог $\theta _{M}({\bar {c}})=({\bar {c}}/c_{0})^{p}{\bar {c}}$, где $p$ и $c_{0}$ фиксированные положительные константы.

При реализации теория часто принимается так, что

$\,\phi (c,{\bar {c}})=c(c-\theta _{M})~~~{\textrm {and}}~~~\theta _{M}={\bar {c}}^{2}={\frac {1}{\tau }}\int _{-\infty }^{t}c^{2}(t^{\prime })e^{-(t-t^{\prime })/\tau }dt^{\prime },$

где $\tau$ – постоянная времени селективности.

У модели есть недостатки, поскольку она требует как долговременной потенциации , так и длительной депрессии , или увеличения и уменьшения синаптической силы, что наблюдалось не во всех корковых системах. Кроме того, он требует переменного порога активации и сильно зависит от стабильности выбранных фиксированных точек. $c_{0}$ и $p$. Однако сила модели заключается в том, что она включает в себя все эти требования из независимо выведенных правил стабильности, таких как нормируемость и функция затухания со временем, пропорциональным квадрату выходного сигнала.

Пример

Этот пример является частным случаем примера, приведенного в главе «Математические результаты» Биненштока и др. работать, предполагая $p=2$ и $c_{0}=1$. С этими значениями $\theta _{M}=({\bar {c}}/c_{0})^{p}{\bar {c}}={\bar {c}}^{3}$ и мы решаем $\phi (c,{\bar {c}})=c(c-\theta _{M})$ что удовлетворяет условиям устойчивости, указанным в предыдущей главе.

Предположим, что два пресинаптических нейрона обеспечивают входные сигналы. $d_{1}$ и $d_{2}$, его деятельность представляет собой повторяющийся цикл с половиной времени $\mathbf {d} =(d_{1},d_{2})=(0.9,0.1)$ и оставшееся время $\mathbf {d} =(0.2,0.7)$ . ${\bar {c}}$ Среднее по времени будет средним значением $c$ значение в первой и второй половине цикла.

Пусть начальное значение весов $\mathbf {m} =(0.1,0.05)$. В первой половине времени $\mathbf {d} =(0.9,0.1)$ и $\mathbf {m} =(0.1,0.05)$, взвешенная сумма $c$ равно 0,095, и мы используем то же значение, что и начальное среднее значение. ${\bar {c}}$. Это означает $\theta _{M}=0.001$ , $\phi =0.009$, ${\dot {m}}=(0.008,0.001)$. Прибавляя к весам 10% производной, получаем новые. $\mathbf {m} =(0.101,0.051)$.

В следующую половину времени входные данные $\mathbf {d} =(0.2,0.7)$ и веса $\mathbf {m} =(0.101,0.051)$. Это означает $c=0.055$, ${\bar {c}}$ полного цикла составляет 0,075, $\theta _{M}=0.000$ , $\phi =0.003$, ${\dot {m}}=(0.001,0.002)$. Прибавляя к весам 10% производной, получаем новые. $\mathbf {m} =(0.110,0.055)$.

Повторяя предыдущий цикл, после нескольких сотен итераций получаем, что устойчивость достигается при $\mathbf {m} =(3.246,-0.927)$, $c={\sqrt {8}}=2.828$ (первая половина) и $c=0.000$ (оставшееся время), ${\bar {c}}={\sqrt {8}}/2=1.414$, $\theta _{M}={\sqrt {8}}=2.828$ , $\phi =0.000$ и ${\dot {m}}=(0.000,0.000)$.

Обратите внимание, как, как и было предсказано, окончательный весовой вектор $m$ стал ортогональным одному из входных шаблонов, являясь конечными значениями $c$ в обоих интервалах нули функции $\phi$.

Эксперимент

Первое крупное экспериментальное подтверждение BCM произошло в 1992 году при исследовании LTP и LTD в гиппокампе . Экспериментальная работа Серены Дудек показала качественное согласие с окончательной формой функции активации BCM. Позже этот эксперимент был повторен в зрительной коре головного мозга , для моделирования которой изначально был разработан BCM. Эта работа предоставила дополнительные доказательства необходимости переменной пороговой функции для стабильности в обучении типа Хеббиана (BCM или другие).

Экспериментальные данные не были специфичными для BCM до тех пор, пока Rittenhouse et al. подтвердили предсказания BCM о модификации синапсов в зрительной коре при выборочном закрытии одного глаза. Конкретно,

$\log \left({\frac {m_{\rm {closed}}(t)}{m_{\rm {closed}}(0)}}\right)\sim -{\overline {n^{2}}}t,$

где ${\overline {n^{2}}}$ описывает разницу в спонтанной активности или шуме в закрытом глазу и $t$ время с момента закрытия. Эксперимент согласился с общей формой этого предсказания и дал объяснение динамике закрытия монокулярного глаза ( монокулярная депривация ) по сравнению с закрытием бинокулярного глаза. Экспериментальные результаты далеки от окончательных, но пока что они отдают предпочтение БКМ над конкурирующими теориями пластичности.

Приложения

Хотя алгоритм BCM слишком сложен для крупномасштабной параллельной распределенной обработки , он с некоторым успехом применяется в параллельных сетях. Кроме того, некоторые существующие алгоритмы обучения вычислительных сетей были адаптированы к обучению BCM.

Внешние ссылки

• Статья в стипендии