Модель Рескорлы – Вагнера

Модель Рескорлы-Вагнера (« RW ») — это модель классической обусловленности , в которой обучение концептуализируется с точки зрения ассоциаций между условными (CS) и безусловными (US) стимулами. Сильная связь CS-США означает, что сигналы CS предсказывают США. Можно сказать, что до создания условий субъект удивляется США, но после создания условий субъект больше не удивляется, потому что CS предсказывает приход США. Модель разбивает процессы кондиционирования на отдельные испытания, во время которых стимулы могут как присутствовать, так и отсутствовать. Силу предсказания США в испытании можно представить как сумму ассоциативных сил всех CS, присутствовавших во время испытания. Эта особенность модели представляла собой значительный шаг вперед по сравнению с предыдущими моделями и позволяла прямо объяснить важные экспериментальные явления, в первую очередь эффект блокировки . Неудачи модели привели к ее модификациям, альтернативным моделям и множеству дополнительных выводов. Модель оказала некоторое влияние на нейронауку в последние годы, поскольку исследования показали, что фазовая активность дофаминовых нейронов в мезостриатальных проекциях DA в среднем мозге кодирует тип ошибки прогнозирования, подробно описанный в модели. ^[1]

Модель Рескорлы-Вагнера была создана психологами Йельского университета Робертом А. Рескорлой и Алланом Р. Вагнером в 1972 году.

Основные предположения модели

Изменение ассоциации между CS и США, которое происходит, когда они объединены в пару, зависит от того, насколько сильно предсказано наличие США в этом испытании - то есть, неформально, насколько «удивлен» организм США. Степень этого «сюрприза» зависит от суммарной ассоциативной силы всех сигналов, присутствующих во время этого испытания. Напротив, предыдущие модели определяли изменение силы ассоциации только на основе текущего значения CS.
Ассоциативная сила CS представлена одним числом. Ассоциация является возбуждающей, если число положительное, и тормозящей, если оно отрицательное.
Ассоциативная сила стимула выражается непосредственно в поведении, которое он вызывает или подавляет.
Выраженность . CS (альфа в уравнении) и сила США (бета) являются постоянными и не меняются во время тренировки
Только текущая ассоциативная сила сигнала определяет его влияние на поведение и объем обучения, который он поддерживает. Не имеет значения, как было достигнуто это значение прочности: путем простого кондиционирования, восстановления или каким-либо другим образом.

Первые два предположения были новыми для модели Рескорлы-Вагнера. Последние три предположения присутствовали в предыдущих моделях и менее важны для новых предсказаний модели RW.

Уравнение

\Delta V_{X}^{n+1}=\alpha _{X}\beta (\lambda -V_{\mathrm {tot} })

и

V_{X}^{n+1}=V_{X}^{n}+\Delta V_{X}^{n+1}

где

$\Delta V_{X}$ это изменение силы связи между CS, помеченным «X», и США в одном испытании.
$\alpha$ - заметность X (ограниченная 0 и 1)
$\beta$ это параметр скорости для США (ограниченный значениями 0 и 1), иногда называемый значением ассоциации
$\lambda$ это максимально возможное кондиционирование для США
$V_{X}$ текущая ассоциативная сила X
$V_{\mathrm {tot} }$ это общая ассоциативная сила всех присутствующих стимулов, то есть X плюс любые другие

^[2]

Пересмотренная модель RW Ван Хамма и Вассермана (1994).

Ван Хамм и Вассерман расширили исходную модель Рескорлы-Вагнера (RW) и ввели новый фактор в свою пересмотренную модель RW в 1994 году: ^[3] Они предположили, что не только условные стимулы, физически присутствующие в данном испытании, могут претерпевать изменения в своей ассоциативной силе, ассоциативная ценность CS также может быть изменена за счет внутрисоставной ассоциации с CS, присутствующей в этом испытании. Внутрисоставная ассоциация устанавливается, если во время обучения два CS предъявляются вместе (составной стимул). Если одна из двух компонентных CS впоследствии представлена одна, то предполагается, что также активируется представление другой (ранее спаренной) CS. Ван Хамм и Вассерман предполагают, что стимулы, косвенно активируемые посредством внутрисоставных ассоциаций, имеют отрицательный параметр обучения - таким образом можно объяснить феномен ретроспективной переоценки.

Рассмотрим следующий пример — экспериментальную парадигму, называемую «обратной блокировкой», указывающую на ретроспективную переоценку, где AB — это составной стимул A+B:

Этап 1: AB – США
Фаза 2: А – США

Тестовые испытания: Группа 1, получившая испытания как фазы 1, так и 2, вызывает более слабую условную реакцию (CR) на B по сравнению с контрольной группой, которая проходила только испытания фазы 1.

Исходная модель RW не может объяснить этот эффект. Но пересмотренная модель может: На этапе 2 стимул B активируется косвенно через внутрисоставную ассоциацию с A. Но вместо положительного параметра обучения (обычно называемого альфа), когда он физически присутствует, во время фазы 2 B имеет отрицательный параметр обучения. . Таким образом, на втором этапе ассоциативная сила B снижается, тогда как ценность A увеличивается из-за его положительного параметра обучения.

Таким образом, пересмотренная модель RW может объяснить, почему CR, вызванный B после тренировки с обратным блокированием, слабее по сравнению с тренировками только с AB.

Некоторые неудачи модели RW

Спонтанное восстановление после исчезновения и восстановление после исчезновения, вызванного обработкой напоминанием (восстановление): Хорошо известно, что интервал времени после завершения угасания приводит к частичному восстановлению после угасания, т. е. ранее погашенная реакция или реакция повторяются, но обычно на более низком уровне, чем до тренировки на угасание. Восстановление относится к явлению, когда воздействие США только в результате обучения после завершения вымирания приводит к частичному восстановлению после вымирания. Модель RW не может объяснить эти явления.

Угасание ранее обусловленного ингибитора: Модель RW предсказывает, что повторное предъявление только условного ингибитора (CS с отрицательной ассоциативной силой) приводит к исчезновению этого стимула (снижению его отрицательной ассоциативной ценности). Это ложное предсказание. Напротив, эксперименты показывают, что повторное введение только условного ингибитора даже увеличивает его ингибирующий потенциал.

Облегченное повторное приобретение после исчезновения: Одно из предположений модели состоит в том, что история формирования КС не оказывает никакого влияния на ее нынешний статус — важна только ее текущая ассоциативная ценность. Вопреки этому предположению, многие эксперименты ^[4] показывают, что раздражители, которые сначала были обусловлены, а затем погашены, легче восстанавливаются (т. е. для выработки необходимо меньше попыток).

Исключительность возбуждения и торможения: Модель RW также предполагает, что возбуждение и торможение являются противоположными свойствами. Стимул может иметь либо возбуждающий потенциал (положительная сила ассоциативности), либо тормозящий потенциал (отрицательная сила ассоциативности), но не то и другое одновременно. Напротив, иногда наблюдается, что стимулы могут иметь оба качества. Одним из примеров является обратное возбуждающее кондиционирование , при котором CS обратно сопряжен с US (US-CS вместо CS-US). Обычно это приводит к тому, что КС становится условным возбудителем. Стимул также обладает тормозящими свойствами, что можно доказать с помощью теста на задержку усвоения. Этот тест используется для оценки тормозного потенциала стимула, поскольку наблюдается замедление возбуждающего кондиционирования с помощью ранее обусловленного ингибитора. Обратно условный раздражитель проходит этот тест и, таким образом, кажется, обладает как возбуждающими, так и тормозящими свойствами.

Сочетание нового стимула с условным ингибитором: Предполагается, что условный ингибитор имеет отрицательное ассоциативное значение. Предлагая ингибитору новый стимул (т. е. его ассоциативная сила равна нулю), модель предсказывает, что новый сигнал должен стать условным возбудителем. В экспериментальных ситуациях это не так. Предсказания модели основаны на ее основном термине (лямбда-V). Поскольку суммарная ассоциативная сила всех стимулов (V), присутствующих в испытании, отрицательна (нуль + тормозящий потенциал), а лямбда равна нулю (US отсутствует), результирующее изменение ассоциативной силы является положительным, что делает новый сигнал условным. возбудитель.

CS-эффект предварительного воздействия: CS Эффект предварительного воздействия (также называемый латентным торможением ) — это общепризнанное наблюдение, заключающееся в том, что кондиционирование после воздействия стимула, который позже используется в качестве CS при кондиционирования, замедляется. Модель RW не предсказывает никакого эффекта от предоставления нового стимула без США.

Кондиционирование высшего порядка: При обусловливании более высокого порядка ранее обусловленный CS сочетается с новым сигналом (т. е. сначала CS1–US, затем CS2–CS1). Обычно это приводит к тому, что новый сигнал CS2 вызывает реакции, аналогичные CS1. Модель не может объяснить это явление, поскольку во время испытаний CS2–CS1 УЗИ не присутствует. Но позволив CS1 действовать аналогично США, можно согласовать модель с этим эффектом.

Сенсорная предварительная подготовка: Сенсорное предварительное кондиционирования означает сначала соединение двух новых сигналов (CS1–CS2), а затем соединение одного из них с УЗ (CS2–US). Это превращает CS1 и CS2 в условные возбудители. Модель RW не может объяснить это, поскольку во время фазы CS1–CS2 оба стимула имеют ассоциативное значение, равное нулю, и лямбда также равна нулю (US отсутствуют), что не приводит к изменению ассоциативной силы стимулов.

Успех и популярность

Модель Рескорлы-Вагнера обязана своим успехом нескольким факторам, в том числе ^[2]

он имеет относительно мало свободных параметров и независимых переменных
он может генерировать четкие и порядковые прогнозы
он сделал ряд успешных предсказаний
если использовать такие термины, как «предсказание» и «сюрприз», модель имеет интуитивную привлекательность.
он породил большое количество исследований, включая множество новых результатов и альтернативных теорий.

Ссылки

^ Хейзи, Томас Э.; Фрэнк, Майкл Дж.; О'Рейли, Рэндалл К. (1 апреля 2010 г.). «Нейронные механизмы, поддерживающие приобретенные фазические реакции дофамина в обучении: интегративный синтез» . Неврологические и биоповеденческие обзоры . 34 (5): 701–720. doi : 10.1016/j.neubiorev.2009.11.019 . ISSN 0149-7634 . ПМК 2839018 . ПМИД 19944716 .
^ Перейти обратно: ^а ^б Миллер, Ральф Р.; Барнет, Роберт С.; Грэм, Николас Дж. (1995). «Оценка модели Рескорлы-Вагнера» (PDF) . Психологический вестник . 117 (3). Американская психологическая ассоциация: 363–386. дои : 10.1037/0033-2909.117.3.363 . ПМИД 7777644 .
^ Ван Хамм, LJ; Вассерман, Э.А. (1994). «Конкуренция сигналов в суждениях о причинно-следственной связи: роль непредставления сложных элементов стимула» (PDF) . Обучение и мотивация . 25 (2): 127–151. дои : 10.1006/lmot.1994.1008 . Архивировано из оригинала (PDF) 7 апреля 2014 г.
^ Нэпьер, РМ; Макрэ, М.; Кехо, Э.Дж. (1992). «Быстрое восстановление реакции мигательной мембраны кролика». Журнал экспериментальной психологии: процессы поведения животных . 18 (2): 182–192. дои : 10.1037/0097-7403.18.2.182 .

Рескорла, Р.А. и Вагнер, А.Р. (1972) Теория павловского обусловливания: вариации в эффективности подкрепления и отсутствия подкрепления , Классическое обусловливание II, А.Х. Блэк и В.Ф. Прокаси, ред., стр. 64–99. Эпплтон-Сентьюри-Крофтс.

Внешние ссылки

Scholarpedia Модель Рескорлы – Вагнера
RW Simulator Симулятор модели Рескорла-Вагнера
Симулятор Рескорла-Вагнера в браузере
Симулятор с дизайном

[1] Хейзи, Томас Э.; Фрэнк, Майкл Дж.; О'Рейли, Рэндалл К. (1 апреля 2010 г.). «Нейронные механизмы, поддерживающие приобретенные фазические реакции дофамина в обучении: интегративный синтез» . Неврологические и биоповеденческие обзоры . 34 (5): 701–720. doi : 10.1016/j.neubiorev.2009.11.019 . ISSN 0149-7634 . ПМК 2839018 . ПМИД 19944716 .

[Assessment_of_model-2] Перейти обратно: ^а ^б Миллер, Ральф Р.; Барнет, Роберт С.; Грэм, Николас Дж. (1995). «Оценка модели Рескорлы-Вагнера» (PDF) . Психологический вестник . 117 (3). Американская психологическая ассоциация: 363–386. дои : 10.1037/0033-2909.117.3.363 . ПМИД 7777644 .

[3] Ван Хамм, LJ; Вассерман, Э.А. (1994). «Конкуренция сигналов в суждениях о причинно-следственной связи: роль непредставления сложных элементов стимула» (PDF) . Обучение и мотивация . 25 (2): 127–151. дои : 10.1006/lmot.1994.1008 . Архивировано из оригинала (PDF) 7 апреля 2014 г.

[4] Нэпьер, РМ; Макрэ, М.; Кехо, Э.Дж. (1992). «Быстрое восстановление реакции мигательной мембраны кролика». Журнал экспериментальной психологии: процессы поведения животных . 18 (2): 182–192. дои : 10.1037/0097-7403.18.2.182 .

[1]

[2]

[3]

[4]