Тест Салли-Энн
Тест Салли-Энн — это психологический тест , первоначально задуманный Дэниелом Деннеттом и используемый в психологии развития способностей человека для измерения социальных когнитивных приписывать ложные убеждения другим. [ 1 ] На основе более раннего новаторского исследования Виммера и Пернера (1983): [ 2 ] тест Салли-Энн был назван так Саймоном Бароном-Коэном , Аланом М. Лесли и Утой Фрит (1985), которые разработали тест дальше; [ 3 ] в 1988 году Лесли и Фрит повторили эксперимент с актерами-людьми (а не с куклами) и получили аналогичные результаты. [ 4 ]
Описание теста
[ редактировать ]Чтобы разработать эффективный тест, Baron-Cohen et al. модифицировал парадигму кукольной игры Уиммера и Пернера (1983), в которой куклы представляют собой осязаемых персонажей истории, а не гипотетических персонажей чистого повествования.
В процессе тестирования после знакомства с куклами ребенку задается контрольный вопрос на запоминание их названий ( Вопрос на называние ). Затем разыгрывается короткая сценка; Салли берет шарик и прячет его в корзину. Затем она «выходит» из комнаты и идет на прогулку. Пока ее нет, Энн достает шарик из корзины Салли и кладет его в свою коробку. Затем снова представляют Салли и ребенку задают ключевой вопрос, вопрос убеждения : «Где Салли будет искать свой шарик?» [ 3 ]
Барона-Коэна, Лесли и Фрита В исследовании теории разума при аутизме 61 ребенок — 20 из которых был диагностирован аутизмом по установленным критериям, 14 — с синдромом Дауна и 27 из которых были определены как клинически здоровые — были протестированы с помощью «Салли " и "Анна". [ 3 ]
Результаты
[ редактировать ]Чтобы участник прошел этот тест, он должен правильно ответить на вопрос об убеждениях , указав, что Салли считает, что шарик находится в ее собственной корзине. Этот ответ соответствует точке зрения Салли, но не соответствует точке зрения самого участника. Если участник не может принять альтернативную точку зрения, он укажет, что у Салли есть основания полагать, как и участник, что шарик сдвинулся. Таким образом, прохождение теста рассматривается как проявление понимания участником того, что у Салли есть свои собственные убеждения, которые могут не коррелировать с реальностью; это основное требование теории разума . [ 5 ]
В деле Барона-Коэна и др. (1985) 23 из 27 клинически здоровых детей (85%) и 12 из 14 детей с синдромом Дауна (86%) правильно ответили на вопрос об убеждениях . Однако только четверо из 20 детей с аутизмом (20%) ответили правильно. В целом, дети в возрасте до четырех лет, как и большинство детей-аутистов (старшего возраста), ответили на вопрос об убеждениях «коробкой Анны», по-видимому, не подозревая, что Салли не знает, что ее шарик переместили. [ 3 ]
Критика
[ редактировать ]Хотя данные Барона-Коэна и др. предположительно указывают на отсутствие теории разума у аутичных детей, существуют и другие возможные факторы, влияющие на них. Например, аутичные люди могут выполнить когнитивно более простое задание на запоминание, но языковые проблемы как у аутичных детей, так и у глухих контрольных детей, как правило, искажают результаты. [ 6 ]
Раффман, Гарнэм и Райдаут (2001) дополнительно исследовали связь между тестом Салли-Энн и аутизмом с точки зрения взгляда в глаза как социальной коммуникативной функции. Они добавили третье возможное место для шарика: карман сыщика. Когда дети с аутизмом и дети с умеренными нарушениями обучаемости были протестированы в этом формате, они обнаружили, что обе группы одинаково хорошо ответили на вопрос об убеждениях; однако участники с умеренными нарушениями обучаемости достоверно смотрели на правильное расположение шарика, а участники с аутизмом - нет, даже если участник с аутизмом отвечал на вопрос правильно. [ 7 ] Эти результаты могут быть выражением социальных недостатков, связанных с аутизмом.
Тагер-Флюсберг (2007) утверждает, что, несмотря на эмпирические результаты, полученные при выполнении задачи Салли-Энн, среди ученых растет неуверенность в важности лежащей в основе гипотезы теории разума об аутизме. Во всех проведенных исследованиях некоторые дети с аутизмом выполняли задания, основанные на ложных убеждениях, такие как Салли-Энн. [ 8 ]
У других гоминидов
[ редактировать ]Отслеживание глаз шимпанзе, бонобо и орангутанов предполагает, что все трое предвидят ложные убеждения субъекта в костюме Кинг-Конга и проходят тест Салли-Энн. [ 9 ] [ 10 ]
Искусственный интеллект
[ редактировать ]Исследователи искусственного интеллекта и вычислительной когнитивной науки уже давно пытаются с помощью вычислений смоделировать способность человека рассуждать о (ложных) убеждениях других в таких задачах, как тест Салли-Энн. Для воспроизведения этой способности в компьютерах было предпринято множество подходов, в том числе подходы с использованием нейронных сетей. [ 11 ] распознавание эпистемического плана, [ 12 ] и байесовская теория разума. [ 13 ] Эти подходы обычно моделируют агентов как рационально выбирающих действия на основе своих убеждений и желаний, что можно использовать либо для прогнозирования их будущих действий (как в тесте Салли-Энн), либо для вывода об их текущих убеждениях и желаниях. В ограниченных настройках эти модели способны воспроизводить человеческое поведение при выполнении задач, подобных тесту Салли-Энн, при условии, что задачи представлены в машиночитаемом формате .
22 марта 2023 года исследовательская группа Microsoft опубликовала документ, показывающий, что на основе LLM система искусственного интеллекта GPT-4 может пройти тест Салли-Энн, который авторы интерпретируют как «предполагающее, что GPT-4 имеет очень продвинутый уровень теории разума». [ 14 ] Однако общность этого вывода оспаривается несколькими другими статьями, которые указывают, что способность GPT-4 рассуждать о убеждениях других агентов остается ограниченной (точность 59% по тесту ToMi ). [ 15 ] и не устойчив к «состязательным» изменениям теста Салли-Энн, с которым люди гибко справляются. [ 16 ] [ 17 ] Хотя некоторые авторы утверждают, что производительность GPT-4 при выполнении задач, подобных Салли-Энн, можно повысить до 100% за счет улучшенных стратегий подсказок, [ 18 ] этот подход, по-видимому, повышает точность только до 73% в более крупном наборе данных ToMi. [ 16 ] В смежной работе исследователи обнаружили, что LLM не обладают подобной человеческой интуицией в отношении целей, которых достигают другие агенты. [ 19 ] и что они не делают достоверных выводов о целях других агентов на основе наблюдаемых действий. [ 20 ] Таким образом, степень, в которой LLM, такие как GPT-4, могут осуществлять социальное мышление, остается активной областью исследований.
Ссылки
[ редактировать ]- ^ Виммер, Хайнц; Пернер, Йозеф (январь 1983 г.). «Убеждения об убеждениях: репрезентация и ограничивающая функция неправильных убеждений в понимании обмана детьми младшего возраста». Познание . 13 (1): 103–128. дои : 10.1016/0010-0277(83)90004-5 . ПМИД 6681741 . S2CID 17014009 .
- ^ Виммер и Пернер (1983). «Убеждения об убеждениях: репрезентация и сдерживающая функция неправильных убеждений в понимании обмана детьми младшего возраста. Познание, 13, 103-128» .
{{cite web}}: CS1 maint: числовые имена: список авторов ( ссылка ) - ^ Jump up to: а б с д Барон-Коэн, Саймон; Лесли, Алан М.; Фрит, Юта (октябрь 1985 г.). «Есть ли у аутичного ребенка «теория разума»?». Познание . 21 (1): 37–46. дои : 10.1016/0010-0277(85)90022-8 . ПМИД 2934210 . S2CID 14955234 . PDF.
- ^ Лесли, Алан М.; Фрит, Юта (ноябрь 1988 г.). «Понимание детьми-аутистами того, что они видят, знают и верят». Британский журнал психологии развития . 6 (4): 315–324. дои : 10.1111/j.2044-835X.1988.tb01104.x .
- ^ Премак, Дэвид; Вудрафф, Гай (декабрь 1978 г.). «Есть ли у шимпанзе теория разума?» . Поведенческие и мозговые науки . 1 (4): 515–526. дои : 10.1017/S0140525X00076512 .
- ^ «Аутизм и теория разума: теория в переходном периоде» . www.jeramyt.org . Проверено 9 октября 2016 г.
- ^ Раффман, Тед; Гарнем, Венди; Райдаут, Пол (ноябрь 2001 г.). «Социальное понимание при аутизме: взгляд как мера основных идей». Журнал детской психологии и психиатрии . 42 (8): 1083–1094. дои : 10.1111/1469-7610.00807 . ПМИД 11806690 .
- ^ Тагер-Флюсберг, Хелен (декабрь 2007 г.). «Оценка гипотезы теории разума об аутизме». Современные направления психологической науки . 16 (6): 311–315. дои : 10.1111/j.1467-8721.2007.00527.x . S2CID 16474678 .
- ^ Крупенье, Кристофер; Кано, Фумихиро; Хирата, Сатоши; Позвони, Жозеп; Томаселло, Майкл (07 октября 2016 г.). «Обезьяны ожидают, что другие люди будут действовать в соответствии с ложными убеждениями» . Наука . 354 (6308): 110–114. Бибкод : 2016Sci...354..110K . doi : 10.1126/science.aaf8110 . hdl : 10161/13632 . ISSN 0036-8075 . ПМИД 27846501 .
- ^ Девлин, Ханна (06 октября 2016 г.). «Обезьяны могут угадывать, о чем думают другие, так же, как и люди, как показывают исследования» . Хранитель . ISSN 0261-3077 . Проверено 9 октября 2016 г.
- ^ Рабиновиц, Нил; Пербет, Фрэнк; Сонг, Фрэнсис; Чжан, Чиюань; Эслами, С.М. Али; Ботвиник, Мэтью (3 июля 2018 г.). «Машинная теория разума» . Материалы 35-й Международной конференции по машинному обучению . ПМЛР: 4218–4227.
- ^ Шво, Мааян; Классен, Торин К.; Сохраби, Ширин; Макилрайт, Шейла А. (13 мая 2020 г.). «Распознавание эпистемического плана» . Материалы 19-й Международной конференции по автономным агентам и мультиагентным системам . ААМАС '20. Ричленд, Южная Каролина: Международный фонд автономных агентов и мультиагентных систем: 1251–1259. ISBN 978-1-4503-7518-4 .
- ^ Бейкер, Крис Л.; Хара-Эттингер, Джулиан; Сакс, Ребекка; Тененбаум, Джошуа Б. (13 марта 2017 г.). «Рациональная количественная атрибуция убеждений, желаний и восприятий в ментализации человека» . Природа человеческого поведения . 1 (4): 1–10. дои : 10.1038/s41562-017-0064 . ISSN 2397-3374 . S2CID 3338320 .
- ^ Бубек, Себастьян; Чандрасекаран, Варун; Эльдан, Ронен; Герке, Джон; Хорвиц, Эрик; Камар, Эдже; Ли, Питер; Ли, Инь Тат; Ли, Юаньчжи; Лундберг, Скотт; Нори, Харша; Плита, Хамид; Рибейро, Марк Туллий; Чжан, И (2023). «Искры общего искусственного интеллекта: ранние эксперименты с GPT-4» arXiv : 2303.12712v5 [ cs.CL ].
- ^ Сап, Мартен; ЛеБрас, Ронан; Фрид, Дэниел; Чой, Еджин (2022). «Нейронная теория разума? О пределах социального интеллекта в больших LM». arXiv : 2210.13312 [ cs.CL ].
- ^ Jump up to: а б Шапира, Натали; Леви, Мош; Алави, Сейед Хосейн; Чжоу, Сюйхуэй; Чой, Еджин; Гольдберг, Йоав; Сап, Мартен; Шварц, Веред (2023). «Умный Ганс или нейронная теория разума? Стресс-тестирование социальных рассуждений в больших языковых моделях». arXiv : 2305.14763 [ cs.CL ].
- ^ Ульман, Томер (2023). «Большие языковые модели не справляются с тривиальными изменениями в задачах теории разума». arXiv : 2302.08399 [ cs.AI ].
- ^ Могаддам, Шима Рахими; Дорогая, Кристофер Дж. (2023). «Повышение производительности теории разума в больших языковых моделях с помощью подсказок». arXiv : 2304.11490 [ cs.AI ].
- ^ Руис, Лаура; Финдейс, Ардуин; Брэдли, Херби; Рахмани, Хосейн А.; Чхве, Кён Ван; Грефенштетт, Эдвард; Роктешель, Тим (29 июня 2023 г.). «Кодирует ли LLM выборочно цель достижения агента?» .
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) - ^ Инь, Лэнс; Коллинз, Кэтрин М.; Вэй, Меган; Чжан, Седегао Э.; Чжи-Сюань, Тан; Веллер, Адриан; Тененбаум, Джошуа Б.; Вонг, Лайонел (2023). «Нейро-символическая машина обратного планирования (NIPE): моделирование вероятностных социальных выводов на основе лингвистических входных данных». arXiv : 2306.14325 [ cs.AI ].