Эффект Макгерка
Эффект Макгерка — это перцепционный феномен, демонстрирующий взаимодействие слуха и зрения при восприятии речи . Иллюзия возникает, когда слуховой компонент одного звука соединяется с визуальным компонентом другого звука, что приводит к восприятию третьего звука. [1] Визуальная информация, которую человек получает, видя, как он говорит, меняет то, как он слышит звук. [2] [3] Если человек получает слуховую информацию низкого качества, но визуальную информацию хорошего качества, он с большей вероятностью испытает эффект Макгерка. [4]
Способности интеграции аудио- и визуальной информации также могут влиять на то, испытает ли человек эффект. люди, которые лучше справляются с сенсорной интеграцией, более восприимчивы к этому эффекту. Было показано, что [2] На многих людей эффект МакГерка влияет по-разному, что зависит от многих факторов, включая повреждение головного мозга и другие расстройства.
Фон
[ редактировать ]Впервые он был описан в 1976 году в статье Гарри Макгерка и Джона Макдональда под названием «Слышать губы и видеть голоса» в журнале Nature (23 декабря 1976 года). [5] Этот эффект был обнаружен случайно, когда Макгерк и его научный сотрудник Макдональд попросили техника дублировать видео с фонемой , отличной от той, которую произносят, во время исследования того, как младенцы воспринимают речь на разных стадиях развития. При воспроизведении видео оба исследователя услышали третью фонему, а не ту, которую произносили или произносили на видео. [6]
Этот эффект можно ощутить, когда видео с воспроизведением одной фонемы дублируется со звукозаписью произнесения другой фонемы. Часто воспринимаемая фонема является третьей, промежуточной фонемой. Например, слоги /ба-ба/ произносятся посредством движений губ /га-га/, а восприятие происходит как /да-да/. Макгерк и Макдональд первоначально полагали, что это является результатом общих фонетических и визуальных свойств /b/ и /g/. [7] Наблюдались два типа иллюзий в ответ на неконгруэнтные аудиовизуальные стимулы: слияния («ба» слуховое и «га» зрительное производят «да») и комбинации («га» слуховое и «ба» зрительное производят «бга»). [8] Это попытка мозга предоставить сознанию наилучшее предположение о поступающей информации. [9] Информация, поступающая от глаз и ушей, противоречива, и в данном случае глаза (зрительная информация) оказали большее влияние на мозг, и, таким образом, были созданы реакции слияния и комбинирования. [9]
Зрение – основное чувство человека, [2] но восприятие речи мультимодально , что означает, что оно включает в себя информацию более чем из одной сенсорной модальности, в частности, слуха и зрения . Эффект Макгерка возникает во время фонетической обработки, поскольку интеграция аудио и визуальной информации происходит на ранних этапах восприятия речи. [7] Эффект Макгерка очень силен; то есть знание о нем, похоже, мало влияет на его восприятие. Это отличается от некоторых оптических иллюзий , которые разрушаются, как только человек «видит» их насквозь. Некоторые люди, в том числе те, кто исследует это явление более двадцати лет, испытывают эффект, даже когда осознают, что он имеет место. [8] [10] За исключением людей, которые могут распознать большую часть того, что говорится, только читая по губам , большинство людей весьма ограничены в своей способности распознавать речь только по визуальным сигналам. [2] Более обширное явление — способность зрительной речи повышать разборчивость услышанной речи в шумной обстановке. [2] Видимая речь также может изменить восприятие идеально слышимых звуков речи, когда визуальные речевые стимулы не совпадают со слуховой речью. [2] Обычно восприятие речи считается слуховым процессом; [2] однако мы используем информацию немедленно, автоматически и в значительной степени бессознательно. [10] и поэтому, несмотря на то, что широко считается истиной, речь — это не только то, что мы слышим. [10] Речь воспринимается всеми органами чувств, работающими вместе (видением, прикосновением и прослушиванием движений лица). [10] Мозг часто не осознает отдельных сенсорных вкладов того, что он воспринимает. [10] Поэтому, когда дело доходит до распознавания речи, мозг не может отличить, видит он или слышит входящую информацию. [10]
Оно также было рассмотрено в отношении показаний свидетелей. Исследование Уэрхема и Райта 2005 года показало, что противоречивая визуальная информация может изменить восприятие устных высказываний, предполагая, что эффект Макгерка может иметь множество влияний на повседневное восприятие. Не ограничиваясь слогами, эффект может проявляться в целых словах. [7] [11] и оказывать влияние на повседневные взаимодействия, о которых люди не подозревают. Исследования в этой области могут предоставить информацию не только по теоретическим вопросам, но также могут обеспечить терапевтическую и диагностическую значимость для людей с нарушениями, связанными с аудио- и визуальной интеграцией речевых сигналов. [12]
Факторы
[ редактировать ]Внутренний
[ редактировать ]Повреждение головного мозга
[ редактировать ]Оба полушария мозга вносят вклад в эффект Макгерка. [13] Они работают вместе, чтобы интегрировать речевую информацию, полученную через слуховые и зрительные органы чувств. Реакция Макгерка чаще встречается у правшей, у которых лицо имеет привилегированный доступ к правому полушарию, а слова — к левому. [13] У людей, перенесших каллозотомию , эффект МакГерка все еще присутствует, но значительно медленнее. [13] У людей с поражением левого полушария мозга зрительные особенности часто играют решающую роль в речевой и языковой терапии. [12] Люди с поражениями левого полушария мозга демонстрируют больший эффект МакГерка, чем здоровые люди из контрольной группы. [12] Визуальная информация сильно влияет на восприятие речи у этих людей. [12] Восприимчивость к иллюзии Макгерка отсутствует, если повреждение левого полушария привело к дефициту зрительного сегментарного восприятия речи. [14] У людей с повреждением правого полушария наблюдаются нарушения как задач визуальной, так и аудиовизуальной интеграции, хотя они все еще способны интегрировать информацию для создания эффекта МакГерка. [14] Интеграция появляется только в том случае, если для улучшения работоспособности используются зрительные стимулы, когда слуховой сигнал обеднен, но слышен. [14] Таким образом, у людей с поражением правого полушария мозга наблюдается эффект МакГерка, но эффект не такой сильный, как в нормальной группе.
Дислексия
[ редактировать ]Лица с дислексией демонстрируют меньший эффект МакГерка, чем нормальные читатели того же хронологического возраста, но они показали тот же эффект, что и читатели того же возраста, умеющие читать. [15] Дислексики особенно отличались комбинированными реакциями, а не реакциями слияния. [15] Меньший эффект Макгерка может быть связан с трудностями, с которыми сталкиваются дислексики при восприятии и воспроизведении групп согласных . [15]
Специфические языковые нарушения
[ редактировать ]Дети со специфическими языковыми нарушениями демонстрируют значительно меньший эффект МакГерка, чем средний ребенок. [16] Они используют меньше визуальной информации при восприятии речи или имеют пониженное внимание к артикуляционным жестам , но не испытывают проблем с восприятием только слуховых сигналов. [16]
Расстройства аутистического спектра
[ редактировать ]У детей с расстройствами аутистического спектра (РАС) эффект Макгерка был значительно снижен, чем у детей без него. [17] Однако если стимул был нечеловеческим (например, подпрыгивание теннисного мяча под звук прыгающего пляжного мяча), то они получали такие же оценки, как и дети без РАС. [17] У детей младшего возраста с РАС наблюдается очень низкий эффект МакГерка; однако с возрастом это уменьшается. По мере взросления людей эффект, который они демонстрируют, становится ближе к тем, у кого не было РАС. [18] Было высказано предположение, что ослабленный эффект МакГерка, наблюдаемый у людей с РАС, обусловлен дефицитом идентификации как слуховых, так и зрительных компонентов речи, а не интеграцией указанных компонентов (хотя различение речевых компонентов как речевых компонентов может быть изоморфно их интеграции). ). [19]
Нарушение способности к изучению языка
[ редактировать ]Взрослые с ограниченными возможностями в изучении языка демонстрируют гораздо меньший эффект МакГерка, чем другие взрослые. [20] Эти люди не так подвержены влиянию визуальных данных, как большинство людей. [20] Следовательно, люди с плохими языковыми навыками будут производить меньший эффект Макгерка. Причина меньшего эффекта в этой популяции заключается в том, что может существовать несвязанная активность между передними и задними областями мозга или левым и правым полушариями. [20] Возможна также мозжечковая или базальноганглиевая этиология.
болезнь Альцгеймера
[ редактировать ]У пациентов с болезнью Альцгеймера (БА) эффект МакГерка проявляется в меньшей степени, чем у пациентов без него. [21] Часто уменьшение размеров мозолистого тела приводит к процессу отключения полушарий. [21] Меньшее влияние на зрительные стимулы наблюдается у пациентов с БА, что является причиной снижения эффекта Мак-Герка. [21]
Шизофрения
[ редактировать ]Эффект Макгерка не так выражен у больных шизофренией, как у лиц, не страдающих шизофренией. Однако у взрослых она существенно не отличается. [22] Шизофрения замедляет развитие аудиовизуальной интеграции и не позволяет ей достичь пика развития. Однако никакой деградации не наблюдается. [22] Шизофреники при восприятии речи чаще полагаются на слуховые сигналы, чем на визуальные. [22]
Афазия
[ редактировать ]У людей с афазией наблюдается нарушение восприятия речи во всех условиях (только зрительное, только слуховое и аудиовизуальное), и поэтому наблюдается небольшой эффект Макгерка. [23] Наибольшую трудность для афазиков представляет только зрительный режим, показывающий, что они используют больше слуховых стимулов при восприятии речи. [23]
Биполярное расстройство
[ редактировать ]Небольшое исследование (N = 22 на группу) не выявило видимых различий между людьми с биполярным расстройством и людьми без него в отношении эффекта МакГерка. Однако люди с биполярным расстройством показали значительно более низкие результаты при чтении по губам. Это может свидетельствовать о том, что нервные пути, формирующиеся и активируемые при интеграции слуховой и зрительной речевой информации у людей с биполярным расстройством, отличаются от таковых у людей без каких-либо психических расстройств. [24]
Внешний
[ редактировать ]Кросс-дубляж
[ редактировать ]Несоответствие в категории гласных значительно снизило величину эффекта Макгерка для реакций слияния. [25] Слуховые токены /a/, дублированные на зрительные артикуляции /i/, были более совместимыми, чем наоборот. [25] Это может быть связано с тем, что /a/ имеет широкий диапазон артикуляционных конфигураций, тогда как /i/ более ограничен. [25] что значительно облегчает испытуемым обнаружение несоответствий в стимулах. [25] Контексты гласных /i/ производят самый сильный эффект, тогда как /a/ дает умеренный эффект, а /u/ почти не оказывает эффекта. [26]
Видимость рта
[ редактировать ]Эффект Макгерка сильнее, когда видна правая часть рта говорящего (слева от зрителя). [27] Люди склонны получать больше визуальной информации от правой стороны рта говорящего, чем от левой или даже всего рта. [27] Это относится к факторам внимания полушарий, которые обсуждались выше в разделе о полушариях мозга.
Визуальные отвлекающие факторы
[ редактировать ]Эффект Макгерка слабее, когда присутствует зрительный отвлекающий фактор, на который обращает внимание слушатель. [28] Зрительное внимание модулирует аудиовизуальное восприятие речи. [28] Другой формой отвлечения внимания является движение говорящего. Более сильный эффект Макгерка возникает, если лицо/голова говорящего неподвижны, а не двигаются. [29]
Слоговая структура
[ редактировать ]Сильный эффект Макгерка можно увидеть для слогов, состоящих из щелчков гласных, по сравнению со слабым эффектом для отдельных щелчков. [30] Это показывает, что эффект Макгерка может возникнуть и в неречевой среде. [30] Фонологическая значимость не является необходимым условием возникновения эффекта МакГерка; однако это увеличивает силу эффекта. [30]
Пол
[ редактировать ]Женщины демонстрируют более сильный эффект Макгерка, чем мужчины. Женщины демонстрируют значительно большее визуальное влияние на слуховую речь, чем мужчины, для кратких визуальных стимулов, но для полных стимулов разницы не наблюдается. [29] Еще одним аспектом гендерной проблематики является проблема мужских лиц и голосов как стимулов по сравнению с женскими лицами и голосами как стимулами. Хотя нет никакой разницы в силе эффекта Макгерка в обеих ситуациях. [31] Если мужское лицо озвучено женским голосом или наоборот, разницы в силе эффекта Макгерка все равно нет. [31] Знание того, что голос, который вы слышите, отличается от лица, которое вы видите (даже если оно разного пола), не устраняет эффект Макгерка. [10]
Знакомство
[ редактировать ]Субъекты, знакомые с лицами говорящих, менее подвержены эффекту Макгерка, чем те, кому лица говорящих незнакомы. [2] [26] С другой стороны, не было никакой разницы в отношении узнаваемости голоса. [26]
Ожидание
[ редактировать ]Семантическое соответствие оказало значительное влияние на иллюзию Макгерка. [32] Эффект ощущается чаще и оценивается как более явный в семантически конгруэнтном состоянии по сравнению с неконгруэнтным состоянием. [32] Когда человек ожидал определенного визуального или слухового явления на основе предшествующей ему семантической информации, эффект Макгерка значительно усиливался. [32]
Самовлияние
[ редактировать ]Эффект Макгерка можно наблюдать, когда слушатель одновременно является говорящим или артикулятором . [33] Глядя на себя в зеркало и артикулируя зрительные стимулы, слушая другой слуховой стимул, можно наблюдать сильный эффект Макгерка. [33] В другом состоянии, когда слушатель тихо произносит слуховые стимулы, наблюдая, как другой человек артикулирует противоречивые визуальные жесты, эффект Макгерка все еще можно увидеть, хотя он и слабее. [33]
Временная синхронность
[ редактировать ]Временная синхронность не является обязательной для присутствия эффекта Макгерка. [34] Субъекты по-прежнему находятся под сильным влиянием слуховых стимулов, даже если они отстают от зрительных стимулов на 180 миллисекунд (точка, в которой эффект Макгерка начинает ослабевать). [34] Терпимость к отсутствию синхронности была меньшей, если слуховые стимулы предшествовали зрительным. [34] Чтобы добиться значительного ослабления эффекта Макгерка, слуховые стимулы должны были опережать зрительные стимулы на 60 миллисекунд или отставать на 240 миллисекунд. [2]
Отвлечение физических задач
[ редактировать ]Эффект Макгерка значительно уменьшался, когда внимание переключалось на тактильную задачу (прикосновение к чему-либо). [35] Осязание — это сенсорное восприятие, такое же как зрение и слух, поэтому увеличение внимания к осязанию снижает внимание к слуховым и зрительным чувствам.
взгляд
[ редактировать ]Глазам не требуется фиксация , чтобы интегрировать звуковую и визуальную информацию при восприятии речи. [36] Не было никакой разницы в эффекте Макгерка, когда слушатель фокусировал взгляд на лице говорящего. [36] Эффект не проявляется, если слушатель фокусируется за пределами лица говорящего. [2] Для того чтобы эффект Макгерка стал незначительным, взгляд слушателя должен отклониться от рта говорящего как минимум на 60 градусов. [36]
Другие языки
[ редактировать ]Независимо от языка, все слушатели в той или иной степени полагаются на визуальную информацию при восприятии речи . Но интенсивность эффекта Макгерка различается в зависимости от языка. Голландский, [37] Английский, испанский, немецкий, итальянский и турецкий [38] слушатели языка испытывают сильный эффект МакГерка; Японские и китайские слушатели слабее. [39] Большинство исследований эффекта Макгерка между языками проводилось между английским и японским языками. Меньший эффект Макгерка наблюдается у японских слушателей, чем у английских слушателей. [37] [40] [41] [42] [43] [44] Культурная практика избегания лиц у японцев может уменьшить эффект Макгерка, а также тон и слоговую структуру языка. [37] Возможно, именно поэтому китайские слушатели менее восприимчивы к визуальным сигналам и, как и японцы, производят меньший эффект, чем английские слушатели. [37] Исследования также показывают, что у японских слушателей не наблюдается увеличения визуального влияния после шести лет, как у английских детей. [40] [41] Японские слушатели лучше определяют несовместимость между зрительными и слуховыми стимулами, чем английские слушатели. [37] [41] Эта большая способность может быть связана с отсутствием в японском языке групп согласных . [37] [42] Тем не менее, слушатели всех языков прибегают к визуальным стимулам, когда речь неразборчива; тогда эффект Макгерка применим к ним в равной степени. [37] [42] Эффект Макгерка работает со слушателями каждого протестированного языка. [10]
Нарушение слуха
[ редактировать ]Были проведены эксперименты с участием слабослышащих людей и людей, у которых были кохлеарные имплантаты . Эти люди склонны более взвешивать визуальную информацию из речи, чем слуховую. [45] По сравнению с людьми с нормальным слухом, это не отличается, если только в слове не более одного слога. [45] Что касается эксперимента Макгерка, ответы пользователей с кохлеарной имплантацией вызывали те же реакции, что и нормально слышащие люди, когда слуховой билабиальный стимул дублировался на зрительный велярный стимул. [45] Однако, когда слуховой зубной стимул дублируется на зрительный билабиальный стимул, реакции совершенно разные. Эффект Макгерка все еще присутствует у людей с нарушениями слуха или у людей, использующих кохлеарные имплантаты, хотя в некоторых аспектах он совершенно иной.
Младенцы
[ редактировать ]Измеряя внимание младенца к определенным аудиовизуальным стимулам, можно записать реакцию, соответствующую эффекту Макгерка. [2] [10] [46] [47] [48] В возрасте от нескольких минут до пары дней младенцы могут имитировать движения лица взрослых, а в течение нескольких недель после рождения младенцы могут распознавать движения губ и звуки речи. [49] На этом этапе интеграция аудио и визуальной информации может произойти, но не на профессиональном уровне. [49] Первые признаки эффекта Макгерка можно увидеть в возрасте четырех месяцев; [46] [47] однако больше доказательств обнаружено для 5-месячных детей. [2] [10] [48] [50] В процессе привыкания младенца к определенному стимулу и последующего изменения стимула (или его части, например, с ба-голосового/ва-визуального на да-голосовый/ва-визуальный), становится очевидной реакция, имитирующая эффект Макгерка. . [10] [48] Сила эффекта Макгерка отражает закономерность развития, которая увеличивается на протяжении всего детства и распространяется на взрослую жизнь. [47] [48]
См. также
[ редактировать ]- Дуплексное восприятие
- Идеястезия
- Чтение по губам
- Двигательная теория восприятия речи
- Мультисенсорная интеграция
- Восприятие речи
- Виземе
- Янни или Лорел
Ссылки
[ редактировать ]- ^ Нат, Арканзас; Бошан, MS (январь 2012 г.). «Нейронная основа межиндивидуальных различий в эффекте Макгерка, мультисенсорной речевой иллюзии» . НейроИмидж . 59 (1): 781–787. doi : 10.1016/j.neuroimage.2011.07.024 . ПМК 3196040 . ПМИД 21787869 .
- ^ Перейти обратно: а б с д и ж г час я дж к л Калверт, Джемма; Спенс, Чарльз; Штейн, Барри Э. (2004). Справочник мультисенсорных процессов . Кембридж, Массачусетс: MIT Press. ISBN 978-0-262-03321-3 . OCLC 54677752 .
- ^ Боерсма, Пол (2011). «Объяснение эффекта Макгерка на основе ограничений» (PDF) . Проверено 19 октября 2013 г.
- ^ Массаро, Д.В.; Коэн, ММ (август 2000 г.). «Тестирование эффективности слухозрительной интеграции в рамках нечетко-логической модели восприятия». Журнал Акустического общества Америки . 108 (2): 784–789. Бибкод : 2000ASAJ..108..784M . дои : 10.1121/1.429611 . ПМИД 10955645 .
- ^ МакГурк Х., Макдональд Дж. (1976). «Слышать губы и видеть голоса». Природа . 264 (5588): 746–748. Бибкод : 1976Natur.264..746M . дои : 10.1038/264746a0 . ПМИД 1012311 . S2CID 4171157 .
- ^ «Эффект Макгерка: слышать губы и видеть голоса» . Архивировано из оригинала 29 марта 2016 года . Проверено 2 октября 2011 г.
- ^ Перейти обратно: а б с Барутчу, Айла; Крютер; Кили; Мерфи (2008). «Когда /b/ill с /g/ill становится /d/ill: свидетельства лексического эффекта в аудиовизуальном восприятии речи». Европейский журнал когнитивной психологии . 20 (1): 1–11. дои : 10.1080/09541440601125623 . S2CID 144852134 .
- ^ Перейти обратно: а б Колин, К.; Радо, М.; Дельтенр, П. (2011). «Модуляция аудиовизуальной интеграции речи сверху вниз и снизу вверх» (PDF) . Европейский журнал когнитивной психологии . 17 (4): 541–560. дои : 10.1080/09541440440000168 . S2CID 38546088 .
- ^ Перейти обратно: а б О'Ши, М. (2005). Мозг: очень краткое введение . Издательство Оксфордского университета.
- ^ Перейти обратно: а б с д и ж г час я дж к Розенблюм, Л.Д. (2010). Посмотрите, что я говорю: необычайная сила наших пяти чувств . Нью-Йорк, штат Нью-Йорк: WW Norton & Company Inc.
- ^ Джентилуччи, М.; Каттанео, Л. (2005). «Автоматическая аудиовизуальная интеграция при восприятии речи». Экспериментальное исследование мозга . 167 (1): 66–75. дои : 10.1007/s00221-005-0008-z . ПМИД 16034571 . S2CID 20166301 .
- ^ Перейти обратно: а б с д Шмид, Г.; Тильманн, А.; Зиглер, В. (2009). «Влияние зрительной и слуховой информации на восприятие речи и неречевых движений рта у больных с поражением левого полушария». Клиническая лингвистика и фонетика . 23 (3): 208–221. дои : 10.1080/02699200802399913 . ПМИД 19283578 . S2CID 40852629 .
- ^ Перейти обратно: а б с Бэйнс, К.; Фаммелл, М.; Фаулер, К. (1994). «Вклад полушарий в интеграцию зрительной и слуховой информации при восприятии речи» . Восприятие и психофизика . 55 (6): 633–641. дои : 10.3758/bf03211678 . ПМИД 8058451 .
- ^ Перейти обратно: а б с Николсон, К.; Баум, С.; Кадди, Л.; Манхолл, К. (2002). «Случай нарушения слухового и зрительного просодического восприятия речи после повреждения правого полушария». Нейрокейз . 8 (4): 314–322. дои : 10.1093/neucas/8.4.314 . ПМИД 12221144 .
- ^ Перейти обратно: а б с Бастьен-Тониаццо, М.; Струмза, А.; Каве, К. (2009). «Аудиовизуальное восприятие и интеграция при дислексии развития: предварительное исследование с использованием эффекта Макгерка». Современные письма по психологии . 25 (3): 2–14.
- ^ Перейти обратно: а б Норрикс, Л.; Плант, Э.; Вэнс, Р.; Болик, К. (2007). «Слуховизуальная интеграция речи детей со специфическими языковыми нарушениями и без них». Журнал исследований речи, языка и слуха . 50 (6): 1639–1651. дои : 10.1044/1092-4388(2007/111) . ПМИД 18055778 .
- ^ Перейти обратно: а б Монгилло, Э.; Ирвин, Дж.; Уэлен, Д.; Клейман, К. (2008). «Аудиовизуальная обработка у детей с расстройствами аутистического спектра и без них». Журнал аутизма и нарушений развития . 38 (7): 1349–1358. дои : 10.1007/s10803-007-0521-y . ПМИД 18307027 . S2CID 8265591 .
- ^ Тейлор, Н.; Исаак, К.; Милн, Э. (2010). «Сравнение развития аудиовизуальной интеграции у детей с расстройствами аутистического спектра и типично развивающихся детей» (PDF) . Журнал аутизма и нарушений развития . 40 (11): 1403–1411. дои : 10.1007/s10803-010-1000-4 . ПМИД 20354776 . S2CID 38370295 .
- ^ Уильямс, JHG; Массаро, Д.В.; Пил, Нью-Джерси; Босселер, А.; Суддендорф, Т. (2004). «Визуально-слуховая интеграция при имитации речи при аутизме». Исследования нарушений развития . 25 (6): 559–575. дои : 10.1016/j.ridd.2004.01.008 . ПМИД 15541632 .
- ^ Перейти обратно: а б с Норрикс, Л.; Планте, Э.; Вэнс, Р. (2006). «Слуховизуальная речевая интеграция взрослых с нарушениями в изучении языка и без них». Журнал коммуникативных расстройств . 39 (1): 22–36. дои : 10.1016/j.jcomdis.2005.05.003 . ПМИД 15950983 .
- ^ Перейти обратно: а б с Дельбек, X.; Коллетт, Ф.; Ван дер Линден, М. (2007). «Является ли болезнь Альцгеймера синдромом разъединения? Данные кроссмодального аудиовизуального иллюзорного эксперимента». Нейропсихология . 45 (14): 3315–3323. doi : 10.1016/j.neuropsychologia.2007.05.001 . hdl : 2268/4759 . ПМИД 17765932 . S2CID 8675718 .
- ^ Перейти обратно: а б с Перл, Д.; Йодашкин-Порат, Д.; Нахум, К.; Валевский А.; Айзенберг, Д.; Сиглер, М.; Вейцман, А.; Кикинзон, Л. (2009). «Различия в аудиовизуальной интеграции, измеренной с помощью феномена Макгерка, среди взрослых и подростков, больных шизофренией, и здоровых контрольных групп того же возраста». Комплексная психиатрия . 50 (2): 186–192. дои : 10.1016/j.comppsych.2008.06.004 . ПМИД 19216897 .
- ^ Перейти обратно: а б Юсе, К.; Ценковский, К.; Коэльо, К. (2004). «Слухово-зрительное восприятие речи у взрослого с афазией». Травма головного мозга . 18 (8): 825–834. дои : 10.1080/02699000410001671784 . ПМИД 15204322 . S2CID 8579511 .
- ^ Ёрдамлы, А.; Эрденер, Д. (2018). «Слухово-визуальная речевая интеграция при биполярном расстройстве: предварительное исследование» . Языки . 3 (4): 38. doi : 10.3390/languages3040038 .
- ^ Перейти обратно: а б с д Грин, КП; Гердеман, А. (1995). «Кросс-модальные несоответствия в коартикуляции и интеграции речевой информации: эффект Макгерка с несовпадающими гласными». Журнал экспериментальной психологии: человеческое восприятие и деятельность . 21 (6): 1409–1426. дои : 10.1037/0096-1523.21.6.1409 . ПМИД 7490588 .
- ^ Перейти обратно: а б с Уокер, С.; Брюс, В.; О'Мэлли, К. (1995). «Идентификация лица и обработка речи на лице: знакомые лица и голоса в эффекте Макгерка» . Восприятие и психофизика . 57 (8): 1124–1133. дои : 10.3758/bf03208369 . ПМИД 8539088 .
- ^ Перейти обратно: а б Николлс, М.; Сирл, Д.; Брэдшоу, Дж. (2004). «Читайте по моим губам: асимметрия в визуальном выражении и восприятии речи, выявленная благодаря эффекту Макгерка». Психологическая наука . 15 (2): 138–141. дои : 10.1111/j.0963-7214.2004.01502011.x . ПМИД 14738522 . S2CID 9849205 .
- ^ Перейти обратно: а б Тииппана, К.; Андерсен, Т.С.; Сэмс, М. (2004). «Визуальное внимание модулирует аудиовизуальное восприятие речи». Европейский журнал когнитивной психологии . 16 (3): 457–472. дои : 10.1080/09541440340000268 . S2CID 8825535 .
- ^ Перейти обратно: а б Ирвин-младший; Уэлен, Д.Х.; Фаулер, Калифорния (2006). «Половые различия во визуальном влиянии на услышанную речь» . Восприятие и психофизика . 68 (4): 582–592. дои : 10.3758/bf03208760 . ПМИД 16933423 .
- ^ Перейти обратно: а б с Бранкацио, Л.; Бест, Коннектикут; Фаулер, Калифорния (2006). «Визуальные влияния на восприятие речи и неречевых событий голосового аппарата» . Язык и речь . 49 (1): 21–53. дои : 10.1177/00238309060490010301 . ПМЦ 2773261 . ПМИД 16922061 .
- ^ Перейти обратно: а б Грин, К.; Куль, П.; Мельцов, А.; Стивенс, Э. (1991). «Интеграция речевой информации между говорящими, полом и сенсорной модальностью: женские лица и мужские голоса в эффекте Макгерка» . Восприятие и психофизика . 50 (6): 524–536. дои : 10.3758/bf03207536 . ПМИД 1780200 .
- ^ Перейти обратно: а б с Виндманн, С. (2004). «Влияние контекста предложения и ожиданий на иллюзию Макгерка». Журнал памяти и языка . 50 (1): 212–230. дои : 10.1016/j.jml.2003.10.001 .
- ^ Перейти обратно: а б с Сэмс, М.; Моттонен, Р.; Сихвонен, Т. (2005). «Видеть и слышать разговоры других и самого себя». Когнитивные исследования мозга . 23 (1): 429–435. дои : 10.1016/j.cogbrainres.2004.11.006 . ПМИД 15820649 .
- ^ Перейти обратно: а б с Манхолл, К.; Гриббл, П.; Сакко, Л.; Уорд, М. (1996). «Временные ограничения эффекта Макгерка» . Восприятие и психофизика . 58 (3): 351–362. дои : 10.3758/bf03206811 . ПМИД 8935896 .
- ^ Алсиус, А.; Наварра, Дж.; Сото-Фарако, С. (2007). «Внимание к прикосновениям ослабляет аудиовизуальную речевую интеграцию». Экспериментальное исследование мозга . 183 (1): 399–404. дои : 10.1007/s00221-007-1110-1 . ПМИД 17899043 . S2CID 8430729 .
- ^ Перейти обратно: а б с Паре, М.; Ричлер, К.; Хоув, М.; Манхолл, К. (2003). «Поведение взгляда при аудиовизуальном восприятии речи: влияние глазных фиксаций на эффект Макгерка» . Восприятие и психофизика . 65 (4): 533–567. дои : 10.3758/bf03194582 . ПМИД 12812278 .
- ^ Перейти обратно: а б с д и ж г Сэкияма, К. (1997). «Культурные и лингвистические факторы в аудиовизуальной обработке речи: эффект Макгерка у китайских субъектов» . Восприятие и психофизика . 59 (1): 73–80. дои : 10.3758/bf03206849 . ПМИД 9038409 .
- ^ Эрденер, Д. (декабрь 2015 г.). «Иллюзия Макгерка по-турецки» (PDF) . Турецкий журнал психологии . 30 (76): 19–31.
- ^ Баво, Р.; Чорба, А.; Проссер, С.; Мартини, А. (2009). «Феномен Макгерка у итальянских слушателей» . Acta Otorhinolaryngologica Italica . 29 (4): 203–208. ПМК 2816368 . ПМИД 20161878 .
- ^ Перейти обратно: а б Хисанага С., Секияма К., Игасаки Т., Мураяма Н. (2009). Аудиовизуальное восприятие речи на японском и английском языках: межъязыковые различия, изучаемые с помощью потенциала, связанного с событиями. Получено с http://www.isca-speech.org/archive_open/avsp09/papers/av09_038.pdf. Архивировано 4 марта 2016 г. на Wayback Machine.
- ^ Перейти обратно: а б с Сэкияма, К.; Бернэм, Д. (2008). «Влияние языка на развитие слухозрительного восприятия речи». Наука развития . 11 (2): 306–320. дои : 10.1111/j.1467-7687.2008.00677.x . ПМИД 18333984 .
- ^ Перейти обратно: а б с Сэкияма, К.; Токура, Ю. (1991). «Эффект Макгерка у слушателей, не говорящих по-английски: мало визуальных эффектов для японцев, слышащих японские слоги с высокой слуховой разборчивостью». Журнал Акустического общества Америки . 90 (4, ч. 1): 1797–1805. Бибкод : 1991ASAJ...90.1797S . дои : 10.1121/1.401660 . ПМИД 1960275 .
- ^ Ву, Дж. (2009). Восприятие речи и эффект Макгерка: межкультурное исследование с использованием событийно-связанных потенциалов (Диссертация). Университет Луисвилля.
- ^ Гелдер, Б.; Бертельсон, П.; Врумен, Дж.; Чин Чен, Х. (1995). «Межъязыковые различия в эффекте Макгерка для голландских и кантонских слушателей» .
- ^ Перейти обратно: а б с Руджер, Дж.; Фрайсс, Б.; Дегин, О.; Бароне, П. (2008). «Эффекты Макгерка у глухих с кохлеарной имплантацией». Исследования мозга . 1188 : 87–99. дои : 10.1016/j.brainres.2007.10.049 . ПМИД 18062941 . S2CID 8858346 .
- ^ Перейти обратно: а б Бристоу, Д.; Деэн-Ламбертц, Г.; Мэттут, Дж.; Соареш, К.; Глига, Т.; Байе, С.; Манжен, Дж. Ф. (2009). «Слышание лиц: как мозг ребенка сопоставляет лицо, которое он видит, с речью, которую он слышит». Журнал когнитивной нейронауки . 21 (5): 905–921. CiteSeerX 10.1.1.147.8793 . дои : 10.1162/jocn.2009.21076 . ПМИД 18702595 . S2CID 11759568 .
- ^ Перейти обратно: а б с Бернэм, Д.; Додд, Б. (2004). «Слухово-визуальная речевая интеграция долингвистических младенцев: восприятие возникающего согласного в эффекте Макгерка». Развивающая психобиология . 45 (4): 204–220. дои : 10.1002/dev.20032 . ПМИД 15549685 .
- ^ Перейти обратно: а б с д Розенблюм, LD; Шмуклер, Массачусетс; Джонсон, Дж.А. (1997). «Эффект Макгерка у младенцев» . Восприятие и психофизика . 59 (3): 347–357. дои : 10.3758/bf03211902 . ПМИД 9136265 .
- ^ Перейти обратно: а б Вудхаус, Л.; Хиксон, Л.; Додд, Б. (2009). «Обзор визуального восприятия речи слышащими и слабослышащими людьми: Клинические последствия». Международный журнал языковых и коммуникативных расстройств . 44 (3): 253–270. дои : 10.1080/13682820802090281 . ПМИД 18821117 .
- ^ Кушнеренко Е.; Тейнонен, Т.; Волейн, А.; Чибра, Г. (2008). «Электрофизиологические доказательства иллюзорного аудиовизуального восприятия речи у младенцев» . Труды Национальной академии наук Соединенных Штатов Америки . 105 (32): 11442–11445. Бибкод : 2008PNAS..10511442K . дои : 10.1073/pnas.0804275105 . ПМК 2516214 . ПМИД 18682564 .
Библиография
[ редактировать ]- МакГерк, Х .; Макдональд, Дж. (1976). «Слышать губы и видеть голоса». Природа . 264 (5588): 746–748. Бибкод : 1976Natur.264..746M . дои : 10.1038/264746a0 . ПМИД 1012311 . S2CID 4171157 .
- Райт, Дэниел; Уэрхэм, Гэри (2005). «Смешение звука и изображения: взаимодействие слуховой и визуальной информации для свидетелей места преступления». Юридическая и криминологическая психология . 10 (1): 103–108. дои : 10.1348/135532504x15240 . S2CID 18781846 .
Внешние ссылки
[ редактировать ]- Объяснение эффекта МакГурка, основанное на ограничениях, описание эффекта МакГерка Полом Боерсмой из Амстердамского университета. PDF доступен на академической веб-странице автора.
- Попробуйте эффект Макгерка! – Горизонт: увидеть или поверить? - Би-би-си Два
- Эффект Макгерка (с пояснением)