✖


Jump to content

Чтение по губам

(Перенаправлено с «Чтение по губам» )

Чтение по губам , также известное как чтение речи , представляет собой метод понимания ограниченного диапазона речи путем визуальной интерпретации движений губ, лица и языка без звука. Оценки диапазона чтения по губам различаются: некоторые цифры достигают 30%, поскольку чтение по губам зависит от контекста, знания языка и остаточного слуха. [1] Хотя чтение по губам чаще всего используется глухими и слабослышащими людьми, большинство людей с нормальным слухом обрабатывают некоторую речевую информацию, видя движущийся рот. [2]

Процесс

[ редактировать ]

Хотя восприятие речи считается слуховым навыком, оно по своей сути мультимодально, поскольку для произнесения речи требуется, чтобы говорящий совершал движения губ, зубов и языка, которые часто видны при личном общении. Информация, поступающая с губ и лица, способствует восприятию на слух. [3] и большинство слушателей, свободно владеющих языком, чувствительны к видимым речевым действиям (см. Эффект Макгерка ). Степень, в которой люди используют увиденные речевые действия, зависит от заметности речевого действия, а также знаний и навыков воспринимающего.

Фонемы и висемы

[ редактировать ]

Фонема — это наименьшая обнаруживаемая звуковая единица языка, которая служит для различения слов друг от друга. /pit/ и /pik/ различаются одной фонемой и относятся к разным понятиям. Разговорный английский имеет около 44 фонем. При чтении по губам количество визуально различающихся единиц — визем — намного меньше, поэтому несколько фонем сопоставляются с несколькими виземами. Это связано с тем, что многие фонемы образуются во рту и горле и их трудно увидеть. К ним относятся голосовые согласные и большинство жестов языка. Звонкие и глухие пары выглядят одинаково, например [p] и [b], [k] и [g], [t] и [d], [f] и [v], и [s] и [z]; аналогично и для назализации (например, [m] против [b]). Гомофены – это слова, которые при чтении по губам выглядят одинаково, но содержат разные фонемы. Поскольку в английском языке фонем примерно в три раза больше, чем висем, часто утверждают, что только 30% речи можно прочитать по губам. Гомофены являются важнейшим источником неправильного чтения по губам.

Легенда к этой головоломке гласит: «Вот класс из дюжины мальчиков, которых, когда их призвали назвать свои имена, мгновенно сфотографировали, как только каждый начал произносить свое имя. Двенадцать имен были Оом, Олден. , Истман, Альфред, Артур, Люк, Флетчер, Мэтью, Теодор, Ричард, Ширмер и Хиссвальд. Кажется, невозможно дать правильное имя каждому из двенадцати мальчиков, но если вы попрактикуетесь в составлении списка. для каждого из них, вам не составит труда найти подходящее имя для каждого из мальчиков». [4]

Сочленение

[ редактировать ]

Висемы можно запечатлеть в виде неподвижных изображений, но речь разворачивается во времени. Плавная артикуляция звуков речи в последовательности может означать, что рисунок рта может быть «формирован» соседней фонемой: звук «th» в словах «зуб» и «зубы» выглядит очень по-разному из-за голосового контекста. Эта особенность динамического чтения речи влияет на чтение по губам «вне висемы». [5]

Как это может «работать» с таким небольшим количеством визем?

[ редактировать ]

Хотя висемы служат полезной отправной точкой для понимания чтения по губам, разговорные различия внутри висемы можно различить и помочь в идентификации. [6] Более того, статистическое распределение фонем в лексике языка неравномерно. Хотя существуют группы слов, которые фонематически похожи друг на друга («лексические соседи», такие как плевать/глотать/сидеть/палка... и т. д.), другие не похожи на все остальные слова: они «уникальны» с точки зрения распределение их фонем (примером может быть «зонтик»). Опытные пользователи языка применяют эти знания при интерпретации речи, поэтому обычно труднее идентифицировать услышанное слово со многими лексическими соседями, чем слово с небольшим количеством соседей. Применяя это понимание к видимой речи, некоторые слова в языке можно однозначно читать по губам, даже если они содержат мало визем - просто потому, что никакие другие слова не могут «подойти». [7]

Разница в читабельности и навыках

[ редактировать ]

На видимость говорящего лица влияют многие факторы, включая освещенность, движение головы/камеры, частоту кадров движущегося изображения и расстояние от зрителя (см., например, [8] ). Движения головы, сопровождающие нормальную речь, также могут улучшить чтение по губам независимо от оральных действий. [9] Однако при чтении по губам речь связывается со знанием зрителя разговорного языка, знакомством с говорящим и стилем речи, а также с контекстом материала, читающего по губам. [10] так же важны, как и видимость говорящего. Хотя большинство слышащих людей чувствительны к видимой речи, индивидуальные навыки чтения речи сильно различаются. Хорошие читатели по губам часто точнее, чем плохие, распознают фонемы в визуальной речи.

Простая висемическая мера «читаемости по губам» подвергается сомнению некоторыми исследователями. [11] Показатель «класс эквивалентности фонем» учитывает статистическую структуру лексики, а также может учитывать индивидуальные различия в способности читать по губам. [12] [13] В соответствии с этим, отличное чтение по губам часто связано с более широкими когнитивными навыками, включая общее знание языка, исполнительные функции и рабочую память . [14] [15]

Чтение по губам и изучение языка у слышащих младенцев и детей

[ редактировать ]

Первые несколько месяцев

[ редактировать ]

Видение рта играет роль в ранней чувствительности младенцев к речи и готовит их к тому, чтобы научиться говорить в возрасте 1–2 лет. Чтобы подражать, малыш должен научиться формировать губы в соответствии со звуками, которые он слышит; вид говорящего может помочь им в этом. [16] Новорожденные имитируют движения рта взрослых, например, высовывание языка или открытие рта, что может быть предшественником дальнейшего подражания и последующего изучения языка. [17] Младенцы беспокоятся, когда аудиовизуальная речь знакомого говорящего десинхронизирована. [18] и имеют тенденцию показывать разные модели внешнего вида для знакомых и незнакомых лиц при сопоставлении с (записанными) голосами. [19] Младенцы чувствительны к иллюзиям Макгерка за несколько месяцев до того, как они научились говорить. [20] [21] Эти и многие другие исследования указывают на роль зрения в развитии чувствительности к (слуховой) речи в первом полугодии жизни.

Следующие шесть месяцев; роль в изучении родного языка

[ редактировать ]

Примерно до шести месяцев большинство слышащих младенцев чувствительны к широкому спектру речевых жестов, в том числе к тем, которые можно увидеть на рту, которые впоследствии могут стать, а могут и не стать частью фонологии их родного языка. Но во вторые шесть месяцев жизни у слышащего младенца наблюдается сужение восприятия фонетической структуры собственного языка – и он может потерять раннюю чувствительность к бесполезным движениям рта. Звуки речи /v/ и /b/, которые висемически различимы в английском языке, но не в кастильском испанском, точно различаются у младенцев, подвергающихся воздействию испанского и английского языков, в возрасте примерно до 6 месяцев. Однако дети старшего возраста, контактирующие с испанским языком, теряют способность «видеть» это различие, в то время как оно сохраняется для младенцев, контактирующих с английским языком. [22] Такие исследования показывают, что слух и зрение в младенчестве развиваются независимо друг от друга, а мультимодальная обработка данных является правилом, а не исключением в (языковом) развитии детского мозга. [23]

Раннее развитие языка: один-два года

[ редактировать ]

Учитывая многочисленные исследования, указывающие на роль зрения в развитии речи у долингвальных детей, влияние врожденной слепоты на речевое развитие на удивление невелико. 18-месячные дети легче усваивают новые слова, когда слышат их, и не усваивают их, когда им показывают речевые движения, не слыша их. [24] Однако слепые от рождения дети могут путать /m/ и /n/ в своем раннем произношении английских слов – путаницу, редко наблюдаемую у зрячих и слышащих детей, поскольку /m/ и /n/ визуально различаются, но на слух их можно спутать. [25] Роль зрения у детей в возрасте 1–2 лет может быть менее важной для овладения родным языком, поскольку к этому возрасту они приобретают необходимые навыки для распознавания и имитации звуков речи. Однако прослушивание неродного языка может переключить внимание ребенка на зрительное и слуховое взаимодействие посредством чтения по губам и аудирования, чтобы обрабатывать, понимать и воспроизводить речь. [26]

В детстве

[ редактировать ]

В исследованиях с долингвальными младенцами и детьми используются косвенные невербальные меры для определения чувствительности к видимой речи. Явное чтение по губам можно надежно проверить на слышащих дошкольниках, попросив их «произнести вслух то, что я говорю про себя». [27] У детей школьного возраста можно легко вызвать чтение по губам знакомых замкнутых слов, таких как числовые слова. [28] Индивидуальные различия в навыках чтения по губам, которые проверяются, когда ребенка просят «произнести слово, которое вы читаете по губам», или сопоставляя произнесенное чтение с картинкой. [29] показать взаимосвязь между умением читать по губам и возрастом. [30] [31]

Слыша взрослых: соображения, касающиеся продолжительности жизни

[ редактировать ]

Хотя чтение безмолвной речи по губам представляет собой проблему для большинства слышащих людей, добавление зрения говорящего к услышанной речи улучшает обработку речи во многих случаях. Механизмы этого и то, каким образом чтение по губам помогает, являются темами текущих исследований. [32] Наблюдение за говорящим помогает на всех уровнях обработки речи: от распознавания фонетических особенностей до интерпретации прагматических высказываний. [33] Положительный эффект от добавления зрения к слышимой речи больше в шумной, чем в тихой обстановке. [34] где, облегчая восприятие речи, наблюдение за говорящим может высвободить когнитивные ресурсы, позволяя более глубоко обрабатывать речевой контент.

Поскольку в пожилом возрасте слух становится менее надежным , люди склонны больше полагаться на чтение по губам, и это поощряется. Однако более широкое использование чтения по губам не всегда может компенсировать последствия возрастной потери слуха. Снижению когнитивных функций с возрастом может предшествовать и/или быть связано с измеримой потерей слуха. [35] [36] Таким образом, чтение по губам не всегда может полностью компенсировать совокупное снижение слуха и когнитивных функций, связанное с возрастом.

В определенных (слышащих) группах населения

[ редактировать ]

В ряде исследований сообщается об аномалиях чтения по губам в популяциях с выраженными нарушениями развития. Аутизм . У людей с аутизмом могут наблюдаться сниженные способности читать по губам и меньшая зависимость от зрения при аудиовизуальном восприятии речи. [37] [38] Это может быть связано с аномалиями взгляда в лицо у этих людей. [39] Синдром Вильямса . Люди с синдромом Вильямса демонстрируют некоторые нарушения в чтении речи, которые могут быть независимыми от их зрительно-пространственных проблем. [40] Специфические нарушения речи . Также сообщается, что у детей с SLI наблюдается снижение чувствительности к чтению по губам. [41] как и люди с дислексией . [42]

Глухота

[ редактировать ]

В течение сотен лет бушевали дебаты о роли чтения по губам (« орализм ») по сравнению с другими методами общения (в последнее время - тотальным общением ) в образовании глухих. Степень пользы того или иного подхода зависит от ряда факторов, включая уровень потери слуха глухого человека, возраст потери слуха, участие родителей и язык(и) родителей. Тогда возникает вопрос о целях глухого человека, его сообщества и лиц, осуществляющих уход. Целью образования является улучшение общения в целом, развитие языка жестов как первого языка или развитие навыков разговорного языка слышащего сообщества? Сейчас исследователи сосредотачивают внимание на том, какие аспекты языка и общения могут быть лучше всего реализованы, какими средствами и в каких контекстах, учитывая состояние слуха ребенка и его семьи, а также их образовательные планы. [43] Бимодальный билингвизм (владение как речью, так и языком жестов) является одним из доминирующих современных подходов в языковом обучении глухих детей. [44]

Глухие люди зачастую лучше читают по губам, чем люди с нормальным слухом. [45] Некоторые глухие люди практикуют профессиональные чтения по губам, например, в судебно-медицинской практике чтения по губам . У глухих людей, имеющих кохлеарный имплант , навык чтения по губам до имплантации может предсказать постимплантационную (слуховую или аудиовизуальную) обработку речи. [46] У взрослых, чем позже возраст имплантации, тем лучше способности визуального чтения речи у глухого человека. [47] Для многих глухих людей доступ к устному общению может быть облегчен, если устное сообщение передается через обученного профессионального говорящего по губам . [48] [49]

Что касается чтения по губам и развития грамотности, у детей, рожденных глухими, обычно наблюдается задержка развития навыков грамотности. [50] что может отражать трудности в освоении элементов разговорной речи. [51] В частности, надежное сопоставление фонем и графем может быть более трудным для глухих детей, которым необходимо уметь хорошо читать речь, чтобы освоить этот необходимый шаг в приобретении грамотности. Навык чтения по губам связан со способностями к грамотности у глухих взрослых и детей. [52] [53] а обучение чтению по губам может помочь в развитии навыков грамотности. [54]

Cued Speech использует чтение по губам с сопутствующими формами рук, которые устраняют неоднозначность висемической (согласной) формы губ. Говорят, что слышащим родителям легче освоить жестовую речь, чем язык жестов, а исследования, в основном проведенные в Бельгии, показывают, что глухой ребенок, подвергавшийся жестовой речи в младенчестве, может добиться более эффективного прогресса в изучении разговорного языка, чем только чтение по губам. [55] Использование речи с помощью сигналов при кохлеарной имплантации при глухоте, вероятно, будет положительным. [56] Похожий подход, включающий использование форм рук, сопровождающих видимую речь, — это Visual Phonics , который используется некоторыми преподавателями для поддержки изучения письменной и устной речи.

Преподавание и обучение

[ редактировать ]

Целью обучения и тренировки чтения по губам является развитие понимания природы чтения по губам и отработка способов улучшения способности воспринимать речь «на глаз». [57] Хотя ценность обучения чтению по губам в улучшении «слуха глазами» не всегда была очевидна, особенно для людей с приобретенной потерей слуха, есть свидетельства того, что систематическое обучение учащимся оповещению о том, чтобы они обращали внимание на наблюдаемые речевые действия, может быть полезным. [58] Занятия по чтению по губам, часто называемые занятиями по чтению по губам и управлению потерей слуха , в основном предназначены для взрослых, страдающих потерей слуха. Самая высокая доля взрослых с потерей слуха имеет возрастную или связанную с шумом потерю слуха ; при обеих этих формах тугоухости в первую очередь теряются высокочастотные звуки. Поскольку многие согласные в речи являются высокочастотными звуками, речь искажается. Слуховые аппараты помогают, но не могут вылечить эту проблему. доказали пользу занятий чтением по губам. Action on Hearing Loss, Исследования, проведенные в Великобритании по заказу благотворительной организации [59] (2012).

Тренеры признают, что чтение по губам — неточное искусство. Студентов учат наблюдать за движениями губ, языка и челюсти, следить за напряжением и ритмом речи, использовать остаточный слух, со слуховыми аппаратами или без них, следить за выражением лица и языком тела, а также использовать свою способность рассуждать и делать выводы. . Их учат алфавиту чтения по губам , группам звуков, которые выглядят одинаково на губах (висемы), например, п, б, м или ж, в. Цель состоит в том, чтобы уловить суть, чтобы иметь уверенность в том, чтобы присоединиться к разговору. и избежать пагубной социальной изоляции, которая часто сопровождает потерю слуха. Занятия по чтению по губам рекомендуются всем, кто с трудом слышит в шуме, и помогают адаптироваться к потере слуха.

Тесты

[ редактировать ]

Большинство тестов на чтение по губам были разработаны для измерения индивидуальных различий в выполнении конкретных задач по обработке речи и выявления изменений в производительности после тренировки. Тесты на чтение по губам использовались в относительно небольших группах в экспериментальных условиях или в качестве клинических индикаторов для отдельных пациентов и клиентов. То есть большинство тестов на чтение по губам на сегодняшний день имеют ограниченную применимость в качестве маркеров навыка чтения по губам среди населения в целом. [60]

Чтение по губам и говорение по губам на машине

[ редактировать ]

Автоматизированное чтение по губам было темой интереса в вычислительной технике, а также в научно-фантастических фильмах. Инженер-вычислитель Стив Омохундро , среди прочих, был пионером в его разработке. Целью лицевой анимации является создание реалистичных движений лица, особенно движений рта, которые имитируют речевые действия человека. Компьютерные алгоритмы для деформации или манипулирования изображениями лиц могут управляться услышанной или письменной речью. Системы могут быть основаны на детальных моделях, полученных на основе движений лица ( захват движения ); по анатомическому моделированию действий челюсти, рта и языка; или при картировании известных свойств висеме-фонем. [61] [62] Лицевая анимация использовалась при обучении чтению речи (демонстрируя, как «выглядят» разные звуки). [63] Эти системы представляют собой подмножество моделирования синтеза речи , целью которого является предоставление надежных результатов преобразования текста в (видимую) речь. Дополнительная цель — обратная тому, как заставить лица двигаться в речи, — разработать компьютерные алгоритмы, которые смогут обеспечить реалистичную интерпретацию речи (т. е. письменную расшифровку или аудиозапись) на основе естественных видеоданных лица в действии: это распознавание речи по лицу. Эти модели также могут быть получены на основе различных данных. [64] Автоматическое визуальное распознавание речи по видео оказалось весьма успешным в различении разных языков (на основе совокупности данных разговорного языка). [65] Демонстрационные модели, использующие алгоритмы машинного обучения, добились определенных успехов в чтении по губам элементов речи, таких как определенные слова, из видео. [66] и для идентификации фонем, которые трудно читать по губам, по висемически схожим видимым действиям рта. [67] Машинное чтение речи в настоящее время успешно использует алгоритмы на основе нейронных сетей , которые используют большие базы данных говорящих и речевого материала (следуя успешной модели слухового автоматического распознавания речи ). [68]

Использование машинного чтения по губам может включать автоматическое чтение по губам записей, содержащих только видео, автоматическое чтение по губам говорящих с поврежденными речевыми трактами и обработку речи в личном видео (т. е. на основе данных видеотелефона). Автоматическое чтение по губам может помочь в обработке шумной или незнакомой речи. [69] Автоматизированное чтение по губам может способствовать биометрической идентификации личности, заменив идентификацию на основе пароля. [70] [71]

Мозг

[ редактировать ]

После открытия, что слуховые области мозга , включая извилину Хешля , активируются видимой речью, [72] Было показано, что нейронная схема чтения речи включает области супрамодальной обработки, особенно верхнюю височную борозду (все части), а также задне-нижние затылочно-височные области, включая области, специализированные для обработки лиц и биологических движений . [73] В некоторых, но не во всех исследованиях сообщается об активации зоны Брока при чтении речи. [74] [75] предполагая, что артикуляционные механизмы могут быть активированы при чтении речи. [76] Исследования динамики аудиовизуальной обработки речи показали, что изображение речи может активировать области слуховой обработки раньше, чем акустический сигнал. [77] [78] Улучшение навыков чтения по губам связано с большей активацией (левой) верхней височной борозды и прилегающих нижних височных (зрительных) областей у слышащих людей. [79] [80] У глухих людей схема, отвечающая за чтение речи, очень похожа на схему у слышащих людей, с аналогичными ассоциациями (левой) верхней височной активации и навыка чтения по губам. [81]

Ссылки

[ редактировать ]
  1. ^ Альтиери, Северная Каролина; Пизони, Д.Б.; Таунсенд, Дж. Т. (2011). «Некоторые нормативные данные по навыкам чтения по губам (Л)» . Журнал Акустического общества Америки . 130 (1): 1–4. Бибкод : 2011ASAJ..130....1A . дои : 10.1121/1.3593376 . ПМЦ   3155585 . ПМИД   21786870 .
  2. ^ Вудхаус, Л; Хиксон, Л; Додд, Б. (2009). «Обзор визуального восприятия речи слышащими и слабослышащими людьми: клинические последствия». Международный журнал языковых и коммуникативных расстройств . 44 (3): 253–70. дои : 10.1080/13682820802090281 . ПМИД   18821117 .
  3. ^ Эрбер, Н.П. (1969). «Взаимодействие слуха и зрения при распознавании устных речевых стимулов». J Речь Слушайте Res . 12 (2): 423–5. дои : 10.1044/jshr.1202.423 . ПМИД   5808871 .
  4. ↑ Сэма Лойда , 1914 г. Циклопедия головоломок
  5. ^ Бенгерель, AP; Пичора-Фуллер, МК (1982). «Эффекты коартикуляции при чтении по губам». J Речь Слушайте Res . 25 (4): 600–7. дои : 10.1044/jshr.2504.600 . ПМИД   7162162 .
  6. ^ Файлы, БТ (2015). «Зрительная дискриминация речи и выявление естественных и синтетических согласных раздражителей» . Передний. Психол . 6 : 878. doi : 10.3389/fpsyg.2015.00878 . ПМЦ   4499841 . ПМИД   26217249 .
  7. ^ Ауэр, ET (2010). «Исследование речи и глухоты» . Журнал Американской академии аудиологии . 21 (3): 163–8. дои : 10.3766/jaaa.21.3.4 . ПМЦ   3715375 . ПМИД   20211120 .
  8. ^ Иордания, ТР; Томас, С.М. (2011). «Когда половина лица так же хороша, как целое: влияние простой существенной окклюзии на зрительное и аудиовизуальное восприятие речи» . Atten Percept Psychophys . 73 (7): 2270–85. дои : 10.3758/s13414-011-0152-4 . ПМИД   21842332 .
  9. ^ Томас, С.М.; Джордан, ТР (2004). «Вклад оральных и внеротовых движений лица в зрительное и аудиовизуальное восприятие речи». J Exp Psychol Hum Percept Performance . 30 (5): 873–88. дои : 10.1037/0096-1523.30.5.873 . ПМИД   15462626 .
  10. ^ Спехар, Б; Гебель, С; Тай-Мюррей, Н. (2015). «Влияние типа контекста на чтение по губам и умение слушать, а также влияние на обработку предложений» . J Speech Lang Hear Res . 58 (3): 1093–102. doi : 10.1044/2015_JSLHR-H-14-0360 . ПМЦ   4610295 . ПМИД   25863923 .
  11. ^ Файлы, БТ; Тян, Б.С.; Цзян, Дж; Бернштейн, Л.Е. (2015). «Зрительная дискриминация речи и выявление естественных и синтетических согласных раздражителей» . Фронт Психол . 6 : 878. doi : 10.3389/fpsyg.2015.00878 . ПМЦ   4499841 . ПМИД   26217249 .
  12. ^ Ауэр, ET; Бернштейн, Л.Е. (1997). «Чтение речи и структура лексики: компьютерное моделирование влияния снижения фонетической различимости на лексическую уникальность». Журнал Акустического общества Америки . 102 (6): 3704–10. Бибкод : 1997ASAJ..102.3704A . дои : 10.1121/1.420402 . ПМИД   9407662 .
  13. ^ Фельд J1, Соммерс М. 2011 Там идет соседство: чтение по губам и структура ментального лексикона. Речевое коммун. фев;53(2):220-228
  14. ^ Тай-Мюррей, Н.; Хейл, С; Спехар, Б; Майерсон, Дж; Соммерс, М.С. (2014). «Чтение губ у детей школьного возраста: роль возраста, состояния слуха и когнитивных способностей» . J Speech Lang Hear Res . 57 (2): 556–65. doi : 10.1044/2013_JSLHR-H-12-0273 . ПМЦ   5736322 . ПМИД   24129010 .
  15. ^ Фельд, Дж. Э.; Соммерс, М.С. (2009). «Чтение по губам, скорость обработки информации и рабочая память у молодых и пожилых людей» . J Speech Lang Hear Res . 52 (6): 1555–65. дои : 10.1044/1092-4388(2009/08-0137) . ПМК   3119632 . ПМИД   19717657 .
  16. ^ «HuffPost — последние новости, новости США и мира» . ХаффПост . Проверено 11 октября 2020 г.
  17. ^ Мельцов, АН; Мур, МК (1977). «Имитация мимики и жестов рук новорожденными». Наука . 198 (4312): 74–8. дои : 10.1126/science.897687 . ПМИД   897687 . S2CID   30956329 .
  18. ^ Додд Б.1976 Чтение по губам у младенцев: внимание к речи, представленной синхронно и несинхронно. Когнитивная психология Октябрь;11(4):478-84
  19. ^ Спелке, Э (1976). «Интермодальное восприятие событий младенцами». Когнитивная психология . 8 (4): 553–560. дои : 10.1016/0010-0285(76)90018-9 . S2CID   1226796 .
  20. ^ Бернэм, Д; Додд, Б. (2004). «Слухово-визуальная интеграция речи долингвистическими младенцами: восприятие появляющегося согласного в эффекте Макгерка». Развивающая психобиология . 45 (4): 204–20. дои : 10.1002/dev.20032 . ПМИД   15549685 .
  21. ^ Розенблюм, LD; Шмуклер, Массачусетс; Джонсон, Дж.А. (1997). «Эффект Макгерка у младенцев» . Перцепт Психофизика . 59 (3): 347–57. дои : 10.3758/BF03211902 . ПМИД   9136265 .
  22. ^ Понс, Ф; и др. (2009). «Сужение межсенсорного восприятия речи в раннем детстве» . Труды Национальной академии наук . 106 (26): 10598–602. Бибкод : 2009PNAS..10610598P . дои : 10.1073/pnas.0904134106 . ПМК   2705579 . ПМИД   19541648 .
  23. ^ Левкович, диджей; Газанфар, А.А. (2009). «Появление мультисенсорных систем через сужение восприятия». Тенденции в когнитивных науках . 13 (11): 470–8. CiteSeerX   10.1.1.554.4323 . дои : 10.1016/j.tics.2009.08.004 . ПМИД   19748305 . S2CID   14289579 .
  24. ^ Хэви М., Форуд А., Фейс Л. и Веркер Дж. Ф. (в печати; онлайн, 26 января 2017 г.). Роль слуховой и зрительной речи в изучении слов в 18 месяцев и во взрослом возрасте. Развитие ребенка. (Предварительная версия)
  25. ^ Миллс, А.Е. 1987 Развитие фонологии у слепого ребенка. В книге Б.Додда и Р.Кэмпбелла (редакторы) «Слух глазами: психология чтения по губам», Хоув, Великобритания, Lawrence Erlbaum Associates.
  26. ^ Левкович, диджей; Хансен-Тифт, AM (январь 2012 г.). «При обучении речи младенцы избирательно обращают внимание на рот говорящего лица» . Труды Национальной академии наук . 109 (5): 1431–6. Бибкод : 2012PNAS..109.1431L . дои : 10.1073/pnas.1114783109 . ПМК   3277111 . ПМИД   22307596 .
  27. ^ Дэвис R1, Кидд Э; Ландер, К. (2009). «Исследование психолингвистических коррелятов чтения речи у детей дошкольного возраста». Международный журнал языковых и коммуникативных расстройств . 44 (2): 164–74. дои : 10.1080/13682820801997189 . hdl : 11858/00-001M-0000-002E-2344-8 . ПМИД   18608607 . {{cite journal}}: CS1 maint: числовые имена: список авторов ( ссылка )
  28. ^ Додд Б. 1987 Приобретение навыков чтения по губам нормально слышащими детьми. В книге Б.Додда и Р.Кэмпбелла (редакторы) «Слух глазом», Эрлбаум, штат Нью-Джерси, стр. 163–176.
  29. ^ Джергер, С; и др. (2009). «Изменения в развитии чувствительности детей к зрительной речи: новая мультимодальная задача-картинка-слово» . J Exp Детская Психология . 102 (1): 40–59. дои : 10.1016/j.jecp.2008.08.002 . ПМК   2612128 . ПМИД   18829049 .
  30. ^ Кайл, FE; Кэмпбелл, Р.; Мохаммед, Т; Коулман, М; МакСвини, М (2013). «Развитие речи у глухих и слышащих детей: знакомство с тестом детской речи» . Журнал исследований речи, языка и слуха . 56 (2): 416–26. дои : 10.1044/1092-4388(2012/12-0039) . ПМЦ   4920223 . ПМИД   23275416 .
  31. ^ Тай-Мюррей, Н.; Хейл, С; Спехар, Б; Майерсон, Дж; Соммерс, М.С. (2014). «Чтение губ у детей школьного возраста: роль возраста, состояния слуха и когнитивных способностей» . J Speech Lang Hear Res . 57 (2): 556–65. doi : 10.1044/2013_JSLHR-H-12-0273 . ПМЦ   5736322 . ПМИД   24129010 .
  32. ^ Пил, Дж. Э.; Соммерс, М.С. (2015). «Прогнозирование и ограничение в аудиовизуальном восприятии речи» . Кортекс . 68 : 169–81. дои : 10.1016/j.cortex.2015.03.006 . ПМЦ   4475441 . ПМИД   25890390 .
  33. ^ Кэмпбелл, Р. (2008). «Обработка аудиовизуальной речи: эмпирические и нейронные основы» . Философские труды Королевского общества Б. 363 (1493): 1001–1010. дои : 10.1098/rstb.2007.2155 . ПМК   2606792 . ПМИД   17827105 .
  34. ^ Самби, Вашингтон; Поллак, I (1954). «Визуальный вклад в разборчивость речи в шуме». Журнал Акустического общества Америки . 26 (2): 212–215. Бибкод : 1954ASAJ...26..212S . дои : 10.1121/1.1907309 . hdl : 11858/00-001M-0000-002C-6664-3 .
  35. ^ Тальяард, Шмулиан; и др. (2015). «Взаимосвязь между нарушением слуха и когнитивными функциями: метаанализ у взрослых» (PDF) . Клин Отоларингол . 41 (6): 718–729. дои : 10.1111/coa.12607 . hdl : 2263/60768 . ПМИД   26670203 . S2CID   5327755 .
  36. ^ Хунг, Южная Каролина; и др. (2015). «Потеря слуха связана с риском болезни Альцгеймера: исследование случай-контроль среди пожилых людей» . Дж Эпидемиол . 25 (8): 517–21. doi : 10.2188/jea.JE20140147 . ПМЦ   4517989 . ПМИД   25986155 .
  37. ^ Смит, Э.Г.; Беннетто, ЖЖ (2007). «Аудиовизуальная интеграция речи и чтение по губам при аутизме». Журнал детской психологии и психиатрии . 48 (8): 813–21. дои : 10.1111/j.1469-7610.2007.01766.x . ПМИД   17683453 .
  38. ^ Ирвин-младший; Торнаторе, Луизиана; Бранкацио, Л; Уэлен, Д.Х. (2011). «Могут ли дети с расстройствами аутистического спектра «слышать» говорящее лицо?» . Детский Дев . 82 (5): 1397–403. дои : 10.1111/j.1467-8624.2011.01619.x . ПМК   3169706 . ПМИД   21790542 .
  39. ^ Ирвин-младший; Бранкацио, Л. (2014). «Видеть, чтобы слышать? Модели взгляда на говорящие лица у детей с расстройствами аутистического спектра» . Фронт Психол . 5 : 397. doi : 10.3389/fpsyg.2014.00397 . ПМК   4021198 . ПМИД   24847297 .
  40. ^ Бёнинг, М; Кэмпбелл, Р.; Кармилов-Смит, А (2002). «Аудиовизуальное восприятие речи при синдроме Вильямса». Нейропсихология . 40 (8): 1396–406. дои : 10.1016/s0028-3932(01)00208-1 . ПМИД   11931944 . S2CID   9125298 .
  41. ^ Лейберт, Дж; Макки, Л; Хейс, А; Шампу, Ф; Баярд, К; Колин, К; Бертомье, Ф (2014). «Атипичное аудиовизуальное восприятие речи и эффекты Макгерка у детей со специфическими языковыми нарушениями» . Фронт Психол . 5 : 422. дои : 10.3389/fpsyg.2014.00422 . ПМК   4033223 . ПМИД   24904454 .
  42. ^ Мохаммед Т1, Кэмпбелл Р.; Максвини, М; Барри, Ф; Коулман, М. (2006). «Чтение речи и его связь с чтением среди глухих, слышащих и людей с дислексией». Клиническая лингвистика и фонетика . 20 (7–8): 621–30. дои : 10.1080/02699200500266745 . ПМИД   17056494 . S2CID   34877573 . {{cite journal}}: CS1 maint: числовые имена: список авторов ( ссылка )
  43. ^ "Руки и голоса :: Статьи" .
  44. ^ Суонвик, Р. (2016). «Бимодальное двуязычие и образование глухих детей» (PDF) . Обучение языку . 49 (1): 1–34. дои : 10.1017/S0261444815000348 . S2CID   146626144 .
  45. ^ Бернштейн, Ле; Деморест, Мэн; Такер, ЧП (2000). «Восприятие речи без слуха» . Восприятие и психофизика . 62 (2): 233–52. дои : 10.3758/bf03205546 . ПМИД   10723205 .
  46. ^ Бергесон TR1, Пизони ДБ; Дэвис, РА (2005). «Развитие навыков понимания аудиовизуальной информации у прелингвально глухих детей с кохлеарными имплантами» . Ухо и слух . 26 (2): 149–64. дои : 10.1097/00003446-200504000-00004 . ПМЦ   3432935 . ПМИД   15809542 . {{cite journal}}: CS1 maint: числовые имена: список авторов ( ссылка )
  47. ^ Пимпертон, Ханна; Ральф-Льюис, Амелия; МакСуини, Мейрид (2017). «Чтение речи у глухих взрослых с кохлеарными имплантатами: данные о перцептивной компенсации» . Передний. Психол . 8 : 106. doi : 10.3389/fpsyg.2017.00106 . ПМЦ   5294775 . ПМИД   28223951 .
  48. ^ «Коммуникационная поддержка глухих» . 24.11.2015.
  49. ^ «Lipspeaker UK – Услуги связи для глухих и слабослышащих людей» .
  50. ^ «Чтение и дислексия у глухих детей | Фонд Наффилда» . 19 ноября 2019 г.
  51. ^ Майер, К. (2007). «Что действительно важно в раннем развитии грамотности глухих детей» . J Глухой Стад Обучение Глухих . 12 (4): 411–31. doi : 10.1093/deafed/enm020 . ПМИД   17566067 .
  52. ^ Мохаммед, Тара; Кэмпбелл, Рут; МакСвини, Майреад; Барри, Фиона; Коулман, Майкл (2006). «Чтение речи и его связь с чтением среди глухих, слышащих и людей с дислексией». Клиническая лингвистика и фонетика . 20 (7–8): 621–630. дои : 10.1080/02699200500266745 . ПМИД   17056494 . S2CID   34877573 .
  53. ^ Кайл, FE; Харрис, М. (2010). «Прогностические факторы развития чтения у глухих детей: трехлетнее продольное исследование» (PDF) . J Exp Детская Психология . 107 (3): 229–243. дои : 10.1016/j.jecp.2010.04.011 . ПМИД   20570282 .
  54. ^ Кайл, Фиона Э.; Кэмпбелл, Рут; Мохаммед, Тара; Коулман, Майк; МакСвини, Майреад (2013). «Развитие чтения речи у глухих и слышащих детей: введение в тест на чтение речи у детей» . Журнал исследований речи, языка и слуха . 56 (2): 416–426. дои : 10.1044/1092-4388(2012/12-0039) . ПМЦ   4920223 . ПМИД   23275416 .
  55. ^ Николлс, Г.Х.; Линг, Д. (1982). «Речевая реплика и прием разговорной речи» . J Речь Слушайте Res . 25 (2): 262–9. дои : 10.1044/jshr.2502.262 . ПМИД   7120965 .
  56. ^ Лейберт, Дж; ЛаСассо, CJ (2010). «Речь с сигналами для улучшения восприятия речи и развития первого языка у детей с кохлеарными имплантами» . Тенденции в усилении . 14 (2): 96–112. дои : 10.1177/1084713810375567 . ПМК   4111351 . ПМИД   20724357 .
  57. ^ «Азбука чтения по губам: круглые гласные» . Архивировано из оригинала 23 июня 2014 г. Проверено 23 июня 2014 г.
  58. ^ Бернштейн, Ле; Джордан, Н.; Ауэр, ET; Эберхардт, СП (2022). «Чтение губ: обзор его постоянного значения для распознавания речи при приобретенной потере слуха и возможности эффективного обучения» . Американский журнал аудиологии . 31 (2): 453–469. дои : 10.1044/2021_AJA-21-00112 . ПМЦ   9524756 . ПМИД   35316072 .
  59. ^ «Кампании и влияние» .
  60. ^ Альтиери, Северная Каролина; Пизони, Д.Б.; Таунсенд, Дж. Т. (2011). «Некоторые нормативные данные о навыках чтения по губам» . Журнал Акустического общества Америки . 130 (1): 1–4. Бибкод : 2011ASAJ..130....1A . дои : 10.1121/1.3593376 . ПМЦ   3155585 . ПМИД   21786870 .
  61. ^ «Главная > Рэйчел-Уокер > Колледж литературы, искусств и наук Университета Южной Калифорнии Даны и Дэвида Дорнсайф» (PDF) .
  62. ^ «Визуальный синтез речи на основе правил» . 1995. стр. 299–302.
  63. ^ Босселер, Алексис; Массаро, Доминик В. (2003). «Разработка и оценка компьютерно-анимационного преподавателя для изучения словарного запаса и языка у детей с аутизмом». Журнал аутизма и нарушений развития . 33 (6): 653–672. дои : 10.1023/B:JADD.0000006002.82367.4f . ПМИД   14714934 . S2CID   17406145 .
  64. ^ «Визуальный синтез речи – УЭА» .
  65. ^ «Читающий по губам компьютер может различать языки» .
  66. ^ Архивировано в Ghostarchive и Wayback Machine : «Видео в текст: чтение по губам и определение слов» . Ютуб .
  67. ^ Хикки, Шейн (24 апреля 2016 г.). «Новаторы: можно ли научить компьютеры читать по губам?» . Хранитель .
  68. ^ «ИИ DeepMind от Google умеет читать телепередачи по губам лучше, чем профессионал» .
  69. ^ Петажан, Э.; Бишофф, Б.; Бодофф, Д.; Брук, Нью-Мексико (1988). «Улучшенная автоматическая система чтения по губам для улучшения распознавания речи» . Материалы конференции SIGCHI «Человеческий фактор в вычислительных системах — CHI '88» . стр. 19–25. дои : 10.1145/57167.57170 . ISBN  978-0201142372 . S2CID   15211759 .
  70. ^ Люттин, Юрген; Такер, Нил А.; Бит, Стив В. «Идентификация говорящего по чтению по губам» (PDF) . Лаборатории прикладных наук и инженерии .
  71. ^ http://www.planetbiometrics.com-article-details-i-2250 [ постоянная мертвая ссылка ]
  72. ^ Калверт, Джорджия; Буллмор, ET; Браммер, MJ; и др. (1997). «Активация слуховой коры при молчаливом чтении по губам». Наука . 276 (5312): 593–6. дои : 10.1126/science.276.5312.593 . ПМИД   9110978 .
  73. ^ Бернштейн, Ле; Либенталь, Э (2014). «Нервные пути зрительного восприятия речи» . Передние нейроны . 8 : 386. дои : 10.3389/fnins.2014.00386 . ПМЦ   4248808 . ПМИД   25520611 .
  74. ^ Шкипер, Дж.И.; ван Вассенхове, В.; Нусбаум, ХК; Смолл, С.Л. (2007). «Слышать губы и видеть голоса: как области коры, поддерживающие речь, опосредуют аудиовизуальное восприятие речи» . Кора головного мозга . 17 (10): 2387–2399. дои : 10.1093/cercor/bhl147 . ПМЦ   2896890 . ПМИД   17218482 .
  75. ^ Кэмпбелл, Р.; МакСуини, М; Сургуладзе, С; Калверт, Дж; Макгуайр, П; Саклинг, Дж; Браммер, MJ; Дэвид, А.С. (2001). «Корковые субстраты для восприятия действий лица: фМРТ-исследование специфики активации видимой речи и бессмысленных действий нижней части лица (рычание)». Мозговой Res Cogn Мозговой Res . 12 (2): 233–43. дои : 10.1016/s0926-6410(01)00054-4 . ПМИД   11587893 .
  76. ^ Сваминатан, С.; МакСвини, М.; Бойлз, Р.; Уотерс, Д.; Уоткинс, Кентукки; Мёттонен, Р. (2013). «Двигательная возбудимость при зрительном восприятии известных и неизвестных разговорных языков» . Мозг и язык . 126 (1): 1–7. дои : 10.1016/j.bandl.2013.03.002 . ПМЦ   3682190 . ПМИД   23644583 .
  77. ^ Сэмс, М; и др. (1991). «Ауленко и др. 1991 Видение речи: визуальная информация от движений губ изменяет активность слуховой коры человека». Письма по неврологии . 127 (1): 141–145. дои : 10.1016/0304-3940(91)90914-ф . ПМИД   1881611 . S2CID   9035639 .
  78. ^ Ван Вассенхов, В.; Грант, КВ; Поппель, Д. (январь 2005 г.). «Визуальная речь ускоряет нейронную обработку слуховой речи» . Труды Национальной академии наук . 102 (4): 1181–6. Бибкод : 2005ПНАС..102.1181В . дои : 10.1073/pnas.0408949102 . ПМЦ   545853 . ПМИД   15647358 .
  79. ^ Зал DA1, Фасселл С, Саммерфилд AQ. 2005 г.Чтение беглой речи говорящих лиц: типичные сети мозга и индивидуальные различия. Дж. Когн Нейроски. 17(6):939-53.
  80. ^ Бернштейн, Ле; Цзян, Дж; Пантазис, Д; Лу, ЗЛ; Джоши, А. (2011). «Визуальная фонетическая обработка, локализованная с помощью речевых и неречевых жестов лица на видео и точечных световых дисплеях» . Карта мозга Hum . 32 (10): 1660–76. дои : 10.1002/hbm.21139 . ПМК   3120928 . ПМИД   20853377 .
  81. ^ Чапек, CM; Максвини, М; Волл, Б; Уотерс, Д; Макгуайр, ПК; Дэвид, А.С.; Браммер, MJ; Кэмпбелл, Р. (2008). «Корковые цепи молчаливого чтения речи у глухих и слышащих людей» . Нейропсихология . 46 (5): 1233–41. doi : 10.1016/j.neuropsychologia.2007.11.026 . ПМК   2394569 . ПМИД   18249420 .

Библиография

[ редактировать ]
  • Д.Сторк и М.Хеннеке (редакторы) (1996) Чтение речи людьми и машинами: моделирующие системы и приложения. Nato ASI, серия F. Компьютерные и системные науки, том 150. Springer, Берлин, Германия.
  • Э.Байи, П.Перье и Э.Ватикиотис-Бейтсон (редакторы) (2012) Аудиовизуальная обработка речи, издательство Кембриджского университета, Кембридж, Великобритания
  • «Слух глазами» (1987) , Б.Додд и Р.Кэмпбелл (редакторы), Эрлбаум Асстес, Хиллсдейл, штат Нью-Джерси, США; Слушание глазами II , (1997) Р. Кэмпбелл, Б. Додд и Д. Бернхэм (редакторы), Psychology Press, Hove UK
  • Д. У. Массаро (1987, переиздано в 2014 г.) Восприятие речи на слух и на глаз , Lawrence Erlbaum Associates, Хиллсдейл, штат Нью-Джерси.

Дальнейшее чтение

[ редактировать ]

См. также

[ редактировать ]
Retrieved from "https://en.wikipedia.org/w/index.php?title=Lip_reading&oldid=1230026729"
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: dacdaf24c1f3e05961933ffbaaf4c3c3__1718857260
URL1:https://arc.ask3.ru/arc/aa/da/c3/dacdaf24c1f3e05961933ffbaaf4c3c3.html
Заголовок, (Title) документа по адресу, URL1:
Lip reading - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)