Воображаемая речь

Воображаемая речь (также называемая безмолвной речью , скрытой речью , внутренней речью или, в оригинальной латинской терминологии, используемой клиницистами , эндофазией ) — это мышление в форме звука — «слышание» собственного голоса беззвучно про себя, без намеренного движения любые конечности, такие как губы, язык или руки. ^[1] Логично, что воображаемая речь стала возможной с момента появления языка, однако этот феномен больше всего связан с ее исследованием посредством обработки сигналов. ^[2] и обнаружение в электроэнцефалографии (ЭЭГ) данных ^[3]^[4] а также данные, полученные с использованием неинвазивных устройств с интерфейсом мозг-компьютер (BCI) альтернативных . ^[5]

История

В 2008 году Агентство перспективных исследовательских проектов Министерства обороны США (DARPA) грант в размере 4 миллионов долларов предоставило Калифорнийскому университету (Ирвайн) с целью создания основы для синтетической телепатии . По данным DARPA, проект «позволит общаться между пользователями на поле боя без использования вокализованной речи посредством анализа нейронных сигналов. Мозг генерирует сигналы, специфичные для слов, перед отправкой электрических импульсов на голосовые связки. Эти воображаемые речевые сигналы будут проанализированы и переведены в отдельные слова, позволяющие скрытно общаться между людьми». ^[5] В своей книге «Невозможные языки» (2016) Андреа Моро обсуждает «звук мыслей» и взаимосвязь между лингвистическими единицами и воображаемой речью, в основном опираясь на Маграсси и др. (2015) «Звуковая репрезентация в областях высшего языка в процессе языкового производства».

Программа DARPA преследует три основные цели: ^[5]

Попытаться идентифицировать паттерны ЭЭГ, уникальные для отдельных слов.
Чтобы гарантировать, что эти шаблоны являются общими для разных пользователей, чтобы избежать длительного обучения работе с устройством.
Создать прототип , который будет декодировать сигналы и передавать их в ограниченном диапазоне.

Методы обнаружения

Процесс анализа молчаливой речи испытуемых состоит из записи мозговых волн испытуемых , а затем использования компьютера для обработки данных и определения содержания скрытой речи испытуемых .

Запись

Субъектные нейронные паттерны (мозговые волны) можно записать с помощью устройств BCI ; ^[2] в настоящее время использование неинвазивных устройств, ^[1] в частности, ЭЭГ представляет больший интерес для исследователей, чем инвазивные и частично инвазивные типы . Это связано с тем, что неинвазивные типы представляют наименьший риск для здоровья субъекта; ^[5] ЭЭГ вызвала наибольший интерес, поскольку она предлагает наиболее удобный подход в дополнение к гораздо менее сложному оборудованию, чем функциональная магнитно-резонансная томография (фМРТ). ^[5] еще один широко используемый неинвазивный BCI. ^[2]

Обработка

Первым шагом в обработке неинвазивных данных является удаление таких артефактов, как движение глаз и моргание, а также другой электромиографической активности. ^[3] ряд алгоритмов После удаления артефактов используется для перевода необработанных данных в воображаемый речевой контент. ^[1] Обработка также должна происходить в режиме реального времени — информация обрабатывается по мере ее записи, что позволяет практически одновременно просматривать контент так, как его представляет субъект.

Декодирование

Предположительно, «мышление в форме звука» задействует слуховые и речевые области, профили активации которых можно извлечь из ЭЭГ при адекватной обработке. Цель состоит в том, чтобы связать эти сигналы с шаблоном, который представляет «о чем думает человек». Этот шаблон мог бы, например, представлять собой временную серию акустической оболочки (энергии), соответствующую звуку, если бы он был физически произнесен. Такое линейное отображение ЭЭГ на стимул является примером нейронного декодирования . ^[6]

Основная проблема, однако, заключается в том, что одно и то же сообщение может иметь множество вариаций в различных физических условиях (например, громкоговоритель или шум). Следовательно, можно иметь один и тот же сигнал ЭЭГ, но неясно, по крайней мере в акустическом плане, на какой стимул его сопоставить. Это, в свою очередь, затрудняет обучение соответствующего декодера.

Вместо этого к этому процессу можно было бы подойти, используя представления сообщения более высокого порядка («лингвистические»). Отображения таких представлений нелинейны и могут сильно зависеть от контекста, поэтому могут потребоваться дальнейшие исследования. Тем не менее, известно, что «акустическую» стратегию все же можно поддерживать, заранее задав «шаблон», сообщив слушателю, о каком именно сообщении следует думать, даже если пассивно и в неявной форме. В этих обстоятельствах можно частично декодировать акустическую оболочку речевого сообщения из нейронных временных рядов, если заставить слушателя мыслить в форме звука. ^[7]

Проблемы

При обнаружении других воображаемых действий, например воображаемых физических движений, в одном полушарии происходит большая активность мозга по сравнению с другим. Это присутствие асимметричной активности помогает идентифицировать воображаемое действие субъекта. При воображаемом распознавании речи обычно одновременно возникают одинаковые уровни активности как в левом, так и в правом полушарии . Отсутствие латерализации демонстрирует значительную проблему при анализе нервных сигналов этого типа. ^[2]

Еще одной уникальной проблемой является относительно низкое соотношение сигнал/шум (SNR) в записанных данных. SNR представляет собой количество значимых сигналов, обнаруженных в наборе данных, по сравнению с количеством произвольных или бесполезных сигналов, присутствующих в том же наборе. Артефакты, присутствующие в данных ЭЭГ, являются лишь одним из многих значительных источников шума. ^[1]

Ситуация еще больше усложняется тем, что относительное расположение электродов ЭЭГ будет различаться у разных субъектов. Это потому, что анатомические детали голов людей будут различаться; следовательно, записываемые сигналы будут различаться у каждого субъекта, независимо от индивидуальных характеристик воображаемой речи. ^[3]

См. также

Ссылки

^ Jump up to: ^а ^б ^с ^д Бригам, К.; Виджая Кумар, BVK, « Классификация воображаемой речи с помощью сигналов ЭЭГ для бесшумного общения: предварительное исследование синтетической телепатии». ^{[ постоянная мертвая ссылка ]}", июнь 2010 г.
^ Jump up to: ^а ^б ^с ^д Бригам, К.; Виджая Кумар, BVK, « Идентификация субъекта по сигналам электроэнцефалограммы (ЭЭГ) во время воображаемой речи» ^{[ постоянная мертвая ссылка ]}", сентябрь 2010 г.
^ Jump up to: ^а ^б ^с А. Порбаднигк; М. Вестер; Шульц Т., « Распознавание речи на основе ЭЭГ: влияние временных эффектов. Архивировано 5 января 2012 г. в Wayback Machine », 2009 г.
^ Паначакель, Джеррин Томас; Рамакришнан, Ангарай Ганесан (2021). «Расшифровка скрытой речи по данным ЭЭГ-всесторонний обзор» . Границы в неврологии . 15 : 642251. дои : 10.3389/fnins.2021.642251 . ISSN 1662-453X . ПМЦ 8116487 . ПМИД 33994922 .
^ Jump up to: ^а ^б ^с ^д ^и Роберт Бог, « Интерфейсы мозг-компьютер: контроль с помощью мысли. Архивировано 29 июля 2014 г. в Wayback Machine ». Industrial Robot, Vol. 37 Вып: 2, с.126 – 132, 2010
^ Мартин, Стефани; Бруннер, Питер; Холдграф, Крис; Хайнце, Ханс-Йохен; Кроун, Натан Э.; Ригер, Йохем; Шалк, Гервин; Найт, Роберт Т.; Пэсли, Брайан Н. (27 мая 2014 г.). «Декодирование спектро-временных особенностей явной и скрытой речи из коры головного мозга человека» . Границы нейроинженерии . 7:14 . дои : 10.3389/fneng.2014.00014 . ISSN 1662-6443 . ПМК 4034498 . ПМИД 24904404 .
^ Сервантес Константино, форвард; Саймон, JZ (2018). «Восстановлению и эффективности нейронной обработки непрерывной речи способствуют предварительные знания» . Границы системной нейронауки . 12 (56): 56. дои : 10.3389/fnsys.2018.00056 . ПМК 6220042 . ПМИД 30429778 .

[BrighamKumar2010a-1] Jump up to: ^а ^б ^с ^д Бригам, К.; Виджая Кумар, BVK, « Классификация воображаемой речи с помощью сигналов ЭЭГ для бесшумного общения: предварительное исследование синтетической телепатии». ^{[ постоянная мертвая ссылка ]}", июнь 2010 г.

[BrighamKumar2010b-2] Jump up to: ^а ^б ^с ^д Бригам, К.; Виджая Кумар, BVK, « Идентификация субъекта по сигналам электроэнцефалограммы (ЭЭГ) во время воображаемой речи» ^{[ постоянная мертвая ссылка ]}", сентябрь 2010 г.

[Porbadnigk2009-3] Jump up to: ^а ^б ^с А. Порбаднигк; М. Вестер; Шульц Т., « Распознавание речи на основе ЭЭГ: влияние временных эффектов. Архивировано 5 января 2012 г. в Wayback Machine », 2009 г.

[4] Паначакель, Джеррин Томас; Рамакришнан, Ангарай Ганесан (2021). «Расшифровка скрытой речи по данным ЭЭГ-всесторонний обзор» . Границы в неврологии . 15 : 642251. дои : 10.3389/fnins.2021.642251 . ISSN 1662-453X . ПМЦ 8116487 . ПМИД 33994922 .

[Bogue2010-5] Jump up to: ^а ^б ^с ^д ^и Роберт Бог, « Интерфейсы мозг-компьютер: контроль с помощью мысли. Архивировано 29 июля 2014 г. в Wayback Machine ». Industrial Robot, Vol. 37 Вып: 2, с.126 – 132, 2010

[6] Мартин, Стефани; Бруннер, Питер; Холдграф, Крис; Хайнце, Ханс-Йохен; Кроун, Натан Э.; Ригер, Йохем; Шалк, Гервин; Найт, Роберт Т.; Пэсли, Брайан Н. (27 мая 2014 г.). «Декодирование спектро-временных особенностей явной и скрытой речи из коры головного мозга человека» . Границы нейроинженерии . 7:14 . дои : 10.3389/fneng.2014.00014 . ISSN 1662-6443 . ПМК 4034498 . ПМИД 24904404 .

[CervantesConstantino_&_Simon_2018-7] Сервантес Константино, форвард; Саймон, JZ (2018). «Восстановлению и эффективности нейронной обработки непрерывной речи способствуют предварительные знания» . Границы системной нейронауки . 12 (56): 56. дои : 10.3389/fnsys.2018.00056 . ПМК 6220042 . ПМИД 30429778 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]