Машинный перевод жестовых языков

Машинный перевод языков жестов стал возможен, хотя и в ограниченной степени, с 1977 года. Когда в ходе исследовательского проекта удалось сопоставить английские буквы с клавиатуры с буквами ручного алфавита ASL, которые были смоделированы на роботизированной руке. Эти технологии переводят жестовые языки в письменный или устный язык, а также письменный или устный язык в язык жестов без использования человеческого переводчика . Языки жестов обладают фонологическими особенностями, отличными от разговорных языков, что создает препятствия для разработчиков. Разработчики используют компьютерное зрение и машинное обучение для распознавания определенных фонологических параметров и скобок. ^[1] Уникальный для жестовых языков, а распознавание речи и обработка естественного языка позволяют интерактивно общаться между слышащими и глухими людьми.

Ограничения

Технологии перевода на язык жестов ограничены так же, как и перевод на разговорный язык. Никто не может перевести со 100% точностью. Фактически, технологии перевода с жестового языка сильно отстают от своих аналогов на разговорном языке. Это нетривиально из-за того, что жестовые языки имеют несколько артикуляторов. В то время как разговорный язык произносится посредством речевого тракта, жестовый язык произносится через руки, голову, плечи, туловище и части лица. Эта многоканальная артикуляция очень затрудняет перевод жестовых языков. Дополнительной проблемой для языка жестов MT является тот факт, что для жестовых языков не существует формального письменного формата. Существуют системы обозначений, но ни одна система письма не получила достаточно широкого распространения в международном сообществе глухих, чтобы ее можно было считать «письменной формой» данного языка жестов. Языки жестов затем записываются в различных видеоформатах. не существует золотого стандарта параллельного корпуса Например, , достаточно большого для SMT.

История

История автоматического перевода на язык жестов началась с разработки такого оборудования, как роботизированные руки, пишущие по пальцам. В 1977 году в рамках проекта по написанию пальцев под названием RALPH (сокращение от «Роботизированный алфавит») была создана роботизированная рука, которая может переводить алфавиты в написание пальцами. ^[2] Позже использование перчаток с датчиками движения стало мейнстримом, и на свет появились такие проекты, как CyberGlove и VPL Data Glove. ^[3] Носимое оборудование позволило фиксировать форму и движения рук подписывающих сторон с помощью компьютерного программного обеспечения. Однако с развитием компьютерного зрения носимые устройства были заменены камерами из-за их эффективности и меньших физических ограничений для подписывающих лиц. ^[3] Для обработки данных, собранных с помощью устройств, исследователи внедрили нейронные сети, такие как Stuttgart Neural Network Simulator. ^[4] для распознавания образов в таких проектах, как CyberGlove. Исследователи также используют множество других подходов к распознаванию знаков. Например, скрытые марковские модели используются для статистического анализа данных. ^[3] а GRASP и другие программы машинного обучения используют обучающие наборы для повышения точности распознавания знаков. ^[5] Объединение неносимых технологий, таких как камеры и контроллеры Leap Motion, показало, что оно увеличивает возможности автоматического распознавания языка жестов и программного обеспечения для перевода. ^[6]

Технологии

с испанского на LSE

Лопес-Лудена, Вероника; Сен-Второй, Рубен; Гонсалес, Чарльз; Лопес, Джон Чарльз; Браун, Джозеф М. (2012). «Методология разработки системы перевода речи в жестовый язык в новой семантической области» (PDF ) CiteSeerX 10.1.1.1065.5265 . S2CID 2724186 . {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )

ВойтиВслух

SignAloud — это технология, включающая пару перчаток, созданных группой студентов Вашингтонского университета, которые транслитерируют ^[7] Американский язык жестов (ASL) на английский. ^[8] В феврале 2015 года Томас Прайор, студент-слуховой студент Вашингтонского университета, создал первый прототип этого устройства на хакатоне Hack Arizona в Университете Аризоны. Прайор продолжил разработку изобретения, и в октябре 2015 года Прайор пригласил Навида Азоди в проект SignAloud для маркетинга и помощи в связях с общественностью. Азоди имеет богатый опыт работы в сфере делового администрирования, а Прайор имеет богатый опыт в инженерной сфере. ^[9] В мае 2016 года дуэт сообщил NPR, что они более тесно сотрудничают с людьми, использующими ASL, чтобы они могли лучше понимать свою аудиторию и адаптировать свой продукт к потребностям этих людей, а не к предполагаемым потребностям. ^[10] Однако с тех пор никаких дополнительных версий выпущено не было. Это изобретение стало одним из семи, получивших студенческую премию Лемельсона-MIT, целью которой является награждение и аплодисменты молодым изобретателям. Их изобретение попало под лозунг «Используй!» категория награды, которая включает технологические достижения в существующих продуктах. Им было вручено 10 000 долларов. ^[11]^[12]

Перчатки оснащены датчиками, которые отслеживают движения рук пользователя, а затем отправляют данные в компьютерную систему через Bluetooth . Компьютерная система анализирует данные и сопоставляет их с английскими словами, которые затем произносятся вслух цифровым голосом. ^[10] Перчатки не имеют возможности письменного ввода на английском языке для вывода движения перчатки или способности слышать язык, а затем подписывать его глухому человеку, что означает, что они не обеспечивают взаимное общение. Устройство также не использует выражения лица и другие неручные маркеры жестового языка, которые могут изменить фактическую интерпретацию ASL. ^[13]

Профессиональный глухой

ProDeaf (Веб-книги) ^[14] это компьютерное программное обеспечение, которое может переводить текст и голос на португальский язык Libras (португальский язык жестов) «с целью улучшения общения между глухими и слышащими». ^[15] В настоящее время существует бета-версия для американского языка жестов также . Первоначальная команда начала проект в 2010 году в составе экспертов, включая лингвистов, дизайнеров, программистов и переводчиков, как слышащих, так и глухих. Команда возникла в Федеральном университете Пернамбуку (UFPE) из группы студентов, участвовавших в проекте по информатике. В группе был глухой член команды, которому было трудно общаться с остальной группой. Чтобы завершить проект и помочь товарищу по команде общаться, группа создала Proativa Soluções и с тех пор движется вперед. ^[16] Текущая бета-версия на американском языке жестов очень ограничена. Например, есть раздел словаря и единственное слово под буквой «j» — «прыгать». Если устройство не было запрограммировано на это слово, то цифровой аватар должен написать это слово отпечатком пальца. Последнее обновление приложения было в июне 2016 года, но ProDeaf был упомянут в более чем 400 материалах в самых популярных средствах массовой информации страны. ^[17]

Приложение не может читать язык жестов и преобразовывать его в слова или текст, поэтому оно служит только для односторонней связи. Кроме того, пользователь не может войти в приложение и получить перевод на английский язык в любой форме, поскольку английский язык все еще находится в бета-версии.

Kinect переводчик языка жестов

С 2012 года исследователи Китайской академии наук и специалисты по образованию глухих из Пекинского союзного университета в Китае сотрудничают с азиатской командой Microsoft Research для создания Kinect Sign Language Translator. ^[18] Переводчик состоит из двух режимов: режима переводчика и режима общения. Режим переводчика способен переводить отдельные слова из знаков в письменные слова и наоборот. В режиме общения можно переводить полные предложения, а разговор можно автоматически переводить с использованием 3D- аватара . Режим переводчика также может распознавать позу и форму рук подписывающего лица, а также траекторию движения с помощью технологий машинного обучения , распознавания образов и компьютерного зрения . Устройство также обеспечивает взаимное общение, поскольку технология распознавания речи позволяет переводить разговорный язык на язык жестов, а аватар с 3D-моделированием может отвечать глухим людям. ^[19]

Оригинальный проект был начат в Китае и основан на переводе китайского языка жестов . В 2013 году проект был представлен на саммите исследовательского факультета Microsoft и встрече компании Microsoft. ^[20] В настоящее время над этим проектом также работают исследователи в США по реализации перевода на американский язык жестов . ^[21] На данный момент устройство все еще является прототипом, и точность перевода в режиме связи все еще не идеальна.

ПодписатьВсе

ПодписатьВсе ^[22] это автоматическая система перевода на язык жестов, предоставляемая Dolphio Technologies. ^[23] в Венгрии. Команда «является пионером в разработке первого автоматизированного решения для перевода на язык жестов, основанного на компьютерном зрении и обработке естественного языка (NLP), чтобы обеспечить повседневное общение между людьми со слухом, использующими разговорный английский, и глухими или слабослышащими людьми, использующими ASL». Система SignAll использует Kinect от Microsoft и другие веб-камеры с датчиками глубины, подключенными к компьютеру. Технология компьютерного зрения может распознавать форму руки и движение подписывающего лица, а система обработки естественного языка преобразует собранные данные компьютерного зрения в простую английскую фразу. Разработчик устройства глухой, а остальная часть команды проекта состоит из множества инженеров и специалистов-лингвистов из сообществ глухих и слышащих. Технология способна учитывать все пять параметров ASL, что помогает устройству точно интерпретировать подписывающего. SignAll был одобрен многими компаниями, включая Deloitte и LT-innovate, и установил партнерские отношения с Microsoft Bizspark и обновление Венгрии. ^[24] Эта технология в настоящее время используется в христианской академии Форт-Бенд в Шугар-Ленде, штат Техас , и в Государственном университете Сэма Хьюстона . ^[25]

MotionSavvy

MotionSavvy ^[26] был первым языком жестов для голосовой системы. Устройство было создано в 2012 году группой из Рочестерского технологического института / Национального технического института глухих и «возникло из ускорителя Leap Motion AXLR8R». ^[27] Команда использовала чехол для планшета, в котором используются возможности контроллера Leap Motion. Вся команда из шести человек была создана глухими учениками школьного отделения обучения глухих. ^[28] В настоящее время это устройство является одним из двух устройств взаимной связи исключительно для американского языка жестов. Это позволяет глухим людям подавать жесты на устройство, которое затем переводится, или наоборот, используя разговорный английский и переводя его на американский язык жестов. Стоимость устройства составляет 198 долларов. Некоторые другие функции включают в себя возможность взаимодействия, обратную связь в реальном времени, построитель вывесок и краудсигнацию.

Устройство было рассмотрено всеми, от технологических журналов до Time . Wired сказала: «Нетрудно было увидеть, насколько преобразующей может быть такая технология, как [UNI]» и что «[UNI] показался мне своего рода волшебством». Кэти Стейнмец из TIME сказала: «Эта технология может изменить способ живут глухие». Шон Бакли из Engadget отметил: «UNI может стать невероятным инструментом коммуникации ».

Ссылки

^ Мочалов, Борис; Тернер, Грэм; Лохан, Катрин; Хасти, Хелен (2017). «На пути к непрерывному распознаванию языка жестов с помощью глубокого обучения» (PDF) . Создание смысла с помощью роботов-помощников: разрыв, оставленный интеллектуальными устройствами (Международная конференция IEEE-RAS по гуманоидным роботам) . S2CID 5525834 . Архивировано из оригинала (PDF) 10 января 2021 г. Проверено 4 мая 2020 г.
^ Яффе, Д.Л. (август 1994 г.). «Эволюция механических пальцевых рук для слепоглухих». Журнал реабилитационных исследований и разработок . 31 (3): 236–244. ПМИД 7965881 .
^ Jump up to: ^а ^б ^с Партон, Б.С. (12 октября 2005 г.). «Распознавание и перевод языка жестов: многопрофильный подход из области искусственного интеллекта» . Журнал исследований глухих и образования глухих . 11 (1): 94–101. дои : 10.1093/deafed/enj003 . ПМИД 16192405 .
^ Вайсманн, Дж.; Саломон, Р. (1999). «Распознавание жестов для приложений виртуальной реальности с использованием перчаток для передачи данных и нейронных сетей». IJCNN'99. Международная совместная конференция по нейронным сетям. Судебные разбирательства (Кат. № 99CH36339) . Том. 3. С. 2043–2046. дои : 10.1109/IJCNN.1999.832699 . ISBN 978-0-7803-5529-3 . S2CID 18434944 .
^ Боуден, Ричард; Зиссерман, Эндрю; Виндридж, Дэйв; Кадир, Тимор; Брэди, Майк (2003). «Визуальная интерпретация естественных языков жестов» (PDF) . S2CID 67094263 . {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
^ Бёрд, Джордан Дж.; Экарт, Анико; Фариа, Диего Р. (9 сентября 2020 г.). «Распознавание британского языка жестов посредством позднего слияния компьютерного зрения и скачкообразного движения с переносом обучения на американский язык жестов» . Датчики . 20 (18): 5151. Бибкод : 2020Senso..20.5151B . дои : 10.3390/s20185151 . ПМЦ 7571093 . ПМИД 32917024 .
^ «Чем отличается перевод от транслитерации» . английский.stackexchange.com . Проверено 6 апреля 2017 г.
^ «Звук вслух» . Архивировано из оригинала 21 сентября 2020 г. Проверено 28 февраля 2017 г.
^ «Томас Прайор и Навид Азоди | Программа Лемельсона-MIT» . lemelson.mit.edu . Архивировано из оригинала 21 сентября 2020 г. Проверено 4 июля 2019 г.
^ Jump up to: ^а ^б «Эти перчатки предлагают современный взгляд на язык жестов» . Учтены все технологии . ЭНЕРГЕТИЧЕСКИЙ ЯДЕРНЫЙ РЕАКТОР. 17 мая 2016 г.
^ «Коллегиальные изобретатели награждены студенческой премией Лемельсона-MIT» . Программа Лемельсона-MIT. Архивировано из оригинала 13 января 2021 г. Проверено 9 марта 2017 г.
^ «Команда студентов Университета Вашингтона выиграла студенческую премию Лемельсона-MIT в размере 10 000 долларов за перчатки, которые переводят язык жестов» . Университет Вашингтона. 12 апреля 2016 г. Проверено 9 апреля 2017 г.
^ «Неручные маркеры американского языка жестов (ASL)» . www.lifeprint.com . Проверено 6 апреля 2017 г.
^ «ПроГлухой» . prodeaf.net . Архивировано из оригинала 12 марта 2021 г. Проверено 9 апреля 2017 г.
^ «ПроГлухой» . www.prodeaf.net . Проверено 9 марта 2017 г.
^ «ПроГлухой» . www.prodeaf.net . Проверено 16 марта 2017 г.
^ «ProDeaf Tradutor para Libras в App Store» . Магазин приложений . Проверено 9 марта 2017 г.
^ Чен, Силинь; Ли, Ханьцзин; Пан, Тим; Тэнсли, Стюарт; Чжоу, Мин. «Переводчик языка жестов Kinect расширяет возможности общения» (PDF) . Связи с исследованиями Microsoft. Архивировано из оригинала (PDF) 29 марта 2014 года.
^ Чжихао; Чен, Силин ( 2013 Сюй , Чай , Юшунь ; Линь , Сюцзюань ; ) . {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
^ «Переводчик языка жестов Kinect» . Майкрософт . 29 октября 2013 г.
^ Зафрулла, Захур; Брашир, Хелен; Старнер, Тэд; Гамильтон, Харли; Прести, Питер (2011). «Распознавание американского языка жестов с помощью kinect». Материалы 13-й международной конференции по мультимодальным интерфейсам — ICMI '11 . п. 279. дои : 10.1145/2070481.2070532 . ISBN 978-1-4503-0641-6 . S2CID 5488882 .
^ «SignAll. Переводим язык жестов. Автоматически» . www.signall.us . Архивировано из оригинала 2 февраля 2021 г. Проверено 9 апреля 2017 г.
^ «Дольфио | Уникальные IT-технологии» . www.dolphio.hu . Проверено 6 апреля 2017 г.
^ «SignAll. Переводим язык жестов. Автоматически» . www.signall.us . Архивировано из оригинала 2 февраля 2021 г. Проверено 9 марта 2017 г.
^ «Пилотная новая технология американской программы языка жестов Христианской академии Форт-Бенд | Журнал Fort Bend Focus» . Проверено 8 августа 2023 г.
^ «MotionSavvy UNI: первый язык жестов для голосовой системы» . Индигого . Проверено 9 марта 2017 г.
^ «Рочестерский технологический институт (RIT)» . Рочестерский технологический институт (RIT) . Проверено 6 апреля 2017 г.
^ Цоцис, Алексия (6 июня 2014 г.). «MotionSavvy — это приложение для планшетов, которое понимает язык жестов» . ТехКранч . Проверено 9 апреля 2017 г.

[1] Мочалов, Борис; Тернер, Грэм; Лохан, Катрин; Хасти, Хелен (2017). «На пути к непрерывному распознаванию языка жестов с помощью глубокого обучения» (PDF) . Создание смысла с помощью роботов-помощников: разрыв, оставленный интеллектуальными устройствами (Международная конференция IEEE-RAS по гуманоидным роботам) . S2CID 5525834 . Архивировано из оригинала (PDF) 10 января 2021 г. Проверено 4 мая 2020 г.

[2] Яффе, Д.Л. (август 1994 г.). «Эволюция механических пальцевых рук для слепоглухих». Журнал реабилитационных исследований и разработок . 31 (3): 236–244. ПМИД 7965881 .

[:2-3] Jump up to: ^а ^б ^с Партон, Б.С. (12 октября 2005 г.). «Распознавание и перевод языка жестов: многопрофильный подход из области искусственного интеллекта» . Журнал исследований глухих и образования глухих . 11 (1): 94–101. дои : 10.1093/deafed/enj003 . ПМИД 16192405 .

[4] Вайсманн, Дж.; Саломон, Р. (1999). «Распознавание жестов для приложений виртуальной реальности с использованием перчаток для передачи данных и нейронных сетей». IJCNN'99. Международная совместная конференция по нейронным сетям. Судебные разбирательства (Кат. № 99CH36339) . Том. 3. С. 2043–2046. дои : 10.1109/IJCNN.1999.832699 . ISBN 978-0-7803-5529-3 . S2CID 18434944 .

[5] Боуден, Ричард; Зиссерман, Эндрю; Виндридж, Дэйв; Кадир, Тимор; Брэди, Майк (2003). «Визуальная интерпретация естественных языков жестов» (PDF) . S2CID 67094263 . {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )

[6] Бёрд, Джордан Дж.; Экарт, Анико; Фариа, Диего Р. (9 сентября 2020 г.). «Распознавание британского языка жестов посредством позднего слияния компьютерного зрения и скачкообразного движения с переносом обучения на американский язык жестов» . Датчики . 20 (18): 5151. Бибкод : 2020Senso..20.5151B . дои : 10.3390/s20185151 . ПМЦ 7571093 . ПМИД 32917024 .

[7] «Чем отличается перевод от транслитерации» . английский.stackexchange.com . Проверено 6 апреля 2017 г.

[8] «Звук вслух» . Архивировано из оригинала 21 сентября 2020 г. Проверено 28 февраля 2017 г.

[9] «Томас Прайор и Навид Азоди | Программа Лемельсона-MIT» . lemelson.mit.edu . Архивировано из оригинала 21 сентября 2020 г. Проверено 4 июля 2019 г.

[alltechconsidered-10] Jump up to: ^а ^б «Эти перчатки предлагают современный взгляд на язык жестов» . Учтены все технологии . ЭНЕРГЕТИЧЕСКИЙ ЯДЕРНЫЙ РЕАКТОР. 17 мая 2016 г.

[11] «Коллегиальные изобретатели награждены студенческой премией Лемельсона-MIT» . Программа Лемельсона-MIT. Архивировано из оригинала 13 января 2021 г. Проверено 9 марта 2017 г.

[12] «Команда студентов Университета Вашингтона выиграла студенческую премию Лемельсона-MIT в размере 10 000 долларов за перчатки, которые переводят язык жестов» . Университет Вашингтона. 12 апреля 2016 г. Проверено 9 апреля 2017 г.

[13] «Неручные маркеры американского языка жестов (ASL)» . www.lifeprint.com . Проверено 6 апреля 2017 г.

[14] «ПроГлухой» . prodeaf.net . Архивировано из оригинала 12 марта 2021 г. Проверено 9 апреля 2017 г.

[15] «ПроГлухой» . www.prodeaf.net . Проверено 9 марта 2017 г.

[16] «ПроГлухой» . www.prodeaf.net . Проверено 16 марта 2017 г.

[17] «ProDeaf Tradutor para Libras в App Store» . Магазин приложений . Проверено 9 марта 2017 г.

[18] Чен, Силинь; Ли, Ханьцзин; Пан, Тим; Тэнсли, Стюарт; Чжоу, Мин. «Переводчик языка жестов Kinect расширяет возможности общения» (PDF) . Связи с исследованиями Microsoft. Архивировано из оригинала (PDF) 29 марта 2014 года.

[19] Чжихао; Чен, Силин ( 2013 Сюй , Чай , Юшунь ; Линь , Сюцзюань ; ) . {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )

[20] «Переводчик языка жестов Kinect» . Майкрософт . 29 октября 2013 г.

[21] Зафрулла, Захур; Брашир, Хелен; Старнер, Тэд; Гамильтон, Харли; Прести, Питер (2011). «Распознавание американского языка жестов с помощью kinect». Материалы 13-й международной конференции по мультимодальным интерфейсам — ICMI '11 . п. 279. дои : 10.1145/2070481.2070532 . ISBN 978-1-4503-0641-6 . S2CID 5488882 .

[22] «SignAll. Переводим язык жестов. Автоматически» . www.signall.us . Архивировано из оригинала 2 февраля 2021 г. Проверено 9 апреля 2017 г.

[23] «Дольфио | Уникальные IT-технологии» . www.dolphio.hu . Проверено 6 апреля 2017 г.

[:1-24] «SignAll. Переводим язык жестов. Автоматически» . www.signall.us . Архивировано из оригинала 2 февраля 2021 г. Проверено 9 марта 2017 г.

[25] «Пилотная новая технология американской программы языка жестов Христианской академии Форт-Бенд | Журнал Fort Bend Focus» . Проверено 8 августа 2023 г.

[26] «MotionSavvy UNI: первый язык жестов для голосовой системы» . Индигого . Проверено 9 марта 2017 г.

[27] «Рочестерский технологический институт (RIT)» . Рочестерский технологический институт (RIT) . Проверено 6 апреля 2017 г.

[28] Цоцис, Алексия (6 июня 2014 г.). «MotionSavvy — это приложение для планшетов, которое понимает язык жестов» . ТехКранч . Проверено 9 апреля 2017 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]