Распознавание речи

Из Википедии, бесплатной энциклопедии
Чтобы узнать о человеческой лингвистической концепции, см. «Восприятие речи» .

Распознавание речи — это междисциплинарная область информатики и компьютерной лингвистики , которая разрабатывает методологии и технологии, позволяющие распознавать и переводить разговорную речь в текст с помощью компьютеров. Он также известен как автоматическое распознавание речи ( ASR ), компьютерное распознавание речи или преобразование речи в текст ( STT ). Он включает в себя знания и исследования в области информатики , лингвистики и компьютерной инженерии . Обратный процесс — синтез речи .

Некоторые системы распознавания речи требуют «обучения» (также называемого «зачислением»), когда отдельный говорящий читает текст или изолированный словарный запас в систему . Система анализирует конкретный голос человека и использует его для точной настройки распознавания речи этого человека, что приводит к повышению точности. Системы, не использующие обучение, называются «динамиконезависимыми». [1] системы. Системы, использующие обучение, называются «зависимыми от говорящего».

Приложения распознавания речи включают голосовые пользовательские интерфейсы , такие как голосовой набор (например, «позвонить домой»), маршрутизация вызовов (например, «Я хотел бы сделать платный звонок»), управление домашними устройствами, поиск ключевых слов (например, найти подкаст, в котором есть определенные слова). были произнесены), простой ввод данных (например, ввод номера кредитной карты), подготовка структурированных документов (например, радиологический отчет), определение характеристик говорящего, [2] обработка речи в текст (например, текстовые процессоры или электронная почта ) и самолеты (обычно называемые прямым голосовым вводом ). Автоматическая оценка произношения используется в сфере образования, например, при изучении разговорной речи.

Термин «распознавание голоса» [3] [4] [5] или идентификация говорящего [6] [7] [8] относится к идентификации говорящего, а не к тому, что он говорит. Распознавание говорящего может упростить задачу перевода речи в системах, обученных на голосе конкретного человека, или может использоваться для аутентификации или проверки личности говорящего в рамках процесса безопасности.

С технологической точки зрения распознавание речи имеет долгую историю, сопровождавшуюся несколькими волнами крупных инноваций. Совсем недавно эта область получила выгоду от достижений в области глубокого обучения и больших данных . Достижения подтверждаются не только большим количеством научных работ, опубликованных в этой области, но, что более важно, внедрением во всем мире различных методов глубокого обучения при проектировании и развертывании систем распознавания речи.

История [ править ]

Ключевыми областями роста были: размер словарного запаса, независимость говорящего и скорость обработки информации.

До 1970 г. [ править ]

Радж Редди был первым человеком, который взялся за непрерывное распознавание речи, будучи аспирантом Стэнфордского университета в конце 1960-х годов. Предыдущие системы требовали от пользователей делать паузу после каждого слова. Система Редди выдавала голосовые команды для игры в шахматы .

Примерно в это же время советские исследователи изобрели алгоритм динамического искажения времени (DTW) и использовали его для создания распознавателя, способного работать со словарем из 200 слов. [15] DTW обрабатывал речь, разделяя ее на короткие кадры, например сегменты по 10 мс, и обрабатывая каждый кадр как единое целое. Хотя DTW был заменен более поздними алгоритмами, этот метод сохранился. Достижение независимости спикеров в тот период оставалось нерешенным.

1970–1990 [ править ]

  • 1972 – Группа IEEE по акустике, речи и обработке сигналов провела конференцию в Ньютоне, штат Массачусетс.
  • 1976 — Первая конференция ICASSP прошла в Филадельфии , которая с тех пор стала основным местом публикации исследований по распознаванию речи. [19]

В конце 1960-х годов Леонард Баум разработал математику цепей Маркова в Институте оборонного анализа . Десять лет спустя в CMU ученики Раджа Редди Джеймс Бейкер и Джанет М. Бейкер начали использовать скрытую модель Маркова (HMM) для распознавания речи. [20] Джеймс Бейкер узнал о HMM во время летней работы в Институте оборонного анализа во время учебы в бакалавриате. [21] Использование HMM позволило исследователям объединить различные источники знаний, такие как акустика, язык и синтаксис, в единую вероятностную модель.

  • К середине 1980-х годов IBM команда Фреда Елинека из создала пишущую машинку с голосовым управлением под названием Tangora, которая могла обрабатывать словарный запас в 20 000 слов. [22] Статистический подход Елинека уделяет меньше внимания имитации того, как человеческий мозг обрабатывает и понимает речь, в пользу использования методов статистического моделирования, таких как HMM. (Группа Елинека независимо обнаружила применение HMM к речи. [21] ) Это вызвало споры у лингвистов, поскольку HMM слишком упрощены, чтобы объяснить многие общие черты человеческих языков. [23] Однако HMM оказался очень полезным способом моделирования речи и заменил динамическое искажение времени, став доминирующим алгоритмом распознавания речи в 1980-х годах. [24] [25]

Практическое распознавание речи [ править ]

В 1980-е годы также была представлена ​​языковая модель n-грамм .

  • 1987 - Модель отсрочки позволила языковым моделям использовать n-граммы разной длины и CSELT. [27] использовал HMM для распознавания языков (как в программном обеспечении, так и в специализированных аппаратных процессорах, например RIPAC ).

Большая часть прогресса в этой области обусловлена ​​быстро растущими возможностями компьютеров. По окончании программы DARPA в 1976 году лучшим компьютером, доступным исследователям, был PDP-10 с 4 МБ оперативной памяти. [28] Чтобы декодировать всего лишь 30 секунд речи, может потребоваться до 100 минут. [29]

Двумя практическими продуктами были:

  • 1984 г. - выпущен Apricot Portable с поддержкой до 4096 слов, из которых только 64 могут храниться в оперативной памяти одновременно. [30]
  • 1987 г. – признанный специалист компании Kurzweil Applied Intelligence.
  • 1990 — Dragon Dictate, потребительский продукт, выпущенный в 1990 году. [31] [32] В 1992 году AT&T внедрила службу обработки вызовов с распознаванием голоса для маршрутизации телефонных звонков без использования оператора-человека. [33] Технология была разработана Лоуренсом Рабинером и другими сотрудниками Bell Labs.

К этому моменту словарный запас типичной коммерческой системы распознавания речи уже превышал средний человеческий словарный запас. [28] Бывший ученик Раджа Редди, Сюэдун Хуан , разработал систему Sphinx-II в CMU. Система Sphinx-II была первой системой, обеспечивающей независимость от говорящего, большой словарный запас и непрерывное распознавание речи, и она показала лучшие характеристики по оценке DARPA 1992 года. Обработка непрерывной речи с помощью большого словарного запаса стала важной вехой в истории распознавания речи. В 1993 году Хуанг основал группу по распознаванию речи в Microsoft. Ученик Раджа Редди Кай-Фу Ли присоединился к Apple, где в 1992 году он помог разработать прототип речевого интерфейса для компьютера Apple, известного как Casper.

Lernout & Hauspie , бельгийская компания по распознаванию речи, приобрела несколько других компаний, в том числе Kurzweil Applied Intelligence в 1997 году и Dragon Systems в 2000 году. Речевая технология L&H использовалась в операционной системе Windows XP . L&H была лидером отрасли до тех пор, пока бухгалтерский скандал не положил конец компании в 2001 году. Речевую технологию L&H купила компания ScanSoft, которая стала Nuance в 2005 году . Первоначально Apple лицензировала программное обеспечение Nuance, чтобы обеспечить возможность распознавания речи своему цифровому помощнику Siri . [34]

2000-е [ править ]

В 2000-х годах DARPA спонсировало две программы распознавания речи: «Эффективное доступное повторное использование речи в тексте» (EARS) в 2002 году и « Global Autonomous Language Exploitation » (GALE). В программе EARS участвовали четыре команды: IBM , команда под руководством BBN с LIMSI и Univ. Питтсбурга , Кембриджского университета и группы, состоящей из ICSI , SRI и Вашингтонского университета . EARS профинансировал сбор корпуса телефонной речи Switchboard , содержащий 260 часов записанных разговоров более чем 500 говорящих. [35] Программа GALE была сосредоточена на на арабском и китайском языках новостной речи . Первые попытки Google в области распознавания речи были предприняты в 2007 году после найма нескольких исследователей из Nuance. [36] Первым продуктом была GOOG-411 , телефонная служба каталогов. Записи GOOG-411 предоставили ценные данные, которые помогли Google улучшить свои системы распознавания. Голосовой поиск Google теперь поддерживается более чем на 30 языках.

В Соединенных Штатах Агентство национальной безопасности использует тип распознавания речи для определения ключевых слов по крайней мере с 2006 года. [37] Эта технология позволяет аналитикам осуществлять поиск в больших объемах записанных разговоров и изолировать упоминания ключевых слов. Записи можно индексировать, а аналитики могут выполнять запросы к базе данных, чтобы найти интересующие разговоры. Некоторые правительственные исследовательские программы были сосредоточены на интеллектуальных приложениях распознавания речи, например, программа EARS DARPA и IARPA Babel программа .

В начале 2000-х годов в распознавании речи все еще доминировали традиционные подходы, такие как скрытые модели Маркова в сочетании с искусственными нейронными сетями прямого распространения . [38] Однако сегодня многие аспекты распознавания речи были взяты на вооружение методом глубокого обучения под названием « Длинная кратковременная память» (LSTM), рекуррентной нейронной сети , опубликованной Зеппом Хохрайтером и Юргеном Шмидхубером в 1997 году. [39] LSTM RNN позволяют избежать проблемы исчезающего градиента и могут изучать задачи «очень глубокого обучения». [40] которые требуют воспоминаний о событиях, произошедших тысячи дискретных шагов назад, что важно для речи. Примерно в 2007 году LSTM прошел обучение в рамках коннекционистской временной классификации (CTC). [41] начал превосходить традиционное распознавание речи в некоторых приложениях. [42] Сообщается, что в 2015 году производительность системы распознавания речи Google резко выросла на 49% благодаря LSTM, обученному CTC, который теперь доступен через Google Voice для всех пользователей смартфонов. [43] Трансформеры , тип нейронной сети, основанный исключительно на «внимании», получили широкое распространение в компьютерном зрении. [44] [45] и языковое моделирование, [46] [47] вызывая интерес к адаптации таких моделей к новым областям, включая распознавание речи. [48] [49] [50] В некоторых недавних статьях сообщалось о превосходных уровнях производительности при использовании моделей преобразователей для распознавания речи, но эти модели обычно требуют крупномасштабных наборов обучающих данных для достижения высоких уровней производительности.

Использование сетей с глубокой прямой связью (нерекуррентных) для акустического моделирования было представлено во второй половине 2009 года Джеффри Хинтоном и его студентами в Университете Торонто, а также Ли Дэном. [51] и коллеги из Microsoft Research, первоначально в рамках совместной работы Microsoft и Университета Торонто, которая впоследствии была расширена за счет IBM и Google (отсюда подзаголовок «Общие взгляды четырех исследовательских групп» в их обзорном документе 2012 года). [52] [53] [54] Руководитель исследования Microsoft назвал это нововведение «самым резким изменением точности с 1979 года». [55] В отличие от устойчивых постепенных улучшений последних нескольких десятилетий, применение глубокого обучения снизило частоту ошибок в словах на 30%. [55] Это нововведение быстро распространилось по всей отрасли. Исследователи также начали использовать методы глубокого обучения для языкового моделирования.

За долгую историю распознавания речи как поверхностные, так и глубокие формы (например, рекуррентные сети) искусственных нейронных сетей исследовались в течение многих лет в 1980-х, 1990-х годах и в течение нескольких лет в 2000-х годах. [56] [57] [58] Но эти методы никогда не побеждали технологию неоднородной модели гауссовской смеси с внутренним ручным созданием / скрытой модели Маркова (GMM-HMM), основанную на генеративных моделях речи, обученных дискриминативно. [59] В 1990-е годы был методологически проанализирован ряд ключевых трудностей, в том числе уменьшение градиента [60] и слабая структура временной корреляции в нейронных прогнозирующих моделях. [61] [62] Все эти трудности были в дополнение к отсутствию больших обучающих данных и большой вычислительной мощности в те первые дни. Большинство исследователей в области распознавания речи, которые понимали такие барьеры, впоследствии отошли от нейронных сетей и стали использовать подходы генеративного моделирования до недавнего возрождения глубокого обучения, начавшегося примерно в 2009–2010 годах, которое преодолело все эти трудности. Хинтон и др. и Дэнг и др. рассмотрели часть этой недавней истории о том, как их сотрудничество друг с другом, а затем с коллегами из четырех групп (Университет Торонто, Microsoft, Google и IBM) положило начало возрождению приложений глубоких нейронных сетей прямого распространения для распознавания речи. [53] [54] [63] [64]

2010-е [ править ]

К началу 2010-х годов распознавание речи , также называемое распознаванием голоса. [65] [66] [67] четко отличался от распознавания говорящего , а независимость говорящего считалась большим прорывом. До этого системам требовался период «обучения». Реклама куклы 1987 года имела слоган «Наконец-то кукла, которая тебя понимает». - несмотря на то, что его описывали как «которое дети могут научить реагировать на свой голос». [12]

В 2017 году исследователи Microsoft достигли исторической вехи человеческого паритета, расшифровав разговорную телефонную речь с помощью широко проверенной задачи Switchboard. Для оптимизации точности распознавания речи использовалось несколько моделей глубокого обучения. Сообщается, что частота ошибок в словах при распознавании речи составляет всего лишь 4 профессиональных транскрибатора, работающих вместе над одним и тем же тестом, который финансировался речевой командой IBM Watson для выполнения одной и той же задачи. [68]

Модели, методы и алгоритмы [ править ]

И акустическое моделирование , и языковое моделирование являются важными частями современных статистических алгоритмов распознавания речи. Скрытые марковские модели (СММ) широко используются во многих системах. Языковое моделирование также используется во многих других приложениях обработки естественного языка, таких как классификация документов или статистический машинный перевод .

марковские модели Скрытые ​

Основная статья: Скрытая модель Маркова

Современные системы распознавания речи общего назначения основаны на скрытых марковских моделях. Это статистические модели, которые выводят последовательность символов или величин. HMM используются при распознавании речи, поскольку речевой сигнал можно рассматривать как кусочно-стационарный сигнал или кратковременный стационарный сигнал. В коротком временном масштабе (например, 10 миллисекунд) речь можно аппроксимировать как стационарный процесс . Речь можно рассматривать как модель Маркова для многих стохастических целей.

Другая причина популярности HMM заключается в том, что их можно обучать автоматически, а также они просты и осуществимы с вычислительной точки зрения. При распознавании речи скрытая марковская модель будет выводить последовательность n -мерных векторов с действительными значениями (где n — небольшое целое число, например 10), выдавая один из них каждые 10 миллисекунд. Векторы будут состоять из кепстральных коэффициентов, которые получаются путем преобразования Фурье короткого временного окна речи и декорреляции спектра с помощью косинусного преобразования , а затем взятия первых (наиболее значимых) коэффициентов. Скрытая марковская модель будет иметь в каждом состоянии статистическое распределение, представляющее собой смесь гауссиан диагональной ковариации, что даст вероятность для каждого наблюдаемого вектора. Каждое слово или (для более общих систем распознавания речи) каждая фонема будет иметь различное выходное распределение; скрытая модель Маркова для последовательности слов или фонем создается путем объединения отдельных обученных скрытых моделей Маркова для отдельных слов и фонем.

Выше описаны основные элементы наиболее распространенного подхода к распознаванию речи, основанного на HMM. Современные системы распознавания речи используют различные комбинации ряда стандартных методов для улучшения результатов по сравнению с базовым подходом, описанным выше. Типичная система с большим словарным запасом потребует контекстной зависимости для фонем (так что фонемы с разным левым и правым контекстом будут иметь разные реализации, как утверждает HMM); он будет использовать кепстральную нормализацию для нормализации для разных говорящих и условий записи; для дальнейшей нормализации говорящего он может использовать нормализацию длины голосового тракта (VTLN) для нормализации мужского и женского пола и линейную регрессию максимального правдоподобия (MLLR) для более общей адаптации говорящего. Эти функции будут иметь так называемые коэффициенты дельта и дельта-дельта для улавливания динамики речи и, кроме того, могут использовать гетероскедастический линейный дискриминантный анализ (HLDA); или можно пропустить коэффициенты дельта и дельта-дельта и использовать сращивание и Проекция на основе LDA , за которой, возможно, следует гетероскедастический линейный дискриминантный анализ или глобальное полусвязанное ковариационное преобразование (также известное как линейное преобразование максимального правдоподобия или MLLT). Многие системы используют так называемые методы дискриминационного обучения, которые обходятся без чисто статистического подхода к оценке параметров HMM и вместо этого оптимизируют некоторые меры обучающих данных, связанные с классификацией. Примерами являются максимальная взаимная информация (MMI), минимальная ошибка классификации (MCE) и минимальная ошибка телефона (MPE).

Декодирование речи (термин, обозначающий то, что происходит, когда системе предоставляется новое высказывание и она должна вычислить наиболее вероятное исходное предложение), вероятно, будет использовать алгоритм Витерби для поиска наилучшего пути, и здесь есть выбор между динамическим созданием комбинированная скрытая модель Маркова, которая включает в себя информацию как об акустической, так и о языковой модели и предварительно статически объединяет ее ( подход преобразователя конечных состояний , или FST).

Возможным улучшением декодирования является сохранение набора хороших кандидатов вместо того, чтобы просто сохранять лучшего кандидата, и использование лучшей функции оценки ( повторной оценки ) для оценки этих хороших кандидатов, чтобы мы могли выбрать лучшего в соответствии с этой уточненной оценкой. . Набор кандидатов может храниться либо в виде списка ( подход N-лучшего списка ), либо в виде подмножества моделей ( решетка ). Повторная оценка обычно проводится с целью минимизировать байесовский риск. [69] (или его приближение) Вместо того, чтобы брать исходное предложение с максимальной вероятностью, мы пытаемся взять предложение, которое минимизирует математическое ожидание данной функции потерь относительно всех возможных транскрипций (т. е. мы берем предложение, которое минимизирует среднее расстояние до другие возможные предложения, взвешенные по их предполагаемой вероятности). Функция потерь обычно представляет собой расстояние Левенштейна , хотя для конкретных задач это могут быть разные расстояния; набор возможных транскрипций, конечно, сокращается, чтобы сохранить читаемость. Были разработаны эффективные алгоритмы для восстановления решеток , представленных как взвешенные преобразователи конечных состояний с расстояниями редактирования , представляющими собой преобразователи конечных состояний , проверяющие определенные предположения. [70]

речи на основе динамического искажения времени ( Распознавание DTW )

Основная статья: Динамическое искажение времени

Динамическое искажение времени — это подход, который исторически использовался для распознавания речи, но в настоящее время в значительной степени вытеснен более успешным подходом, основанным на HMM.

Динамическое искажение времени — это алгоритм измерения сходства между двумя последовательностями, которые могут различаться по времени или скорости. Например, сходство в моделях ходьбы будет обнаружено, даже если в одном видео человек шел медленно, а в другом он или она шел быстрее, или даже если в ходе одного наблюдения наблюдались ускорения и замедления. DTW применяется к видео, аудио и графике — действительно, любые данные, которые можно преобразовать в линейное представление, можно проанализировать с помощью DTW.

Хорошо известным применением является автоматическое распознавание речи, позволяющее справляться с различной скоростью речи. В общем, это метод, который позволяет компьютеру находить оптимальное соответствие между двумя заданными последовательностями (например, временными рядами) с определенными ограничениями. То есть последовательности нелинейно «искажаются», чтобы соответствовать друг другу. Этот метод выравнивания последовательностей часто используется в контексте скрытых моделей Маркова.

Нейронные сети [ править ]

Основная статья: Искусственная нейронная сеть

Нейронные сети стали привлекательным подходом к акустическому моделированию в ASR в конце 1980-х годов. С тех пор нейронные сети использовались во многих аспектах распознавания речи, таких как классификация фонем, [71] классификация фонем с помощью многоцелевых эволюционных алгоритмов, [72] распознавание изолированных слов, [73] аудиовизуальное распознавание речи , аудиовизуальное распознавание говорящего и адаптация говорящего.

Нейронные сети делают меньше явных предположений о статистических свойствах функций, чем HMM, и обладают рядом качеств, делающих их более привлекательными моделями распознавания речи. При использовании для оценки вероятностей сегмента речевого признака нейронные сети позволяют проводить различительное обучение естественным и эффективным способом. Однако, несмотря на их эффективность в классификации кратких единиц, таких как отдельные фонемы и изолированные слова, [74] Ранние нейронные сети редко были успешными для задач непрерывного распознавания из-за их ограниченной способности моделировать временные зависимости.

Одним из подходов к этому ограничению было использование нейронных сетей для предварительной обработки, преобразования признаков или уменьшения размерности. [75] шаг до признания на основе HMM. Однако в последнее время LSTM и связанные с ним рекуррентные нейронные сети (RNN) [39] [43] [76] [77] Нейронные сети с задержкой времени (TDNN), [78] и трансформаторы [48] [49] [50] продемонстрировали улучшение показателей в этой области.

нейронные сети и рекуррентные Глубокая прямая связь

Основная статья: Глубокое обучение

Глубокие нейронные сети и автоэнкодеры с шумоподавлением [79] также находятся под следствием. Нейронная сеть глубокого прямого распространения (DNN) — это искусственная нейронная сеть с несколькими скрытыми слоями блоков между входным и выходным слоями. [53] Подобно мелким нейронным сетям, DNN могут моделировать сложные нелинейные отношения. Архитектуры DNN создают композиционные модели, в которых дополнительные уровни позволяют комбинировать функции нижних уровней, обеспечивая огромные возможности обучения и, следовательно, потенциал моделирования сложных шаблонов речевых данных. [80]

Успех DNN в распознавании речи с большим словарным запасом произошел в 2010 году промышленными исследователями в сотрудничестве с академическими исследователями, где были приняты большие выходные слои DNN на основе контекстно-зависимых состояний HMM, построенных с помощью деревьев решений. [81] [82] [83] Подробные обзоры этой разработки и современного состояния по состоянию на октябрь 2014 года можно найти в недавней книге Springer от Microsoft Research. [84] См. также информацию об автоматическом распознавании речи и влиянии различных парадигм машинного обучения, в частности, глубокого обучения , в последние обзорные статьи. [85] [86]

Один из фундаментальных принципов глубокого обучения — отказаться от ручной разработки функций и использовать необработанные функции. Этот принцип был впервые успешно исследован в архитектуре глубокого автокодирования на «необработанных» спектрограммах или в функциях набора линейных фильтров. [87] показывая его превосходство над функциями Mel-Cepstral, которые содержат несколько стадий фиксированной трансформации из спектрограмм. Совсем недавно было показано, что настоящие «сырые» характеристики речи, формы сигналов, дают превосходные результаты распознавания речи в более крупном масштабе. [88]

Сквозное автоматическое распознавание речи [ править ]

С 2014 года наблюдается большой исследовательский интерес к «сквозному» ASR. Традиционные подходы, основанные на фонетике (т. е. все модели на основе HMM ), требовали отдельных компонентов и обучения для модели произношения, акустики и языка . Сквозные модели совместно изучают все компоненты распознавателя речи. Это ценно, поскольку упрощает процесс обучения и процесс развертывания. Например, языковая модель n-грамм , а типичная языковая модель n-грамм часто занимает несколько гигабайт памяти, что делает ее непрактичным для развертывания на мобильных устройствах. для всех систем на базе HMM требуется [89] Следовательно, современные коммерческие системы ASR от Google и Apple (по состоянию на 2017 г. ) ) развертываются в облаке и требуют подключения к сети, а не локального устройства.

Первая попытка сквозного ASR была предпринята с помощью систем на основе коннекционистской временной классификации (CTC), представленных Алексом Грейвсом из Google DeepMind и Навдипом Джейтли из Университета Торонто в 2014 году. [90] Модель состояла из рекуррентных нейронных сетей и слоя CTC. Совместно модель RNN-CTC изучает произношение и акустическую модель вместе, однако она не способна изучать язык из-за предположений об условной независимости, аналогичных HMM. Следовательно, модели CTC могут напрямую научиться сопоставлять акустику речи с английскими символами, но модели допускают множество распространенных орфографических ошибок и должны полагаться на отдельную языковую модель для очистки транскриптов. Позже Baidu расширила работу с чрезвычайно большими наборами данных и продемонстрировала некоторый коммерческий успех на китайском и английском языках. [91] В 2016 году Оксфордский университет представил LipNet , [92] первая сквозная модель чтения по губам на уровне предложений, использующая пространственно-временные извилины в сочетании с архитектурой RNN-CTC, превосходящая производительность человеческого уровня в ограниченном наборе грамматических данных. [93] Крупномасштабная архитектура CNN-RNN-CTC была представлена ​​в 2018 году компанией Google DeepMind, ее производительность в 6 раз выше, чем у экспертов-людей. [94]

Альтернативным подходом к моделям, основанным на CTC, являются модели, основанные на внимании. Модели ASR, основанные на внимании, были представлены одновременно Chan et al. из Университета Карнеги-Меллон и Google Brain и Bahdanau et al. Университета Монреаля в 2016 году. [95] [96] Модель под названием «Listen, Attend and Spell» (LAS) буквально «слушает» акустический сигнал, обращает «внимание» на различные части сигнала и «проговаривает» расшифровку по одному символу за раз. В отличие от моделей на основе CTC, модели на основе внимания не имеют предположений об условной независимости и могут напрямую изучать все компоненты распознавателя речи, включая произношение, акустическую и языковую модель. Это означает, что во время развертывания нет необходимости носить с собой языковую модель, что делает ее очень удобной для приложений с ограниченной памятью. К концу 2016 года модели, основанные на внимании, добились значительных успехов, в том числе превзойдя модели CTC (с моделью внешнего языка или без нее). [97] Со времени исходной модели LAS были предложены различные расширения. Разложение скрытых последовательностей (LSD) было предложено Университетом Карнеги-Меллона , Массачусетским технологическим институтом и Google Brain для прямого выделения единиц подслов, которые более естественны, чем английские символы; [98] Оксфордский университет и Google DeepMind расширили LAS до «Смотри, слушай, посещай и произноси» (WLAS), чтобы обеспечить чтение по губам, превосходящее человеческие возможности. [99]

Приложения [ править ]

Автомобильные системы [ править ]

Обычно ввод ручного управления, например, с помощью пальца на рулевом колесе, активирует систему распознавания речи, и об этом сообщается водителю посредством звуковой подсказки. После звуковой подсказки система имеет «окно прослушивания», в течение которого она может принять речевой ввод для распознавания. [ нужна цитата ]

Простые голосовые команды можно использовать для совершения телефонных звонков, выбора радиостанций или воспроизведения музыки с совместимого смартфона, MP3-плеера или флэш-накопителя с музыкой. Возможности распознавания голоса различаются в зависимости от марки и модели автомобиля. Некоторые из самых последних [ когда? ] Модели автомобилей предлагают распознавание речи на естественном языке вместо фиксированного набора команд, что позволяет водителю использовать полные предложения и общие фразы. Таким образом, в таких системах пользователю нет необходимости запоминать набор фиксированных командных слов. [ нужна цитата ]

Образование [ править ]

Основная статья: Оценка произношения

Автоматическая оценка произношения – это использование распознавания речи для проверки правильности произнесенной речи, [100] в отличие от ручной оценки, проводимой инструктором или инспектором. [101] Эта технология, также называемая проверкой речи, оценкой произношения и оценкой произношения, основным применением этой технологии является компьютерное обучение произношению (CAPT) в сочетании с компьютерным обучением компьютерному изучению языка речи (CALL), исправлению или уменьшению акцента. . Оценка произношения не определяет неизвестную речь (как при диктовке или автоматической транскрипции ), а вместо этого, заранее зная ожидаемое слово(а), пытается проверить правильность произношения учащегося и, в идеале, его разборчивость для слушателей. [102] [103] иногда вместе с зачастую несущественной просодией , такой как интонация , высота тона , темп , ритм и ударение . [104] Оценка произношения также используется при обучении чтению , например, в таких продуктах, как Microsoft Teams. [105] и от Амиры Лиринг. [106] Автоматическую оценку произношения также можно использовать для диагностики и лечения речевых нарушений, таких как апраксия . [107]

Оценка подлинной разборчивости слушателя необходима для предотвращения неточностей из- за смещения акцента , особенно при оценке важных вопросов; [108] [109] [110] из слов с множественным правильным произношением; [111] и от ошибок кодирования фонем в машиночитаемых словарях произношения. [112] В 2022 году исследователи обнаружили, что некоторые новые системы преобразования речи в текст, основанные на сквозном обучении с подкреплением для преобразования аудиосигналов непосредственно в слова, дают показатели достоверности слов и фраз, очень тесно коррелирующие с подлинной разборчивостью слушателя. [113] В соответствии с критериями оценки «общего фонологического контроля» Общеевропейских стандартов владения языком (CEFR) разборчивость перевешивает формально правильное произношение на всех уровнях. [114]

Здравоохранение [ править ]

Медицинская документация [ править ]

В секторе здравоохранения распознавание речи может быть реализовано на начальном или конечном этапе процесса обработки медицинской документации. Фронтальное распознавание речи — это когда провайдер диктует механизму распознавания речи, распознанные слова отображаются по мере их произнесения, а диктатор отвечает за редактирование и подписание документа. Внутреннее или отложенное распознавание речи — это когда провайдер диктует в систему цифровой диктовки , голос направляется через машину распознавания речи, а распознанный черновик документа направляется вместе с исходным голосовым файлом в редактор, где черновик редактируется. и отчет завершен. В настоящее время отложенное распознавание речи широко используется в отрасли.

Одна из основных проблем, связанных с использованием распознавания речи в здравоохранении, заключается в том, что Американский закон о восстановлении и реинвестировании 2009 года ( ARRA ) предусматривает существенные финансовые льготы для врачей, которые используют EMR в соответствии со стандартами «Значительного использования». Эти стандарты требуют, чтобы значительный объем данных хранился в электронной медицинской карте (сейчас ее чаще называют электронной медицинской картой или ЭМК). Использование распознавания речи более естественно подходит для создания описательного текста как части интерпретации рентгенологического/патологоанатомического исследования, заметки о ходе работы или резюме выписки: эргономические преимущества использования распознавания речи для ввода структурированных дискретных данных (например, числовых значений или кодов) из списка или контролируемого словаря ) относительно минимальны для зрячих людей, умеющих пользоваться клавиатурой и мышью.

Более существенная проблема заключается в том, что большинство EHR не предназначены специально для использования возможностей распознавания голоса. Большая часть взаимодействия врача с ЭМК включает в себя навигацию по пользовательскому интерфейсу с помощью меню и щелчков по вкладкам/кнопкам и в значительной степени зависит от клавиатуры и мыши: голосовая навигация обеспечивает лишь скромные эргономические преимущества. Напротив, многие специализированные системы для радиологической или патологоанатомической диктовки реализуют голосовые «макросы», где использование определенных фраз – например, «нормальный отчет» – автоматически заполняет большое количество значений по умолчанию и/или генерирует шаблон, который варьируются в зависимости от типа исследования – например, рентгенография грудной клетки или серия контрастов желудочно-кишечного тракта для радиологической системы.

Терапевтическое использование [ править ]

Длительное использование программного обеспечения для распознавания речи в сочетании с текстовыми процессорами показало преимущества в восстановлении кратковременной памяти у пациентов с АВМ головного мозга , перенесших резекцию . Необходимо провести дальнейшие исследования для определения когнитивных преимуществ у людей, чьи АВМ лечились с использованием радиологических методов. [ нужна цитата ]

Военный [ править ]

Высокопроизводительный истребитель [ править ]

За последнее десятилетие значительные усилия были направлены на тестирование и оценку распознавания речи на истребителях . Особо следует отметить программу США по распознаванию речи для Advanced Fighter Technology Integration (AFTI) / F-16 самолетов ( F-16 VISTA ), программу во Франции для самолетов Mirage и другие программы в Великобритании, посвященные различным авиационных платформ. В этих программах распознаватели речи успешно используются на истребителях, включая настройку радиочастот, управление системой автопилота, установку координат точки управления и параметров выпуска оружия, а также управление отображением полета.

Работая со шведскими пилотами, летавшими в кабине JAS-39 Gripen, Энглунд (2004) обнаружил, что распознавание ухудшается с увеличением перегрузок . В отчете также сделан вывод, что адаптация значительно улучшила результаты во всех случаях и что внедрение моделей дыхания значительно улучшило показатели распознавания. Вопреки ожиданиям, никаких последствий ломаного английского говорящих обнаружено не было. Было очевидно, что спонтанная речь, как и следовало ожидать, вызывала проблемы у узнавающего. Таким образом, можно ожидать, что ограниченный словарь и, прежде всего, правильный синтаксис существенно улучшат точность распознавания. [115]

Eurofighter Typhoon , в настоящее время стоящий на вооружении ВВС Великобритании , использует систему, зависящую от динамика, требующую от каждого пилота создания шаблона. Система не используется для каких-либо задач, критически важных для безопасности или вооружения, таких как выпуск оружия или опускание шасси, но используется для широкого спектра других функций кабины. Голосовые команды подтверждаются визуальным и/или слуховым откликом. Система рассматривается как основная конструктивная особенность, позволяющая снизить рабочую нагрузку пилотов . [116] и даже позволяет пилоту назначать цели своему самолету с помощью двух простых голосовых команд или любому из своих ведомых с помощью всего пяти команд. [117]

Независимые от динамиков системы также разрабатываются и проходят испытания для F35 Lightning II (JSF) и Alenia Aermacchi M-346 Master учебного истребителя . Эти системы показали точность слов, превышающую 98%. [118]

Вертолеты [ править ]

Проблемы достижения высокой точности распознавания в условиях стресса и шума особенно актуальны как для вертолетов , так и для реактивных истребителей. Проблема акустического шума на самом деле более серьезна в среде вертолета не только из-за высокого уровня шума, но и потому, что пилот вертолета, как правило, не носит лицевую маску , которая снизила бы акустический шум в микрофоне . За последнее десятилетие были проведены обширные программы испытаний и оценки приложений систем распознавания речи на вертолетах, в частности, Отделом исследований и разработок авионики армии США (AVRADA) и Королевским аэрокосмическим институтом ( RAE ) в Великобритании. Работа во Франции включала распознавание речи на вертолете Puma . также было проделано много полезной работы В Канаде . Результаты были обнадеживающими: голосовые приложения включали в себя: управление радиосвязью, настройку навигационных систем и управление автоматизированной системой передачи цели.

Как и в случае с истребителями, основной проблемой голосовой связи в вертолетах является ее влияние на эффективность пилотирования. Сообщается об обнадеживающих результатах испытаний AVRADA, хотя они представляют собой лишь демонстрацию осуществимости в тестовой среде. Еще многое предстоит сделать как в распознавании речи, так и в технологии речи в целом , чтобы последовательно добиваться повышения производительности в операционных условиях.

Обучение авиадиспетчеров [ править ]

Обучение диспетчеров воздушного движения (УВД) представляет собой отличное применение систем распознавания речи. Многие системы обучения УВД в настоящее время требуют, чтобы человек действовал в качестве «псевдопилота», участвуя в голосовом диалоге с диспетчером-стажером, который имитирует диалог, который диспетчеру пришлось бы вести с пилотами в реальной ситуации УВД. Методы распознавания и синтеза речи потенциально могут исключить необходимость выполнения человеком функций псевдопилота, тем самым сокращая объем обучения и вспомогательного персонала. Теоретически задачи воздушного контроллера также характеризуются высокоструктурированной речью в качестве основного вывода контроллера, следовательно, должно быть возможно снижение сложности задачи распознавания речи. На практике это случается редко. В документе FAA 7110.65 подробно описаны фразы, которые должны использовать авиадиспетчеры. Хотя в этом документе приведено менее 150 примеров таких фраз, количество фраз, поддерживаемых системами распознавания речи одного из поставщиков симуляторов, превышает 500 000.

ВВС США, морская пехота США, армия США, ВМС США и ФАУ, а также ряд международных учебных организаций по УВД, таких как Королевские ВВС Австралии и органы гражданской авиации в Италии, Бразилии и Канаде, в настоящее время используют симуляторы УВД с распознаванием речи от множество разных продавцов. [ нужна цитата ]

Телефония и другие домены [ править ]

ASR в настоящее время является обычным явлением в области телефонии и становится все более распространенным в области компьютерных игр и моделирования. В системах телефонии ASR сейчас преимущественно используется в контакт-центрах путем интеграции с системами IVR . Несмотря на высокий уровень интеграции с текстовой обработкой в ​​обычных персональных компьютерах, в области производства документов ASR не наблюдается ожидаемого роста использования.

Повышение скорости мобильных процессоров сделало распознавание речи практичным в смартфонах . Речь используется в основном как часть пользовательского интерфейса для создания предопределенных или пользовательских речевых команд.

Люди с ограниченными возможностями [ править ]

Люди с ограниченными возможностями могут воспользоваться программами распознавания речи. Для глухих или слабослышащих людей программное обеспечение распознавания речи используется для автоматического создания субтитров разговоров, таких как дискуссии в конференц-залах, классные лекции и/или религиозные службы. [119]

Слепые (см. «Слепота и образование» ) или учащиеся с очень слабым зрением могут извлечь выгоду из использования этой технологии для передачи слов, а затем услышать, как компьютер их произносит, а также использовать компьютер, командуя голосом, вместо того, чтобы смотреть на экран и клавиатура. [120]

Учащиеся с ограниченными физическими возможностями, получившие травму от повторяющегося напряжения или другие травмы верхних конечностей, могут быть освобождены от необходимости беспокоиться о почерке, наборе текста или работе с писцом над школьными заданиями, используя программы преобразования речи в текст. Они также могут использовать технологию распознавания речи, чтобы наслаждаться поиском в Интернете или использованием компьютера дома без необходимости физически управлять мышью и клавиатурой. [120]

Распознавание речи может позволить учащимся с ограниченными возможностями обучения лучше писать. Произнося слова вслух, они могут повысить плавность письма и избавить их от проблем, связанных с орфографией, пунктуацией и другими механизмами письма. [121] Также см. Неспособность к обучению .

Использование программного обеспечения для распознавания голоса в сочетании с цифровым диктофоном и персональным компьютером, на котором установлено программное обеспечение для обработки текста, оказалось положительным для восстановления поврежденной емкости кратковременной памяти у людей, перенесших инсульт или трепанацию черепа.

Распознавание речи также очень полезно для людей, испытывающих трудности с использованием рук: от легких травм, вызванных повторяющимся стрессом, до инвалидности, не позволяющей использовать обычные компьютерные устройства ввода. Фактически, люди, которые много использовали клавиатуру и разработали RSI, стали востребованным ранним рынком для распознавания речи. [122] [123] Распознавание речи используется в для глухих телефонии , например, голосовая почта в текст, услуги ретрансляции и телефон с субтитрами . Лица с ограниченными возможностями обучения, у которых есть проблемы с коммуникацией мысли на бумаге (по сути, они думают об идее, но она обрабатывается неправильно, в результате чего на бумаге она оказывается по-другому), возможно, могут извлечь выгоду из программного обеспечения, но технология не защищена от ошибок. [124] Кроме того, сама идея говорить с текстом может быть трудной для человека с ограниченными интеллектуальными возможностями из-за того, что редко кто-либо пытается изучить технологию обучения человека с ограниченными возможностями. [125]

Этот тип технологии может помочь людям с дислексией, но другие виды инвалидности все еще под вопросом. Эффективность продукта – это проблема, которая мешает ему быть эффективным. Хотя ребенок может произнести слово в зависимости от того, насколько четко он его произнес, технология может подумать, что он говорит другое слово, и ввести неправильное. Им приходится тратить больше времени на исправление неправильного слова. [126]

Дальнейшие применения [ править ]

Производительность [ править ]

Производительность систем распознавания речи обычно оценивают с точки зрения точности и скорости. [131] [132] Точность обычно оценивается коэффициентом ошибок в словах (WER), тогда как скорость измеряется коэффициентом реального времени . Другие меры точности включают коэффициент ошибок в одном слове (SWER) и коэффициент успешности команд (CSR).

Однако машинное распознавание речи — очень сложная проблема. Вокализации различаются по акценту, произношению, артикуляции, шероховатости, назальности, высоте, громкости и скорости. Речь искажается фоновым шумом и эхом, электрическими характеристиками. Точность распознавания речи может варьироваться в зависимости от следующих факторов: [133] [ нужна цитата ]

  • Размер словарного запаса и его путаница
  • Зависимость говорящего против независимости
  • Изолированная, прерывистая или непрерывная речь
  • Ограничения по задачам и языку
  • Чтение против спонтанной речи
  • Неблагоприятные условия

Точность [ править ]

Как упоминалось ранее в этой статье, точность распознавания речи может варьироваться в зависимости от следующих факторов:

  • Частота ошибок увеличивается по мере увеличения размера словаря:
например, 10 цифр от «ноля» до «девяти» могут распознаваться практически идеально, но размеры словаря 200, 5000 или 100000 могут иметь частоту ошибок 3%, 7% или 45% соответственно.
  • Словарный запас трудно распознать, если он содержит запутанные буквы:
например, 26 букв английского алфавита трудно различить, потому что они путают слова (наиболее известный набор E: «B, C, D, E, G, P, T, V, Z — когда «Z» произносится «зи», а не «зед» в зависимости от английского региона); уровень ошибок в 8% считается хорошим для этого словаря. [134]
  • Зависимость от говорящего против независимости:
Динамико-зависимая система предназначена для использования одним динамиком.
Динамико-независимая система предназначена для использования любым динамиком (более сложная система).
  • Изолированная, прерывистая или непрерывная речь
При изолированной речи используются отдельные слова, поэтому распознавать речь становится легче.

При прерывистой речи используются полные предложения, разделенные молчанием, поэтому распознавать речь становится легче, как и при изолированной речи.
При слитной речи используются естественно произнесенные предложения, поэтому становится труднее распознавать речь, отличающуюся как от изолированной, так и от прерывистой речи.

  • Ограничения по задачам и языку
    • например, запрашивающее приложение может отклонить гипотезу «Яблоко красное».
    • например, ограничения могут быть семантическими; отвергая «Яблоко сердится».
    • например Синтаксический; отвергая «Красное яблоко».

Ограничения часто представляются грамматикой.

  • Чтение против спонтанной речи. Когда человек читает, обычно он читает в заранее подготовленном контексте, но когда человек использует спонтанную речь, ему трудно распознать речь из-за неловкости (например, «э-э» и «м-м»). фальстарты, неполные предложения, заикание, кашель и смех) и ограниченный словарный запас.
  • Неблагоприятные условия – Шум окружающей среды (например, шум в автомобиле или на заводе). Акустические искажения (например, эхо, акустика помещения)

Распознавание речи — это многоуровневая задача распознавания образов.

  • Акустические сигналы структурированы в иерархию единиц, например, фонемы , слова, фразы и предложения;
  • Каждый уровень предоставляет дополнительные ограничения;

например, известное произношение слов или допустимые последовательности слов, которые могут компенсировать ошибки или неточности на более низком уровне;

  • Эта иерархия ограничений используется. Благодаря вероятностному объединению решений на всех нижних уровнях и принятию более детерминированных решений только на самом высоком уровне, машинное распознавание речи представляет собой процесс, разбитый на несколько этапов. С вычислительной точки зрения это проблема, в которой звуковой образец необходимо распознать или классифицировать по категории, которая представляет значение для человека. Каждый акустический сигнал можно разбить на более мелкие, более базовые подсигналы. Поскольку более сложный звуковой сигнал разбивается на более мелкие подзвуки, создаются разные уровни, где на верхнем уровне мы имеем сложные звуки, которые состоят из более простых звуков на нижнем уровне и переходят на более низкие уровни, еще больше, мы создаем более простые, короткие и простые звуки. На самом низком уровне, где звуки являются наиболее фундаментальными, машина будет проверять простые и более вероятностные правила того, что должен представлять звук. Как только эти звуки объединятся в более сложные звуки на верхнем уровне, новый набор более детерминированных правил должен предсказать, что должен представлять собой новый сложный звук. Самый верхний уровень детерминированного правила должен определять значение сложных выражений. Чтобы расширить наши знания о распознавании речи, нам необходимо принять во внимание нейронные сети. Существует четыре этапа подхода нейронной сети:
  • Оцифруйте речь, которую мы хотим распознать

Для телефонной речи частота дискретизации составляет 8000 выборок в секунду;

  • Вычислить характеристики спектральной области речи (с преобразованием Фурье);

вычисляется каждые 10 мс, с одним участком длительностью 10 мс, называемым кадром;

Анализ подходов четырехшаговых нейронных сетей можно объяснить с помощью дополнительной информации. Звук создается вибрацией воздуха (или какой-либо другой среды), которую мы регистрируем ушами, а машины — приемниками. Основной звук создает волну, которая имеет два описания: амплитуда (насколько она сильна) и частота (как часто она вибрирует в секунду). Точность можно вычислить с помощью коэффициента ошибок в словах (WER). Коэффициент ошибок в словах можно рассчитать путем выравнивания распознанного слова и слова, на которое указывает ссылка, с использованием динамического выравнивания строк. Проблема может возникнуть при вычислении частоты ошибок в словах из-за разницы между длинами последовательностей распознанного слова и слова, на которое ссылаются.

Формула для расчета коэффициента ошибок в словах (WER):

где s — количество замен, d — количество удалений, i — количество вставок, а n — количество ссылок на слова.

При вычислениях используется скорость распознавания слов (WRR). Формула:

где h — количество правильно распознанных слов:

Проблемы безопасности [ править ]

Распознавание речи может стать средством атаки, кражи или случайного срабатывания. Например, слова активации, такие как «Alexa», произнесенные в аудио- или видеотрансляции, могут привести к тому, что устройства в домах и офисах начнут ненадлежащим образом прослушивать входные данные или, возможно, предпримут нежелательные действия. [135] Устройства с голосовым управлением также доступны посетителям здания или даже тем, кто находится за пределами здания, если их можно услышать внутри. Злоумышленники могут получить доступ к личной информации, такой как календарь, содержимое адресной книги, личные сообщения и документы. Они также могут выдавать себя за пользователя, чтобы отправлять сообщения или совершать онлайн-покупки.

Были продемонстрированы две атаки с использованием искусственных звуков. Один передает ультразвук и пытается отправить команды незаметно для окружающих. [136] Другой добавляет небольшие, неслышимые искажения к другой речи или музыке, которые специально созданы для того, чтобы сбить с толку конкретную систему распознавания речи и заставить ее распознавать музыку как речь, или чтобы то, что для человека звучит как одна команда, звучало как другая команда для системы. [137]

Дополнительная информация [ править ]

Конференции и журналы [ править ]

Популярные конференции по распознаванию речи, проводимые каждый год или два, включают SpeechTEK и SpeechTEK Europe, ICASSP , Interspeech /Eurospeech и IEEE ASRU. Конференции в области обработки естественного языка , такие как ACL , NAACL , EMNLP и HLT, начинают включать статьи по обработке речи . Важные журналы включают IEEE Transactions on Speech and Language Processing (позже переименованный в IEEE Transactions on Audio, Speech and Language Processing, а с сентября 2014 года переименованный в IEEE /ACM Transactions on Audio, Speech and Language Processing — после слияния с публикацией ACM), Computer Speech. и язык, и речевое общение.

Книги [ править ]

Такие книги, как «Основы распознавания речи» Лоуренса Рабинера, могут быть полезны для приобретения базовых знаний, но могут быть не совсем современными (1993). Еще одним хорошим источником могут быть «Статистические методы распознавания речи» Фредерика Елинека и «Обработка разговорной речи (2001)» Сюэдуна Хуанга и др., «Компьютерная речь» Манфреда Р. Шредера , второе издание, опубликованное в 2004 году, и «Речь». Обработка: динамический и ориентированный на оптимизацию подход», опубликованный в 2003 году Ли Денгом и Дугом О'Шонесси. В обновленном учебнике «Обработка речи и языка» (2008 г.) Юрафски и Мартина представлены основы и современное состояние ASR. Распознавание говорящего также использует те же функции, большую часть той же внешней обработки и методов классификации, что и при распознавании речи. Комплексный учебник «Основы распознавания говорящих» представляет собой подробный источник актуальной информации о теории и практике. [138] Хорошее представление о методах, используемых в лучших современных системах, можно получить, обратив внимание на спонсируемые правительством оценки, например, организованные DARPA (крупнейшим проектом, связанным с распознаванием речи, продолжающимся по состоянию на 2007 год, является проект GALE, который включает в себя как распознавание речи, так и и компоненты перевода).

для широкой аудитории «Голос в машине. Создание компьютеров, которые понимают речь» Хорошее и доступное введение в технологию распознавания речи и ее историю можно найти в книге Роберто Пьераччини (2012).

Самая последняя книга по распознаванию речи — « Автоматическое распознавание речи: подход к глубокому обучению» (издатель: Springer), написанная исследователями Microsoft Д. Ю и Л. Денгом и опубликованная в конце 2014 года, с математически ориентированными техническими подробностями о том, как глубокое обучение методы выводятся и реализуются в современных системах распознавания речи на основе DNN и связанных с ними методов глубокого обучения. [84] Соответствующая книга Л. Денга и Д. Ю «Глубокое обучение: методы и приложения», опубликованная ранее в 2014 году, представляет собой менее технический, но более методологически ориентированный обзор распознавания речи на основе DNN в 2009–2014 годах, помещенный в более общий контекст приложений глубокого обучения, включая не только распознавание речи, но и распознавание изображений, обработку естественного языка, поиск информации, мультимодальную обработку и многозадачное обучение. [80]

Программное обеспечение [ править ]

Что касается свободно доступных ресурсов, Карнеги-Меллона Университета набор инструментов Sphinx — это то место, где можно начать как изучать распознавание речи, так и начать экспериментировать. Еще один ресурс (бесплатный, но защищенный авторским правом) — это книга HTK (и прилагаемый к ней набор инструментов HTK). Для более современных и современных методов Kaldi . можно использовать набор инструментов [139] В 2017 году Mozilla запустила проект с открытым исходным кодом под названием Common Voice. [140] собрать большую базу данных голосов, которая поможет создать бесплатный проект распознавания речи DeepSpeech (доступен бесплатно на GitHub ), [141] с использованием платформы Google с открытым исходным кодом TensorFlow . [142] Когда Mozilla перенаправила финансирование из проекта в 2020 году, первоначальные разработчики создали его форк как Coqui STT. [143] используя ту же лицензию с открытым исходным кодом. [144] [145]

Google Gboard поддерживает распознавание речи во всех приложениях Android . Его можно активировать через микрофона значок . [146]

Коммерческие облачные API-интерфейсы распознавания речи широко доступны.

Дополнительные ресурсы по программному обеспечению см. в разделе Список программного обеспечения для распознавания речи .

См. также [ править ]

Списки

Ссылки [ править ]

  1. ^ «Независимое распознавание речи от говорящего - Компьютерная корпорация пятого поколения» . Пятое поколение.com. Архивировано из оригинала 11 ноября 2013 года . Проверено 15 июня 2013 г.
  2. ^ П. Нгуен (2010). «Автоматическая классификация характеристик динамиков». Международная конференция по связи и электронике 2010 . стр. 147–152. дои : 10.1109/ICCE.2010.5670700 . ISBN  978-1-4244-7055-6 . S2CID   13482115 .
  3. ^ «Британско-английское определение распознавания голоса» . Макмиллан Паблишерс Лимитед. Архивировано из оригинала 16 сентября 2011 года . Проверено 21 февраля 2012 г.
  4. ^ «Распознавание голоса, определение» . WebFinance, Inc. Архивировано из оригинала 3 декабря 2011 года . Проверено 21 февраля 2012 г.
  5. ^ «Почтовый мешок LG №114» . Linuxgazette.net. Архивировано из оригинала 19 февраля 2013 года . Проверено 15 июня 2013 г.
  6. ^ Саранги, Сусанта; Сахидулла, Мэриленд; Саха, Гутам (сентябрь 2020 г.). «Оптимизация набора фильтров на основе данных для автоматической проверки говорящих». Цифровая обработка сигналов . 104 : 102795. arXiv : 2007.10729 . дои : 10.1016/j.dsp.2020.102795 . S2CID   220665533 .
  7. ^ Рейнольдс, Дуглас; Роуз, Ричард (январь 1995 г.). «Надежная независимая от текста идентификация говорящего с использованием моделей говорящих с гауссовой смесью» (PDF) . Транзакции IEEE по обработке речи и аудио . 3 (1): 72–83. дои : 10.1109/89.365379 . ISSN   1063-6676 . ОСЛК   26108901 . S2CID   7319345 . Архивировано (PDF) из оригинала 8 марта 2014 года . Проверено 21 февраля 2014 г.
  8. ^ «Идентификация говорящего (WhisperID)» . Исследования Майкрософт . Майкрософт. Архивировано из оригинала 25 февраля 2014 года . Проверено 21 февраля 2014 г. Когда вы разговариваете с кем-то, они не просто понимают, что вы говорите: они узнают, кто вы. WhisperID позволит компьютерам делать это и определять, кто вы, по тому, как вы говорите.
  9. ^ «Некрологи: Стивен Балашек» . Стар-Леджер . 22 июля 2012 г.
  10. ^ "IBM-Shoebox-front.jpg" . androidauthority.net . Проверено 4 апреля 2019 г.
  11. ^ Хуанг, Б.Х.; Рабинер, Лоуренс Р. «Автоматическое распознавание речи – краткая история развития технологии» (PDF) . п. 6. Архивировано (PDF) из оригинала 17 августа 2014 г. Проверено 17 января 2015 г.
  12. ^ Перейти обратно: а б Мелани Пинола (2 ноября 2011 г.). «Распознавание речи на протяжении десятилетий: как мы пришли к Siri» . Мир ПК . Проверено 22 октября 2018 г.
  13. ^ Грей, Роберт М. (2010). «История цифровой речи в реальном времени в пакетных сетях: Часть II линейного прогнозирующего кодирования и интернет-протокола» (PDF) . Найденный. Процесс сигналов трендов . 3 (4): 203–303. дои : 10.1561/2000000036 . ISSN   1932-8346 .
  14. ^ Джон Р. Пирс (1969). «Где распознавание речи?». Журнал Акустического общества Америки . 46 (48): 1049–1051. Бибкод : 1969ASAJ...46.1049P . дои : 10.1121/1.1911801 .
  15. ^ Бенести, Джейкоб; Сондхи, ММ; Хуан, Итенг (2008). Справочник Springer по обработке речи . Springer Science & Business Media. ISBN  978-3540491255 .
  16. ^ Джон Махул. «Медалист ISCA: за лидерство и большой вклад в обработку речи и языка» . Архивировано из оригинала 24 января 2018 года . Проверено 23 января 2018 г.
  17. ^ Блехман, Р.О.; Блехман, Николас (23 июня 2008 г.). «Привет, Хэл» . Житель Нью-Йорка . Архивировано из оригинала 20 января 2015 года . Проверено 17 января 2015 г.
  18. ^ Клатт, Деннис Х. (1977). «Обзор проекта распознавания речи ARPA». Журнал Акустического общества Америки . 62 (6): 1345–1366. Бибкод : 1977ASAJ...62.1345K . дои : 10.1121/1.381666 .
  19. ^ Рабинер (1984). «Общество акустики, речи и обработки сигналов. Историческая перспектива» (PDF) . Архивировано (PDF) из оригинала 9 августа 2017 года . Проверено 23 января 2018 г.
  20. ^ «Из первых рук: Скрытая марковская модель - Wiki по истории техники и технологий» . ethw.org . 12 января 2015 г. Архивировано из оригинала 3 апреля 2018 г. . Проверено 1 мая 2018 г.
  21. ^ Перейти обратно: а б «Интервью Джеймса Бейкера» . Архивировано из оригинала 28 августа 2017 года . Проверено 9 февраля 2017 г.
  22. ^ «Новаторское распознавание речи» . 7 марта 2012 года. Архивировано из оригинала 19 февраля 2015 года . Проверено 18 января 2015 г.
  23. ^ Хуан, Сюэдун; Бейкер, Джеймс; Редди, Радж (январь 2014 г.). «Историческая перспектива распознавания речи» . Коммуникации АКМ . 57 (1): 94–103. дои : 10.1145/2500887 . ISSN   0001-0782 . S2CID   6175701 . Архивировано из оригинала 8 декабря 2023 года.
  24. ^ Хуанг, Б.Х.; Рабинер, Лоуренс Р. «Автоматическое распознавание речи – краткая история развития технологии» (PDF) : 10. Архивировано (PDF) из оригинала 17 августа 2014 г. Проверено 17 января 2015 г. {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
  25. ^ Ли, Сяочан (1 июля 2023 г.). « Нет данных лучше, чем больше данных»: автоматическое распознавание речи и создание алгоритмической культуры» . Осирис . 38 : 165–182. дои : 10.1086/725132 . ISSN   0369-7827 . S2CID   259502346 .
  26. ^ «История распознавания речи» . Медицинская транскрипция Дракона . Архивировано из оригинала 13 августа 2015 года . Проверено 17 января 2015 г.
  27. ^ Билли, Роберто; Канавесио, Франко; Чарамелла, Альберто; Неббия, Лучано (1 ноября 1995 г.). «Интерактивная голосовая технология в действии: опыт CSELT» . Речевое общение . 17 (3): 263–271. дои : 10.1016/0167-6393(95)00030-R .
  28. ^ Перейти обратно: а б Сюэдун Хуан; Джеймс Бейкер; Радж Редди. «Историческая перспектива распознавания речи» . Коммуникации АКМ. Архивировано из оригинала 20 января 2015 года . Проверено 20 января 2015 г.
  29. ^ Кевин Маккин (8 апреля 1980 г.). «Когда Коул говорит, компьютеры слушают» . Журнал Сарасоты. АП . Проверено 23 ноября 2015 г.
  30. ^ «ACT/Абрикос - История абрикоса» . actapricot.org . Проверено 2 февраля 2016 г.
  31. ^ Мелани Пинола (2 ноября 2011 г.). «Распознавание речи на протяжении десятилетий: как мы пришли к Siri» . Мир ПК . Архивировано из оригинала 13 января 2017 года . Проверено 28 июля 2017 г.
  32. ^ «Биография Рэя Курцвейла» . KurzweilAINetwork. Архивировано из оригинала 5 февраля 2014 года . Проверено 25 сентября 2014 г.
  33. ^ Хуанг, Б.Х.; Рабинер, Лоуренс. «Автоматическое распознавание речи – краткая история развития технологий» (PDF) . Архивировано (PDF) из оригинала 9 августа 2017 года . Проверено 28 июля 2017 г. {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
  34. ^ «Nuance Exec на iPhone 4S, Siri и будущее речи» . Технические шестерни. 10 октября 2011 года. Архивировано из оригинала 19 ноября 2011 года . Проверено 23 ноября 2011 г.
  35. ^ «Распределительный щит-1 Выпуск 2» . Архивировано из оригинала 11 июля 2017 года . Проверено 26 июля 2017 г.
  36. ^ Джейсон Кинкейд (13 февраля 2011 г.). «Сила голоса: разговор с руководителем отдела речевых технологий Google» . Технический кризис . Архивировано из оригинала 21 июля 2015 года . Проверено 21 июля 2015 г.
  37. ^ Фрумкин, Дэн (5 мая 2015 г.). «КОМПЬЮТЕРЫ СЛУШАЮТ» . Перехват . Архивировано из оригинала 27 июня 2015 года . Проверено 20 июня 2015 г.
  38. ^ Эрве Бурлар и Нельсон Морган , Распознавание речи коннекционистов: гибридный подход, Международная серия Kluwer по инженерным наукам и информатике; т. 247, Бостон: Kluwer Academic Publishers, 1994.
  39. ^ Перейти обратно: а б Зепп Хохрайтер ; Дж. Шмидхубер (1997). «Долгая кратковременная память». Нейронные вычисления . 9 (8): 1735–1780. дои : 10.1162/neco.1997.9.8.1735 . ПМИД   9377276 . S2CID   1915014 .
  40. ^ Шмидхубер, Юрген (2015). «Глубокое обучение в нейронных сетях: обзор». Нейронные сети . 61 : 85–117. arXiv : 1404.7828 . дои : 10.1016/j.neunet.2014.09.003 . ПМИД   25462637 . S2CID   11715509 .
  41. ^ Алекс Грейвс, Сантьяго Фернандес, Фаустино Гомес и Юрген Шмидхубер (2006). Коннекционистская временная классификация: маркировка данных несегментированных последовательностей с помощью рекуррентных нейронных сетей . Материалы ICML'06, стр. 369–376.
  42. ^ Сантьяго Фернандес, Алекс Грейвс и Юрген Шмидхубер (2007). Применение рекуррентных нейронных сетей для различительного определения ключевых слов [ постоянная мертвая ссылка ] . Протоколы ICANN (2), стр. 220–229.
  43. ^ Перейти обратно: а б Хашим Сак, Эндрю Сеньор, Канишка Рао, Франсуаза Бофе и Йохан Шалквик (сентябрь 2015 г.): « Голосовой поиск Google: быстрее и точнее ». Архивировано 9 марта 2016 года в Wayback Machine.
  44. ^ Досовицкий, Алексей; Бейер, Лукас; Колесников, Александр; Вайссенборн, Дирк; Чжай, Сяохуа; Унтертинер, Томас; Дегани, Мостафа; Редуктор, Матиас; Хейголд, Джордж; Гелли, Сильвен; Ушкорейт, Джейкоб; Хоулсби, Нил (3 июня 2021 г.). «Изображение стоит 16x16 слов: преобразователи для распознавания изображений в масштабе». arXiv : 2010.11929 [ cs.CV ].
  45. ^ Ву, Хайпин, Коделла, Лю, Мэнчен; Юань, Лу; Лэй (29 марта 2021 г. . ) ].
  46. ^ Васвани, Ашиш; Шазир, Ноам; Пармар, Ники; Ушкорейт, Якоб; Джонс, Лион; Гомес, Эйдан Н; Кайзер, Лукаш; Полосухин, Илья (2017). «Внимание – это все, что вам нужно» . Достижения в области нейронных систем обработки информации . 30 . Карран Ассошиэйтс.
  47. ^ Девлин, Джейкоб; Чанг, Мин-Вэй; Ли, Кентон; Тутанова, Кристина (24 мая 2019 г.). «BERT: Предварительная подготовка глубоких двунаправленных преобразователей для понимания языка». arXiv : 1810.04805 [ cs.CL ].
  48. ^ Перейти обратно: а б Гун, Юань; Чунг, Ю-Ань; Гласс, Джеймс (8 июля 2021 г.). «AST: Преобразователь аудиоспектрограмм». arXiv : 2104.01778 [ cs.SD ].
  49. ^ Перейти обратно: а б Ристеа, Николае-Каталин; Ионеску, Раду Тудор; Хан, Фахад Шахбаз (20 июня 2022 г.). «SepTr: раздельный трансформатор для обработки аудиоспектрограмм». arXiv : 2203.09581 [ cs.CV ].
  50. ^ Перейти обратно: а б Лоренц, Тимо; Ли, Чжэнъян; Фингшайдт, Тим (14 июля 2021 г.). «Мультикодирующее обучение и объединение потоков для сквозного автоматического распознавания речи на основе преобразователя». arXiv : 2104.00120 [ eess.AS ].
  51. ^ «Ли Дэн» . Сайт Ли Дэн.
  52. ^ Семинар NIPS: Глубокое обучение для распознавания речи и связанные с ним приложения, Уистлер, Британская Колумбия, Канада, декабрь 2009 г. (Организаторы: Ли Денг, Джефф Хинтон, Д. Ю).
  53. ^ Перейти обратно: а б с Хинтон, Джеффри; Дэн, Ли; Ю, Донг; Даль, Джордж; Мохамед, Абдель-Рахман; Джейтли, Навдип; Старший, Эндрю; Ванхук, Винсент; Нгуен, Патрик; Сайнат, Тара ; Кингсбери, Брайан (2012). «Глубокие нейронные сети для акустического моделирования в распознавании речи: общие взгляды четырех исследовательских групп». Журнал обработки сигналов IEEE . 29 (6): 82–97. Бибкод : 2012ISPM...29...82H . дои : 10.1109/MSP.2012.2205597 . S2CID   206485943 .
  54. ^ Перейти обратно: а б Дэн, Л.; Хинтон, Г.; Кингсбери, Б. (2013). «Новые типы глубокого обучения нейронных сетей для распознавания речи и связанных с ним приложений: обзор». Международная конференция IEEE 2013 по акустике, речи и обработке сигналов: Новые типы глубокого обучения нейронных сетей для распознавания речи и связанных с ними приложений: обзор . п. 8599. дои : 10.1109/ICASSP.2013.6639344 . ISBN  978-1-4799-0356-6 . S2CID   13953660 .
  55. ^ Перейти обратно: а б Маркофф, Джон (23 ноября 2012 г.). «Ученые видят многообещающие перспективы в программах глубокого обучения» . Газета "Нью-Йорк Таймс . Архивировано из оригинала 30 ноября 2012 года . Проверено 20 января 2015 г.
  56. ^ Морган, Бурлард, Реналс, Коэн, Франко (1993) «Гибридные нейронные сети/скрытые системы марковских моделей для непрерывного распознавания речи. ICASSP/IJPRAI»
  57. ^ Т. Робинсон (1992). «Система распознавания слов в сети распространения повторяющихся ошибок в реальном времени» . [Материалы] ICASSP-92: Международная конференция IEEE 1992 г. по акустике, речи и обработке сигналов . С. 617–620 т.1. дои : 10.1109/ICASSP.1992.225833 . ISBN  0-7803-0532-9 . S2CID   62446313 .
  58. ^ Вайбель , Ханадзава, Хинтон, Сикано, Ланг. (1989) « Распознавание фонем с использованием нейронных сетей с задержкой . Транзакции IEEE по акустике, речи и обработке сигналов».
  59. ^ Бейкер, Дж.; Ли Дэн; Гласс, Дж.; Худанпур, С.; Чин-Хуэй Ли ; Морган, Н.; О'Шонесси, Д. (2009). «Развития и направления в распознавании и понимании речи, Часть 1». Журнал обработки сигналов IEEE . 26 (3): 75–80. Бибкод : 2009ISPM...26...75B . дои : 10.1109/MSP.2009.932166 . hdl : 1721.1/51891 . S2CID   357467 .
  60. ^ Зепп Хохрейтер (1991), Исследования динамических нейронных сетей. Архивировано 6 марта 2015 г. в Wayback Machine , Дипломная работа. Институт компьютерных наук Технического университета Мюнхен. Советник: Й. Шмидхубер.
  61. ^ Бенджио, Ю. (1991). Искусственные нейронные сети и их применение для распознавания речи/последовательностей (доктор философии). Университет Макгилла.
  62. ^ Дэн, Л.; Хасанейн, К.; Элмасри, М. (1994). «Анализ корреляционной структуры модели нейронного прогнозирования с применением к распознаванию речи». Нейронные сети . 7 (2): 331–339. дои : 10.1016/0893-6080(94)90027-2 .
  63. ^ Основной доклад: Последние разработки в области глубоких нейронных сетей. ICASSP, 2013 (Джефф Хинтон).
  64. ^ Перейти обратно: а б Основной доклад: « Достижения и проблемы глубокого обучения: от анализа и распознавания речи к языку и мультимодальной обработке. Архивировано 5 марта 2021 г. в Wayback Machine », Interspeech, сентябрь 2014 г. ( Ли Дэн ).
  65. ^ «Усовершенствования в программном обеспечении для распознавания голоса увеличиваются» . TechRepublic.com . 27 августа 2002 г. Архивировано из оригинала 23 октября 2018 г. Проверено 22 октября 2018 г. Манерс сказал, что IBM работала над улучшением распознавания речи... или в зале шумной торговой выставки.
  66. ^ «Распознавание голоса для облегчения бронирования поездок: Новости деловых поездок» . BusinessTravelNews.com . 3 марта 1997 г. Самыми ранними приложениями программного обеспечения для распознавания речи была диктовка... Четыре месяца назад IBM представила «продукт непрерывной диктовки», предназначенный для... дебюта на выставке Национальной ассоциации делового туризма в 1994 году.
  67. ^ Эллис Букер (14 марта 1994 г.). «Распознавание голоса становится мейнстримом». Компьютерный мир . п. 45. Всего несколько лет назад распознавание речи ограничивалось...
  68. ^ «Исследователи Microsoft достигли новой вехи в распознавании разговорной речи» . Майкрософт . 21 августа 2017 г.
  69. ^ Гоэль, Вайбхава; Бирн, Уильям Дж. (2000). «Автоматическое распознавание речи с минимальным байесовским риском» . Компьютерная речь и язык . 14 (2): 115–135. дои : 10.1006/csla.2000.0138 . S2CID   206561058 . Архивировано из оригинала 25 июля 2011 года . Проверено 28 марта 2011 г.
  70. ^ Мори, М. (2002). «Расстояние редактирования взвешенных автоматов: общие определения и алгоритмы» (PDF) . Международный журнал основ компьютерных наук . 14 (6): 957–982. дои : 10.1142/S0129054103002114 . Архивировано (PDF) из оригинала 18 марта 2012 года . Проверено 28 марта 2011 г.
  71. ^ Вайбель, А.; Ханадзава, Т.; Хинтон, Г.; Сикано, К.; Ланг, К.Дж. (1989). «Распознавание фонем с использованием нейронных сетей с задержкой». Транзакции IEEE по акустике, речи и обработке сигналов . 37 (3): 328–339. дои : 10.1109/29.21701 . hdl : 10338.dmlcz/135496 . S2CID   9563026 .
  72. ^ Бёрд, Джордан Дж.; Ваннер, Элизабет; Экарт, Анико; Фариа, Диего Р. (2020). «Оптимизация фонетического распознавания речи с помощью многоцелевых эволюционных алгоритмов» (PDF) . Экспертные системы с приложениями . 153 . Elsevier BV: 113402. doi : 10.1016/j.eswa.2020.113402 . ISSN   0957-4174 . S2CID   216472225 .
  73. ^ Ву, Дж.; Чан, К. (1993). «Распознавание изолированных слов с помощью моделей нейронных сетей с коэффициентами взаимной корреляции для динамики речи». Транзакции IEEE по анализу шаблонов и машинному интеллекту . 15 (11): 1174–1185. дои : 10.1109/34.244678 .
  74. ^ С. А. Захориан, А. М. Циммер и Ф. Мэн, (2002) « Классификация гласных для компьютерной визуальной обратной связи для тренировки речи для людей с нарушениями слуха », в ICSLP, 2002 г.
  75. ^ Ху, Хунбин; Захориан, Стивен А. (2010). «Методы уменьшения размерности для фонетического распознавания HMM» (PDF) . ИКАССП 2010 . Архивировано (PDF) из оригинала 6 июля 2012 года.
  76. ^ Фернандес, Сантьяго; Грейвс, Алекс; Шмидхубер, Юрген (2007). «Разметка последовательностей в структурированных доменах с помощью иерархических рекуррентных нейронных сетей» (PDF) . Труды IJCAI . Архивировано (PDF) из оригинала 15 августа 2017 года.
  77. ^ Грейвс, Алекс; Мохамед, Абдель-Рахман; Хинтон, Джеффри (2013). «Распознавание речи с помощью глубоких рекуррентных нейронных сетей». arXiv : 1303.5778 [ cs.NE ]. ИКАССП 2013.
  78. ^ Вайбель, Алекс (1989). «Модульная конструкция нейронных сетей с задержкой для распознавания речи» (PDF) . Нейронные вычисления . 1 (1): 39–46. дои : 10.1162/neco.1989.1.1.39 . S2CID   236321 . Архивировано (PDF) из оригинала 29 июня 2016 года.
  79. ^ Маас, Эндрю Л.; Ле, Куок В.; О'Нил, Тайлер М.; Виньялс, Ориол; Нгуен, Патрик; Нг, Эндрю Ю. (2012). «Рекуррентные нейронные сети для снижения шума в надежном ASR». Материалы Interspeech 2012 .
  80. ^ Перейти обратно: а б Дэн, Ли; Ю, Донг (2014). «Глубокое обучение: методы и приложения» (PDF) . Основы и тенденции в области обработки сигналов . 7 (3–4): 197–387. CiteSeerX   10.1.1.691.3679 . дои : 10.1561/2000000039 . Архивировано (PDF) из оригинала 22 октября 2014 г.
  81. ^ Ю, Д.; Дэн, Л.; Даль, Г. (2010). «Роль предварительного обучения и тонкой настройки контекстно-зависимых DBN-HMM для реального распознавания речи» (PDF) . Семинар NIPS по глубокому обучению и обучению функций без учителя .
  82. ^ Даль, Джордж Э.; Ю, Донг; Дэн, Ли; Асеро, Алекс (2012). «Контекстно-зависимые предварительно обученные глубокие нейронные сети для распознавания речи с большим словарным запасом». Транзакции IEEE по обработке звука, речи и языка . 20 (1): 30–42. дои : 10.1109/TASL.2011.2134090 . S2CID   14862572 .
  83. ^ Дэн Л., Ли, Дж., Хуан, Дж., Яо, К., Ю, Д., Сейде, Ф. и др. Последние достижения в области глубокого обучения для исследования речи в Microsoft МКАССП, 2013.
  84. ^ Перейти обратно: а б Ю, Д.; Дэн, Л. (2014). «Автоматическое распознавание речи: подход глубокого обучения (Издатель: Springer)». {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
  85. ^ Дэн, Л.; Ли, Сяо (2013). «Парадигмы машинного обучения для распознавания речи: обзор» (PDF) . Транзакции IEEE по обработке звука, речи и языка . 21 (5): 1060–1089. дои : 10.1109/TASL.2013.2244083 . S2CID   16585863 .
  86. ^ Шмидхубер, Юрген (2015). «Глубокое обучение» . Схоларпедия . 10 (11): 32832. Бибкод : 2015SchpJ..1032832S . doi : 10.4249/scholarpedia.32832 .
  87. ^ Л. Денг, М. Зельцер, Д. Ю, А. Асеро, А. Мохамед и Г. Хинтон (2010) Двоичное кодирование речевых спектрограмм с использованием глубокого автоматического кодировщика . Интерспич.
  88. ^ Тюске, Золтан; Голик, Павел; Шлютер, Ральф; Ней, Герман (2014). «Акустическое моделирование с помощью глубоких нейронных сетей с использованием необработанного сигнала времени для LVCSR» (PDF) . Интерспич 2014 . Архивировано (PDF) из оригинала 21 декабря 2016 года.
  89. ^ Юрафский, Дэниел (2016). Речевая и языковая обработка .
  90. ^ Грейвс, Алекс (2014). «На пути к сквозному распознаванию речи с помощью рекуррентных нейронных сетей» (PDF) . ИКМЛ . Архивировано из оригинала (PDF) 10 января 2017 года . Проверено 22 июля 2019 г.
  91. ^ Амодей, Дарио (2016). «Deep Speech 2: Сквозное распознавание речи на английском и китайском языках». arXiv : 1512.02595 [ cs.CL ].
  92. ^ «LipNet: Как вы думаете, насколько легко читать по губам?» . YouTube . Архивировано из оригинала 27 апреля 2017 года . Проверено 5 мая 2017 г.
  93. ^ Ассаэль, Яннис; Шиллингфорд, Брендан; Уайтсон, Шимон; де Фрейтас, Нандо (5 ноября 2016 г.). «LipNet: сквозное чтение по губам на уровне предложений». arXiv : 1611.01599 [ cs.CV ].
  94. ^ Шиллингфорд, Брендан; Ассаэль, Яннис; Хоффман, Мэтью В.; Пейн, Томас; Хьюз, Циан; Прабху, Утсав; Ляо, Хэнк; Сак, Хасим; Рао, Канишка (13 июля 2018 г.). «Масштабное визуальное распознавание речи». arXiv : 1807.05162 [ cs.CV ].
  95. ^ Чан, Уильям; Джейтли, Навдип; Ле, Куок; Виньялс, Ориол (2016). «Слушай, посещай и произноси по буквам: нейронная сеть для распознавания разговорной речи с большим словарным запасом» (PDF) . ИКАССП .
  96. ^ Богданов, Дмитрий (2016). «Сквозное распознавание речи с большим словарным запасом на основе внимания». arXiv : 1508.04395 [ cs.CL ].
  97. ^ Хоровский, Ян; Джейтли, Навдип (8 декабря 2016 г.). «На пути к лучшему декодированию и интеграции языковых моделей в модели последовательностей». arXiv : 1612.02695 [ cs.NE ].
  98. ^ Чан, Уильям; Чжан, Ю; Ле, Куок; Джейтли, Навдип (10 октября 2016 г.). «Разложение скрытых последовательностей». arXiv : 1610.03035 [ stat.ML ].
  99. ^ Чунг, Джун Сон; Старший, Эндрю; Виньялс, Ориол; Зиссерман, Эндрю (16 ноября 2016 г.). «Предложения, читающие по губам в дикой природе». Конференция IEEE 2017 по компьютерному зрению и распознаванию образов (CVPR) . стр. 3444–3453. arXiv : 1611.05358 . дои : 10.1109/CVPR.2017.367 . ISBN  978-1-5386-0457-1 . S2CID   1662180 .
  100. ^ Эль Хейр, Ясин; и другие. (21 октября 2023 г.), Автоматическая оценка произношения — обзор , Конференция по эмпирическим методам обработки естественного языка, arXiv : 2310.13974 , S2CID   264426545
  101. ^ Айзекс, Талия; Хардинг, Люк (июль 2017 г.). «Оценка произношения» . Обучение языку . 50 (3): 347–366. дои : 10.1017/S0261444817000118 . ISSN   0261-4448 . S2CID   209353525 .
  102. ^ Лукина, Анастасия; и другие. (6 сентября 2015 г.), «Точность произношения и разборчивость неродной речи» (PDF) , INTERSPEECH 2015 , Дрезден, Германия: Международная ассоциация речевой коммуникации , стр. 1917–1921, только 16% изменчивости разборчивости на уровне слов. можно объяснить наличием явных ошибок в произношении.
  103. ^ О'Брайен, Мэри Грэнтэм; и другие. (31 декабря 2018 г.). «Направления будущего технологий в исследованиях и преподавании произношения» . Журнал произношения второго языка . 4 (2): 182–207. doi : 10.1075/jslp.17001.obr . hdl : 2066/199273 . ISSN   2215-1931 . S2CID   86440885 . Исследователи произношения в первую очередь заинтересованы в улучшении разборчивости и понятности учащихся L2, но они еще не собрали достаточного количества репрезентативных и надежных данных (записей речи с соответствующими аннотациями и суждениями), показывающих, какие ошибки влияют на эти речевые аспекты, а какие нет. Эти данные необходимы для обучения алгоритмов ASR для оценки разборчивости учащихся L2.
  104. ^ Эскенази, Максин (январь 1999 г.). «Использование автоматической обработки речи для обучения произношению иностранного языка: некоторые проблемы и прототип» . Изучение языков и технологии . 2 (2): 62–76 . Проверено 11 февраля 2023 г.
  105. ^ Тольфсен, Майк (9 февраля 2023 г.). «Тренер по чтению в Immersive Reader, а также новые функции прогресса чтения в Microsoft Teams» . Образовательный блог Techcommunity . Майкрософт . Проверено 12 февраля 2023 г.
  106. ^ Банерджи, Олина (7 марта 2023 г.). «Школы используют голосовые технологии для обучения чтению. Помогает ли это?» . Новости EdSurge . Проверено 7 марта 2023 г.
  107. ^ Волосы, Адам; и другие. (19 июня 2018 г.). «Мир апраксии: Логопедическая игра для детей с нарушениями звука речи». Материалы 17-й конференции ACM по интерактивному дизайну и детям (PDF) . стр. 119–131. дои : 10.1145/3202185.3202733 . ISBN  9781450351522 . S2CID   13790002 .
  108. ^ «Компьютер говорит нет: ирландский ветеринар провалил устный тест по английскому языку, необходимый для пребывания в Австралии» . Хранитель . Австралийское агентство Ассошиэйтед Пресс. 8 августа 2017 г. Проверено 12 февраля 2023 г.
  109. ^ Ферье, Трейси (9 августа 2017 г.). «Бывший читатель новостей из Австралии со степенью английского языка провалил тест по английскому для робота» . Сидней Морнинг Геральд . Проверено 12 февраля 2023 г.
  110. ^ Мэйн, Эд; Уотсон, Ричард (9 февраля 2022 г.). «Английский тест, разрушивший тысячи жизней» . Новости BBC . Проверено 12 февраля 2023 г.
  111. ^ Джойс, Кэти Спратт (24 января 2023 г.). «13 слов, которые можно произнести двумя способами» . Ридерз Дайджест . Проверено 23 февраля 2023 г.
  112. ^ Например, CMUDICT , «Произносящий словарь КМУ» . www.speech.cs.cmu.edu . Проверено 15 февраля 2023 г. Сравните «четыре», заданное как «F AO R», с гласной АО, как в слове «пойманный», с словом «ряд», заданным как «R OW», с гласной OW, как в слове «овсянка».
  113. ^ Ту, Зехай; Ма, Нин; Баркер, Джон (2022). «Неконтролируемые меры неопределенности автоматического распознавания речи для неинтрузивного прогнозирования разборчивости речи» (PDF) . Учеб. Интерспич 2022 . ИНТЕРСПИЧ 2022. ISCA. стр. 3493–3497. doi : 10.21437/Interspeech.2022-10408 . Проверено 17 декабря 2023 г.
  114. ^ Общеевропейские ориентиры для изучения, преподавания и оценки языков: Сопутствующий том с новыми дескрипторами . Программа языковой политики, Отдел образовательной политики, Департамент образования, Совет Европы . Февраль 2018. с. 136. OCLC   1090351600 .
  115. ^ Энглунд, Кристина (2004). Распознавание речи в самолете JAS 39 Gripen: Адаптация к речи при различных перегрузках (PDF) (Магистерская диссертация). Стокгольмский королевский технологический институт . Архивировано (PDF) из оригинала 2 октября 2008 г.
  116. ^ «Кокпит» . Еврофайтер Тайфун . Архивировано из оригинала 1 марта 2017 года.
  117. ^ «Еврофайтер Тайфун – самый совершенный в мире истребитель» . www.eurofighter.com . Архивировано из оригинала 11 мая 2013 года . Проверено 1 мая 2018 г.
  118. ^ Шютте, Джон (15 октября 2007 г.). «Исследователи настраивают речевую систему пилота самолета F-35» . ВВС США. Архивировано из оригинала 20 октября 2007 года.
  119. ^ «Преодоление коммуникативных барьеров на уроке» . МассМАТЧ. 18 марта 2010 года. Архивировано из оригинала 25 июля 2013 года . Проверено 15 июня 2013 г.
  120. ^ Перейти обратно: а б «Распознавание речи для обучения» . Национальный центр технологических инноваций. 2010. Архивировано из оригинала 13 апреля 2014 года . Проверено 26 марта 2014 г.
  121. ^ Фолленсби, Боб; Макклоски-Дейл, Сьюзен (2000). «Распознавание речи в школах: последние новости с мест» . Конференция «Технологии и люди с ограниченными возможностями» , 2000 г. Архивировано из оригинала 21 августа 2006 года . Проверено 26 марта 2014 г.
  122. ^ «Распознавание речи для людей с ограниченными возможностями» . Архивировано из оригинала 4 апреля 2008 года.
  123. ^ Международная группа поддержки друзей
  124. ^ Гаррет, Дженнифер Тамлин; и другие. (2011). «Использование программного обеспечения для распознавания речи для повышения беглости письма у людей с ограниченными физическими возможностями» . Журнал технологий специального образования . 26 (1): 25–41. дои : 10.1177/016264341102600104 . S2CID   142730664 .
  125. ^ Форгрейв, Карен Э. «Вспомогательные технологии: расширение прав и возможностей учащихся с ограниченными возможностями». Информационный центр 75.3 (2002): 122–6. Веб.
  126. ^ Тан, КВ; Камуа, Рида; Сутан, Виктор (2004). «Технология распознавания речи для образования людей с ограниченными возможностями». Журнал систем образовательных технологий . 33 (2): 173–84. CiteSeerX   10.1.1.631.3736 . дои : 10.2190/K6K8-78K2-59Y7-R9R2 . S2CID   143159997 .
  127. ^ «Проекты: Планетарные микрофоны» . Планетарное общество. Архивировано из оригинала 27 января 2012 года.
  128. ^ Каридакис, Джордж; Кастеллано, Джиневра; Кессоус, Лоик; Раузайу, Амариллис; Малатеста, Лори; Астериадис, Стелиос; Карпузис, Костас (19 сентября 2007 г.). «Мультимодальное распознавание эмоций по выразительным лицам, жестам и речи». Искусственный интеллект и инновации 2007: от теории к приложениям . ИФИП — Международная федерация обработки информации. Том. 247. Спрингер США. стр. 375–388. дои : 10.1007/978-0-387-74161-1_41 . ISBN  978-0-387-74160-4 .
  129. ^ «Что такое субтитры в реальном времени? | СДЕЛАЙТЕ ЭТО» . www.washington.edu . Проверено 11 апреля 2021 г.
  130. ^ Чжэн, Томас Фанг; Ли, Ланьтянь (2017). Проблемы, связанные с надежностью распознавания говорящего . SpringerBriefs по электротехнике и вычислительной технике. Сингапур: Springer Сингапур. дои : 10.1007/978-981-10-3238-7 . ISBN  978-981-10-3237-0 .
  131. ^ Чарамелла, Альберто. «Отчет об оценке производительности прототипа». Рабочий пакет солнечных часов 8000 (1993 г.).
  132. ^ Гербино, Э.; Баджиа, П.; Чарамелла, А.; Руллент, К. (1993). «Тестирование и оценка системы разговорного диалога». Международная конференция IEEE по акустике речи и обработке сигналов . С. 135–138 т.2. дои : 10.1109/ICASSP.1993.319250 . ISBN  0-7803-0946-4 . S2CID   57374050 .
  133. ^ Национальный институт стандартов и технологий. « История автоматической оценки распознавания речи в NIST. Архивировано 8 октября 2013 года в Wayback Machine ».
  134. ^ «Названия букв могут вызвать путаницу и что еще нужно знать о взаимоотношениях букв и звуков» . НАЕЙК . Проверено 27 октября 2023 г.
  135. ^ «Послушайте: ваш ИИ-помощник тоже сходит с ума по NPR» . ЭНЕРГЕТИЧЕСКИЙ ЯДЕРНЫЙ РЕАКТОР . 6 марта 2016 г. Архивировано из оригинала 23 июля 2017 г.
  136. ^ Клэберн, Томас (25 августа 2017 г.). «Можно ли управлять Amazon Alexa, Google Now с помощью неразборчивых команд? Абсолютно» . Регистр . Архивировано из оригинала 2 сентября 2017 года.
  137. ^ «Атаки на цели систем автоматического распознавания речи» . вице.com . 31 января 2018 г. Архивировано из оригинала 3 марта 2018 г. Проверено 1 мая 2018 г.
  138. ^ Бейги, Хомаюн (2011). Основы распознавания говорящего . Нью-Йорк: Спрингер. ISBN  978-0-387-77591-3 . Архивировано из оригинала 31 января 2018 года.
  139. ^ Пови, Д., Гошал, А., Булианна, Г., Берджет, Л., Глембек, О., Гоэл, Н., ... и Весели, К. (2011). Набор инструментов для распознавания речи Kaldi. На семинаре IEEE 2011 по автоматическому распознаванию и пониманию речи (№ CONF). Общество обработки сигналов IEEE.
  140. ^ «Общий голос от Mozilla» . voice.mozilla.org . Архивировано из оригинала 27 февраля 2020 года . Проверено 9 ноября 2019 г.
  141. ^ «Реализация TensorFlow архитектуры DeepSpeech от Baidu: mozilla/DeepSpeech» . 9 ноября 2019 г. – через GitHub.
  142. ^ «GitHub — tensorflow/docs: документация TensorFlow» . 9 ноября 2019 г. – через GitHub.
  143. ^ «Coqui, стартап, предоставляющий технологии открытой речи для всех» . Гитхаб . Проверено 7 марта 2022 г.
  144. ^ Коффи, Донавин (28 апреля 2021 г.). «Маори пытаются спасти свой язык от крупных технологий» . Проводная Великобритания . ISSN   1357-0978 . Проверено 16 октября 2021 г.
  145. ^ «Почему вам следует перейти с DeepSpeech на coqui.ai» . Дискурс Мозиллы . 7 июля 2021 г. Проверено 16 октября 2021 г.
  146. ^ «Печатайте голосом» .

Дальнейшее чтение [ править ]

  • Коул, Рональд; Мариани, Джозеф ; Ушкорейт, Ганс; Вариле, Джованни Баттиста; Заенен, Энни; Замполли; Зуэ, Виктор, ред. (1997). Обзор современного состояния технологий человеческого языка . Кембриджские исследования по обработке естественного языка. Том. XII–XIII. Издательство Кембриджского университета. ISBN  978-0-521-59277-2 .
  • Жункуа, Ж.-К.; Хатон, Ж.-П. (1995). Надежность автоматического распознавания речи: основы и приложения . Академическое издательство Клувер. ISBN  978-0-7923-9646-8 .
  • Карат, Клэр-Мари; Верго, Джон; Нахаму, Дэвид (2007). «Технологии диалогового интерфейса». В Сирс, Эндрю ; Джако, Джули А. (ред.). Справочник по взаимодействию человека и компьютера: основы, развивающиеся технологии и новые приложения (человеческий фактор и эргономика) . Лоуренса Эрлбаума Associates Inc. ISBN  978-0-8058-5870-9 .
  • Пьераччини, Роберто (2012). Голос в машине. Создание компьютеров, понимающих речь . Массачусетский технологический институт Пресс. ISBN  978-0262016858 .
  • Пирани, Джанкарло, изд. (2013). Передовые алгоритмы и архитектуры для понимания речи . Springer Science & Business Media. ISBN  978-3-642-84341-9 .
  • Signer, Beat and Hoste, Lode: SpeeG2: интерфейс на основе речи и жестов для эффективного ввода текста без контроллера , в материалах ICMI 2013, 15-я Международная конференция по мультимодальному взаимодействию, Сидней, Австралия, декабрь 2013 г.
  • Вельфель, Матиас; Макдонаф, Джон (26 мая 2009 г.). Удаленное распознавание речи . Уайли. ISBN  978-0470517048 .

External links[edit]

Retrieved from "https://en.wikipedia.org/w/index.php?title=Speech_recognition&oldid=1224834034"