Распознавание речи

Чтобы узнать о человеческой лингвистической концепции, см. «Восприятие речи» .

Распознавание речи — это междисциплинарная область информатики и компьютерной лингвистики , которая разрабатывает методологии и технологии, позволяющие распознавать и переводить разговорную речь в текст с помощью компьютеров. Он также известен как автоматическое распознавание речи ( ASR ), компьютерное распознавание речи или преобразование речи в текст ( STT ). Он включает в себя знания и исследования в области информатики , лингвистики и компьютерной инженерии . Обратный процесс — синтез речи .

Некоторые системы распознавания речи требуют «обучения» (также называемого «зачислением»), когда отдельный говорящий читает текст или изолированный словарный запас в систему . Система анализирует конкретный голос человека и использует его для точной настройки распознавания речи этого человека, что приводит к повышению точности. Системы, не использующие обучение, называются «динамиконезависимыми». системы. Системы, использующие обучение, называются «зависимыми от говорящего».

Приложения распознавания речи включают голосовые пользовательские интерфейсы , такие как голосовой набор (например, «позвонить домой»), маршрутизация вызовов (например, «Я хотел бы сделать платный звонок»), управление домашними устройствами, поиск ключевых слов (например, найти подкаст, в котором есть определенные слова). были произнесены), простой ввод данных (например, ввод номера кредитной карты), подготовка структурированных документов (например, радиологический отчет), определение характеристик говорящего, обработка речи в текст (например, текстовые процессоры или электронная почта ) и самолеты (обычно называемые прямым голосовым вводом ). Автоматическая оценка произношения используется в сфере образования, например, при изучении разговорной речи.

Термин «распознавание голоса» или идентификация говорящего относится к идентификации говорящего, а не к тому, что он говорит. Распознавание говорящего может упростить задачу перевода речи в системах, обученных на голосе конкретного человека, или может использоваться для аутентификации или проверки личности говорящего в рамках процесса безопасности.

С технологической точки зрения распознавание речи имеет долгую историю, сопровождавшуюся несколькими волнами крупных инноваций. Совсем недавно эта область получила выгоду от достижений в области глубокого обучения и больших данных . О достижениях свидетельствует не только всплеск научных работ, опубликованных в этой области, но, что более важно, внедрение во всем мире различных методов глубокого обучения при проектировании и развертывании систем распознавания речи.

История

Ключевыми областями роста были: размер словарного запаса, независимость говорящего и скорость обработки информации.

До 1970 г.

• 1952 – Три исследователя Bell Labs, Стивен Балашек. Р. Биддульф и К. Х. Дэвис построили систему под названием «Одри». для распознавания цифр с помощью одного динамика. Их система определяла форманты в спектре мощности каждого высказывания.
• 1960 — Гуннар Фант разработал и опубликовал модель исходно-фильтрационного производства речи .
• 1962 — IBM способность распознавания речи своей машины «Shoebox» из 16 слов продемонстрировала на Всемирной выставке 1962 года .
• 1966 - Линейное предсказывающее кодирование (LPC), метод кодирования речи , было впервые предложено Фумитадой Итакурой из Университета Нагои и Сюдзо Сайто из Nippon Telegraph and Telephone (NTT) во время работы над распознаванием речи.
• 1969 – Финансирование Bell Labs прекратилось на несколько лет, когда в 1969 году влиятельный Джон Пирс написал открытое письмо, в котором критиковал и защищал исследования в области распознавания речи. Это лишение финансирования продолжалось до тех пор, пока Пирс не ушел на пенсию и Джеймс Л. Фланаган . его место занял

Радж Редди был первым человеком, который взялся за непрерывное распознавание речи, будучи аспирантом Стэнфордского университета в конце 1960-х годов. Предыдущие системы требовали от пользователей делать паузу после каждого слова. Система Редди выдавала голосовые команды для игры в шахматы .

Примерно в это же время советские исследователи изобрели алгоритм динамического искажения времени (DTW) и использовали его для создания распознавателя, способного работать со словарем из 200 слов. DTW обрабатывал речь, разделяя ее на короткие кадры, например сегменты по 10 мс, и обрабатывая каждый кадр как единое целое. Хотя DTW был заменен более поздними алгоритмами, этот метод сохранился. Достижение независимости спикеров в тот период оставалось нерешенным.

1970–1990

• 1971 - DARPA профинансировало пять лет исследований по распознаванию речи , исследований по распознаванию речи, направленных на минимальный размер словарного запаса в 1000 слов. Они думали, речи что понимание будет ключом к прогрессу в распознавании речи , но позже это оказалось неправдой. BBN , IBM , Карнеги-Меллон и Стэнфордский исследовательский институт . В программе приняли участие Это возрожденное исследование распознавания речи после письма Джона Пирса.

• 1972 – Группа IEEE по акустике, речи и обработке сигналов провела конференцию в Ньютоне, штат Массачусетс.
• 1976 — Первая конференция ICASSP прошла в Филадельфии , которая с тех пор стала основным местом публикации исследований по распознаванию речи.

В конце 1960-х годов Леонард Баум разработал математику цепей Маркова в Институте оборонного анализа . Десять лет спустя в CMU ученики Раджа Редди Джеймс Бейкер и Джанет М. Бейкер начали использовать скрытую модель Маркова (HMM) для распознавания речи. Джеймс Бейкер узнал о HMM во время летней работы в Институте оборонного анализа во время учебы в бакалавриате. Использование HMM позволило исследователям объединить различные источники знаний, такие как акустика, язык и синтаксис, в единую вероятностную модель.

• К середине 1980-х годов из IBM команда Фреда Елинека создала пишущую машинку с голосовым управлением под названием Tangora, которая могла обрабатывать словарный запас в 20 000 слов. Статистический подход Елинека уделяет меньше внимания имитации того, как человеческий мозг обрабатывает и понимает речь, в пользу использования методов статистического моделирования, таких как HMM. (Группа Елинека независимо обнаружила применение HMM к речи. ) Это вызвало споры у лингвистов, поскольку HMM слишком упрощены, чтобы объяснить многие общие черты человеческих языков. Однако HMM оказался очень полезным способом моделирования речи и заменил динамическое искажение времени, став доминирующим алгоритмом распознавания речи в 1980-х годах.

• 1982 основали компанию Dragon Systems — Джеймс и Джанет М. Бейкер . был одним из немногих конкурентов IBM.

Практическое распознавание речи

В 1980-е годы также была представлена ​​языковая модель n-грамм .

• 1987 - Модель отсрочки позволила языковым моделям использовать n-граммы разной длины и CSELT. использовал HMM для распознавания языков (как в программном обеспечении, так и в специализированных аппаратных процессорах, например RIPAC ).

Большая часть прогресса в этой области обусловлена ​​быстро растущими возможностями компьютеров. По окончании программы DARPA в 1976 году лучшим компьютером, доступным исследователям, был PDP-10 с 4 МБ оперативной памяти. Чтобы декодировать всего лишь 30 секунд речи, может потребоваться до 100 минут.

Двумя практическими продуктами были:

• 1984 г. - выпущен Apricot Portable с поддержкой до 4096 слов, из которых только 64 могут храниться в оперативной памяти одновременно.
• 1987 г. – признание от Kurzweil Applied Intelligence.
• 1990 — Dragon Dictate, потребительский продукт, выпущенный в 1990 году. В 1992 году AT&T внедрила службу обработки вызовов с распознаванием голоса для маршрутизации телефонных звонков без использования оператора-человека. Технология была разработана Лоуренсом Рабинером и другими сотрудниками Bell Labs.

К этому моменту словарный запас типичной коммерческой системы распознавания речи уже превышал средний человеческий словарный запас. Бывший ученик Раджа Редди, Сюэдун Хуан , разработал систему Sphinx-II в CMU. Система Sphinx-II была первой системой, обеспечивающей независимость от говорящего, большой словарный запас и непрерывное распознавание речи, и она показала лучшие результаты по оценке DARPA 1992 года. Обработка непрерывной речи с помощью большого словарного запаса стала важной вехой в истории распознавания речи. В 1993 году Хуанг основал группу по распознаванию речи в Microsoft. Студент Раджа Редди Кай-Фу Ли присоединился к Apple, где в 1992 году он помог разработать прототип речевого интерфейса для компьютера Apple, известного как Casper.

Lernout & Hauspie , бельгийская компания по распознаванию речи, приобрела несколько других компаний, в том числе Kurzweil Applied Intelligence в 1997 году и Dragon Systems в 2000 году. Речевая технология L&H использовалась в операционной системе Windows XP . L&H была лидером отрасли до тех пор, пока бухгалтерский скандал не положил конец компании в 2001 году. Речевую технологию L&H купила компания ScanSoft, которая стала Nuance в 2005 году . Первоначально Apple лицензировала программное обеспечение Nuance, чтобы обеспечить возможность распознавания речи своему цифровому помощнику Siri .

2000-е

В 2000-х годах DARPA спонсировало две программы распознавания речи: «Эффективное доступное повторное использование речи в тексте» (EARS) в 2002 году и « Global Autonomous Language Exploitation» (GALE). В программе EARS участвовали четыре команды: IBM , команда под руководством BBN с LIMSI и Univ. Питтсбурга , Кембриджского университета и группы, состоящей из ICSI , SRI и Вашингтонского университета . EARS профинансировал сбор корпуса телефонной речи Switchboard , содержащего 260 часов записанных разговоров более чем 500 говорящих. В программе GALE особое внимание уделялось на арабском и китайском языках новостной речи . . Первые попытки Google в области распознавания речи были предприняты в 2007 году после найма нескольких исследователей из Nuance Первым продуктом была GOOG-411 , телефонная служба каталогов. Записи GOOG-411 предоставили ценные данные, которые помогли Google улучшить свои системы распознавания. Голосовой поиск Google теперь поддерживается более чем на 30 языках.

В Соединенных Штатах Агентство национальной безопасности использует тип распознавания речи для определения ключевых слов по крайней мере с 2006 года. Эта технология позволяет аналитикам осуществлять поиск в больших объемах записанных разговоров и изолировать упоминания ключевых слов. Записи можно индексировать, а аналитики могут выполнять запросы к базе данных, чтобы найти интересующие разговоры. Некоторые правительственные исследовательские программы были сосредоточены на интеллектуальных приложениях распознавания речи, например, программа EARS DARPA и IARPA Babel программа .

В начале 2000-х годов в распознавании речи все еще доминировали традиционные подходы, такие как скрытые модели Маркова в сочетании с искусственными нейронными сетями прямого распространения . Однако сегодня многие аспекты распознавания речи были взяты на вооружение методом глубокого обучения под названием «Длинная кратковременная память» (LSTM), рекуррентной нейронной сети, опубликованной Зеппом Хохрайтером и Юргеном Шмидхубером в 1997 году. LSTM RNN позволяют избежать проблемы исчезающего градиента и могут изучать задачи «очень глубокого обучения». которые требуют воспоминаний о событиях, произошедших тысячи дискретных шагов назад, что важно для речи. Примерно в 2007 году LSTM прошел обучение в рамках коннекционистской временной классификации (CTC). начал превосходить традиционное распознавание речи в некоторых приложениях. Сообщается, что в 2015 году производительность системы распознавания речи Google резко выросла на 49% благодаря LSTM, обученному CTC, который теперь доступен через Google Voice для всех пользователей смартфонов. Трансформеры , тип нейронной сети, основанный исключительно на «внимании», получили широкое распространение в компьютерном зрении. и языковое моделирование, вызывая интерес к адаптации таких моделей к новым областям, включая распознавание речи. В некоторых недавних статьях сообщалось о превосходных уровнях производительности при использовании моделей преобразователей для распознавания речи, но эти модели обычно требуют крупномасштабных наборов обучающих данных для достижения высоких уровней производительности.

Использование сетей с глубокой прямой связью (нерекуррентных) для акустического моделирования было представлено во второй половине 2009 года Джеффри Хинтоном и его студентами в Университете Торонто, а также Ли Дэном. и коллеги из Microsoft Research, первоначально в рамках совместной работы Microsoft и Университета Торонто, которая впоследствии была расширена за счет IBM и Google (отсюда подзаголовок «Общие взгляды четырех исследовательских групп» в их обзорном документе 2012 года). Руководитель исследования Microsoft назвал это нововведение «самым резким изменением точности с 1979 года». В отличие от устойчивых постепенных улучшений последних нескольких десятилетий, применение глубокого обучения снизило частоту ошибок в словах на 30%. Это нововведение быстро распространилось по всей отрасли. Исследователи также начали использовать методы глубокого обучения для языкового моделирования.

За долгую историю распознавания речи как поверхностные, так и глубокие формы (например, рекуррентные сети) искусственных нейронных сетей исследовались в течение многих лет в 1980-х, 1990-х годах и в течение нескольких лет в 2000-х годах. Но эти методы никогда не побеждали технологию неоднородной модели гауссовской смеси с внутренним ручным созданием / скрытой марковской модели (GMM-HMM), основанной на генеративных моделях речи, обученных дискриминативно. В 1990-е годы был методологически проанализирован ряд ключевых трудностей, в том числе уменьшение градиента и слабая структура временной корреляции в нейронных прогнозирующих моделях. Все эти трудности были в дополнение к отсутствию больших обучающих данных и большой вычислительной мощности в те первые дни. Большинство исследователей в области распознавания речи, которые понимали такие барьеры, впоследствии отошли от нейронных сетей и стали использовать подходы генеративного моделирования до недавнего возрождения глубокого обучения, начавшегося примерно в 2009–2010 годах, которое преодолело все эти трудности. Хинтон и др. и Дэнг и др. рассмотрели часть этой недавней истории о том, как их сотрудничество друг с другом, а затем с коллегами из четырех групп (Университет Торонто, Microsoft, Google и IBM) положило начало возрождению приложений глубоких нейронных сетей прямого распространения для распознавания речи.

2010-е годы

К началу 2010-х годов распознавание речи , также называемое распознаванием голоса. четко отличался от распознавания говорящего , а независимость говорящего считалась большим прорывом. До этого системам требовался период «обучения». Реклама куклы 1987 года имела слоган «Наконец-то кукла, которая тебя понимает». - несмотря на то, что его описывали как «которое дети могут научить реагировать на свой голос».

В 2017 году исследователи Microsoft достигли исторической вехи в человеческом равенстве, расшифровав разговорную телефонную речь с помощью широко проверенной задачи Switchboard. Для оптимизации точности распознавания речи использовалось несколько моделей глубокого обучения. Сообщается, что частота ошибок в словах при распознавании речи составляет всего лишь 4 профессиональных транскрибатора, работающих вместе над одним и тем же тестом, который финансировался речевой командой IBM Watson для выполнения одной и той же задачи.

Модели, методы и алгоритмы

И акустическое моделирование , и языковое моделирование являются важными частями современных статистических алгоритмов распознавания речи. Скрытые марковские модели (СММ) широко используются во многих системах. Языковое моделирование также используется во многих других приложениях обработки естественного языка, таких как классификация документов или статистический машинный перевод .

Скрытые марковские модели

Основная статья: Скрытая модель Маркова

Современные системы распознавания речи общего назначения основаны на скрытых марковских моделях. Это статистические модели, которые выводят последовательность символов или величин. HMM используются при распознавании речи, поскольку речевой сигнал можно рассматривать как кусочно-стационарный сигнал или кратковременный стационарный сигнал. В коротком временном масштабе (например, 10 миллисекунд) речь можно аппроксимировать как стационарный процесс . Речь можно рассматривать как модель Маркова для многих стохастических целей.

Другая причина популярности HMM заключается в том, что их можно обучать автоматически, а также они просты и осуществимы с вычислительной точки зрения. При распознавании речи скрытая марковская модель выводит последовательность n -мерных векторов с действительными значениями (где n — небольшое целое число, например 10), выдавая один из них каждые 10 миллисекунд. Векторы будут состоять из кепстральных коэффициентов, которые получаются путем преобразования Фурье короткого временного окна речи и декорреляции спектра с помощью косинусного преобразования , а затем взятия первых (наиболее значимых) коэффициентов. Скрытая марковская модель будет иметь в каждом состоянии статистическое распределение, представляющее собой смесь гауссиан диагональной ковариации, что даст вероятность для каждого наблюдаемого вектора. Каждое слово или (для более общих систем распознавания речи) каждая фонема будет иметь различное выходное распределение; скрытая модель Маркова для последовательности слов или фонем создается путем объединения отдельных обученных скрытых моделей Маркова для отдельных слов и фонем.

Выше описаны основные элементы наиболее распространенного подхода к распознаванию речи, основанного на HMM. Современные системы распознавания речи используют различные комбинации ряда стандартных методов для улучшения результатов по сравнению с базовым подходом, описанным выше. Типичная система с большим словарным запасом потребует контекстной зависимости для фонем (так что фонемы с разным левым и правым контекстом будут иметь разные реализации, как утверждает HMM); он будет использовать кепстральную нормализацию для нормализации для разных говорящих и условий записи; для дальнейшей нормализации говорящего он может использовать нормализацию длины голосового тракта (VTLN) для нормализации мужского и женского пола и линейную регрессию максимального правдоподобия (MLLR) для более общей адаптации говорящего. Эти функции будут иметь так называемые дельта и коэффициенты дельта-дельта для улавливания динамики речи и, кроме того, могут использовать гетероскедастический линейный дискриминантный анализ (HLDA); или можно пропустить коэффициенты дельта и дельта-дельта и использовать сращивание и Проекция на основе LDA, за которой, возможно, следует гетероскедастический линейный дискриминантный анализ или глобальное полусвязанное ковариационное преобразование (также известное как линейное преобразование максимального правдоподобия или MLLT). Многие системы используют так называемые методы дискриминационного обучения, которые обходятся без чисто статистического подхода к оценке параметров HMM и вместо этого оптимизируют некоторые меры обучающих данных, связанные с классификацией. Примерами являются максимальная взаимная информация (MMI), минимальная ошибка классификации (MCE) и минимальная ошибка телефона (MPE).

Декодирование речи (термин, обозначающий то, что происходит, когда системе предоставляется новое высказывание и она должна вычислить наиболее вероятное исходное предложение), вероятно, будет использовать алгоритм Витерби для поиска наилучшего пути, и здесь есть выбор между динамическим созданием комбинация скрытой модели Маркова, которая включает в себя информацию как об акустической, так и о языковой модели и предварительно статически объединяет ее ( подход преобразователя конечных состояний , или FST).

Возможным улучшением декодирования является сохранение набора хороших кандидатов вместо того, чтобы просто сохранять лучшего кандидата, и использование лучшей функции оценки ( переоценки ) для оценки этих хороших кандидатов, чтобы мы могли выбрать лучшего в соответствии с этой уточненной оценкой. . Набор кандидатов может храниться либо в виде списка ( подход N-лучшего списка ), либо в виде подмножества моделей ( решетка ). Повторная оценка обычно проводится с целью минимизировать байесовский риск. (или его приближение) Вместо того, чтобы брать исходное предложение с максимальной вероятностью, мы пытаемся взять предложение, которое минимизирует математическое ожидание данной функции потерь относительно всех возможных транскрипций (т. е. мы берем предложение, которое минимизирует среднее расстояние до другие возможные предложения, взвешенные по их предполагаемой вероятности). Функция потерь обычно представляет собой расстояние Левенштейна , хотя для конкретных задач это могут быть разные расстояния; набор возможных транскрипций, конечно, сокращается, чтобы сохранить читаемость. Были разработаны эффективные алгоритмы для восстановления решеток , представленных как взвешенные преобразователи конечных состояний с расстояниями редактирования, представленными как преобразователи конечных состояний, проверяющие определенные предположения.

Распознавание речи на основе динамического искажения времени (DTW)

Основная статья: Динамическое искажение времени

Динамическое искажение времени — это подход, который исторически использовался для распознавания речи, но в настоящее время в значительной степени вытеснен более успешным подходом, основанным на HMM.

Динамическое искажение времени — это алгоритм измерения сходства между двумя последовательностями, которые могут различаться по времени или скорости. Например, сходство в характере ходьбы будет обнаружено, даже если в одном видео человек шел медленно, а в другом он или она шел быстрее, или даже если в ходе одного наблюдения наблюдались ускорения и замедления. DTW применяется к видео, аудио и графике — действительно, любые данные, которые можно преобразовать в линейное представление, можно проанализировать с помощью DTW.

Хорошо известным применением является автоматическое распознавание речи, позволяющее справляться с различной скоростью речи. В общем, это метод, который позволяет компьютеру находить оптимальное соответствие между двумя заданными последовательностями (например, временными рядами) с определенными ограничениями. То есть последовательности нелинейно «искажаются», чтобы соответствовать друг другу. Этот метод выравнивания последовательностей часто используется в контексте скрытых моделей Маркова.

Нейронные сети

Основная статья: Искусственная нейронная сеть

Нейронные сети стали привлекательным подходом к акустическому моделированию в ASR в конце 1980-х годов. С тех пор нейронные сети использовались во многих аспектах распознавания речи, таких как классификация фонем, классификация фонем с помощью многоцелевых эволюционных алгоритмов, распознавание изолированных слов, аудиовизуальное распознавание речи , аудиовизуальное распознавание говорящего и адаптация говорящего.

Нейронные сети делают меньше явных предположений о статистических свойствах функций, чем HMM, и обладают рядом качеств, делающих их более привлекательными моделями распознавания речи. При использовании для оценки вероятностей сегмента речевого признака нейронные сети позволяют проводить различительное обучение естественным и эффективным способом. Однако, несмотря на их эффективность в классификации кратких единиц, таких как отдельные фонемы и изолированные слова, Ранние нейронные сети редко были успешными для задач непрерывного распознавания из-за их ограниченной способности моделировать временные зависимости.

Одним из подходов к этому ограничению было использование нейронных сетей для предварительной обработки, преобразования признаков или уменьшения размерности. шаг до признания на основе HMM. Однако в последнее время LSTM и связанные с ним рекуррентные нейронные сети (RNN) Нейронные сети с задержкой времени (TDNN), и трансформаторы продемонстрировали улучшение показателей в этой области.

Глубокая прямая связь и рекуррентные нейронные сети

Основная статья: Глубокое обучение

Глубокие нейронные сети и автоэнкодеры с шумоподавлением также находятся под следствием. Нейронная сеть глубокого прямого распространения (DNN) — это искусственная нейронная сеть с несколькими скрытыми слоями блоков между входным и выходным слоями. Подобно мелким нейронным сетям, DNN могут моделировать сложные нелинейные отношения. Архитектуры DNN создают композиционные модели, в которых дополнительные уровни позволяют комбинировать функции нижних уровней, обеспечивая огромные возможности обучения и, следовательно, потенциал моделирования сложных шаблонов речевых данных.

Успех DNN в распознавании речи с большим словарем произошел в 2010 году промышленными исследователями в сотрудничестве с академическими исследователями, где были приняты большие выходные слои DNN на основе контекстно-зависимых состояний HMM, построенных с помощью деревьев решений. Подробные обзоры этой разработки и современного состояния по состоянию на октябрь 2014 года можно найти в недавней книге Springer от Microsoft Research. См. также информацию об автоматическом распознавании речи и влиянии различных парадигм машинного обучения, в частности, глубокого обучения , в последние обзорные статьи.

Один из фундаментальных принципов глубокого обучения — отказаться от ручной разработки функций и использовать необработанные функции. Этот принцип был впервые успешно исследован в архитектуре глубокого автокодирования на «необработанных» спектрограммах или в функциях набора линейных фильтров. показывая его превосходство над функциями Mel-Cepstral, которые содержат несколько стадий фиксированной трансформации из спектрограмм. Совсем недавно было показано, что настоящие «сырые» характеристики речи, формы сигналов, дают превосходные результаты распознавания речи в более крупном масштабе.

Сквозное автоматическое распознавание речи

С 2014 года наблюдается большой исследовательский интерес к «сквозному» ASR. Традиционные подходы, основанные на фонетике (т. е. все модели на основе HMM ), требовали отдельных компонентов и обучения для модели произношения, акустики и языка . Сквозные модели совместно изучают все компоненты распознавателя речи. Это ценно, поскольку упрощает процесс обучения и процесс развертывания. Например, языковая модель n-грамм , а типичная языковая модель n-грамм часто занимает несколько гигабайт памяти, что делает ее непрактичным для развертывания на мобильных устройствах. для всех систем на базе HMM требуется Следовательно, современные коммерческие системы ASR от Google и Apple (по состоянию на 2017 г.) ) развертываются в облаке и требуют подключения к сети, а не локального устройства.

Первая попытка сквозного ASR была предпринята с помощью систем на основе коннекционистской временной классификации (CTC), представленных Алексом Грейвсом из Google DeepMind и Навдипом Джейтли из Университета Торонто в 2014 году. Модель состояла из рекуррентных нейронных сетей и слоя CTC. Совместно модель RNN-CTC изучает произношение и акустическую модель вместе, однако она не способна изучать язык из-за предположений об условной независимости, аналогичных HMM. Следовательно, модели CTC могут напрямую научиться сопоставлять акустику речи с английскими символами, но модели допускают множество распространенных орфографических ошибок и должны полагаться на отдельную языковую модель для очистки расшифровок. Позже Baidu расширила работу с чрезвычайно большими наборами данных и продемонстрировала некоторый коммерческий успех на китайском и английском языках. В 2016 году Оксфордский университет представил LipNet , первая сквозная модель чтения по губам на уровне предложений, использующая пространственно-временные извилины в сочетании с архитектурой RNN-CTC, превосходящая производительность человеческого уровня в ограниченном наборе грамматических данных. Крупномасштабная архитектура CNN-RNN-CTC была представлена ​​в 2018 году компанией Google DeepMind, ее производительность в 6 раз выше, чем у экспертов-людей.

Альтернативным подходом к моделям, основанным на CTC, являются модели, основанные на внимании. Модели ASR, основанные на внимании, были представлены одновременно Chan et al. из Университета Карнеги-Меллона и Google Brain и Bahdanau et al. Университета Монреаля в 2016 году. Модель под названием «Listen, Attend and Spell» (LAS) буквально «слушает» акустический сигнал, обращает «внимание» на различные части сигнала и «прочитывает» расшифровку по одному символу за раз. В отличие от моделей на основе CTC, модели на основе внимания не имеют предположений об условной независимости и могут напрямую изучать все компоненты распознавателя речи, включая произношение, акустическую и языковую модель. Это означает, что во время развертывания нет необходимости носить с собой языковую модель, что делает ее очень удобной для приложений с ограниченной памятью. К концу 2016 года модели, основанные на внимании, добились значительных успехов, в том числе превзойдя модели CTC (с моделью внешнего языка или без нее). Со времени исходной модели LAS были предложены различные расширения. Разложение скрытых последовательностей (LSD) было предложено Университетом Карнеги-Меллона , Массачусетским технологическим институтом и Google Brain для прямого выделения единиц подслов, которые более естественны, чем английские символы; Оксфордский университет и Google DeepMind расширили LAS до «Смотри, слушай, посещай и произноси» (WLAS), чтобы обеспечить чтение по губам, превосходящее человеческие возможности.

Приложения

Автомобильные системы

Обычно ввод ручного управления, например, с помощью пальца на рулевом колесе, активирует систему распознавания речи, и об этом сообщается водителю посредством звуковой подсказки. После звуковой подсказки система имеет «окно прослушивания», в течение которого она может принять речевой ввод для распознавания.

Простые голосовые команды можно использовать для совершения телефонных звонков, выбора радиостанций или воспроизведения музыки с совместимого смартфона, MP3-плеера или флэш-накопителя с музыкой. Возможности распознавания голоса различаются в зависимости от марки и модели автомобиля. Некоторые из самых последних Модели автомобилей предлагают распознавание речи на естественном языке вместо фиксированного набора команд, что позволяет водителю использовать полные предложения и общие фразы. Таким образом, в таких системах пользователю нет необходимости запоминать набор фиксированных командных слов.

Образование

Основная статья: Оценка произношения

Автоматическая оценка произношения – это использование распознавания речи для проверки правильности произносимой речи, в отличие от ручной оценки, проводимой инструктором или инспектором. Эта технология, также называемая проверкой речи, оценкой произношения и оценкой произношения, основным применением этой технологии является компьютерное обучение произношению (CAPT) в сочетании с компьютерным обучением компьютерному изучению языка (CALL), исправлению речи или уменьшению акцента. . Оценка произношения не определяет незнакомую речь (как при диктанте или автоматической транскрипции ), а вместо этого, заранее зная ожидаемое слово(а), пытается проверить правильность произношения учащегося и, в идеале, его разборчивость для слушателей. иногда вместе с зачастую несущественной просодией, такой как интонация , высота тона , темп , ритм и ударение . Оценка произношения также используется при обучении чтению , например, в таких продуктах, как Microsoft Teams. и от Амиры Лиринг. Автоматическую оценку произношения также можно использовать для диагностики и лечения речевых нарушений, таких как апраксия .

Оценка подлинной разборчивости слушателя необходима для предотвращения неточностей из- за смещения акцента , особенно при оценке важных вопросов; из слов с множественным правильным произношением; и от ошибок кодирования фонем в машиночитаемых словарях произношения. В 2022 году исследователи обнаружили, что некоторые новые системы преобразования речи в текст, основанные на сквозном обучении с подкреплением для преобразования аудиосигналов непосредственно в слова, дают показатели достоверности слов и фраз, очень тесно коррелирующие с подлинной разборчивостью слушателя. В соответствии с критериями оценки «общего фонологического контроля» Общеевропейских стандартов владения языком (CEFR) разборчивость перевешивает формально правильное произношение на всех уровнях.

Здравоохранение

Медицинская документация

В секторе здравоохранения распознавание речи может быть реализовано на начальном или конечном этапе процесса обработки медицинской документации. Фронтальное распознавание речи — это когда провайдер диктует механизму распознавания речи, распознанные слова отображаются по мере их произнесения, а диктатор отвечает за редактирование и подписание документа. Внутреннее или отложенное распознавание речи — это когда провайдер диктует в систему цифровой диктовки , голос направляется через машину распознавания речи, а распознанный черновой документ направляется вместе с исходным голосовым файлом в редактор, где черновик редактируется. и отчет завершен. В настоящее время отложенное распознавание речи широко используется в отрасли.

Одна из основных проблем, связанных с использованием распознавания речи в здравоохранении, заключается в том, что Американский закон о восстановлении и реинвестировании 2009 года ( ARRA ) предусматривает существенные финансовые льготы для врачей, которые используют EMR в соответствии со стандартами «осмысленного использования». Эти стандарты требуют, чтобы значительный объем данных хранился в электронной медицинской карте (теперь ее чаще называют электронной медицинской картой или ЭМК). Использование распознавания речи более естественно подходит для создания описательного текста как части интерпретации рентгенологического/патологоанатомического исследования, заметки о ходе работы или резюме выписки: эргономические преимущества использования распознавания речи для ввода структурированных дискретных данных (например, числовых значений или кодов) из списка или контролируемого словаря ) относительно минимальны для зрячих людей, умеющих пользоваться клавиатурой и мышью.

Более существенная проблема заключается в том, что большинство EHR не предназначены специально для использования возможностей распознавания голоса. Большая часть взаимодействия врача с ЭМК включает в себя навигацию по пользовательскому интерфейсу с помощью меню и щелчков по вкладкам/кнопкам и в значительной степени зависит от клавиатуры и мыши: голосовая навигация обеспечивает лишь скромные эргономические преимущества. Напротив, многие специализированные системы для диктовки радиологии или патологии реализуют голосовые «макросы», где использование определенных фраз – например, «нормальный отчет» – автоматически заполняет большое количество значений по умолчанию и/или генерирует шаблон, который варьируются в зависимости от типа исследования – например, рентгенография грудной клетки или серия контрастов желудочно-кишечного тракта для радиологической системы.

Терапевтическое использование

Длительное использование программного обеспечения для распознавания речи в сочетании с текстовыми процессорами показало преимущества в восстановлении кратковременной памяти у пациентов с АВМ головного мозга , перенесших резекцию . Необходимо провести дальнейшие исследования для определения когнитивных преимуществ у людей, чьи АВМ лечились с использованием радиологических методов.

Военный

Высокопроизводительный истребитель

За последнее десятилетие значительные усилия были направлены на тестирование и оценку распознавания речи на истребителях . Особо следует отметить программу США по распознаванию речи для самолетов Advanced Fighter Technology Integration (AFTI) / F-16 ( F-16 VISTA ), программу во Франции для самолетов Mirage и другие программы в Великобритании, посвященные различным авиационных платформ. В этих программах распознаватели речи успешно используются в истребителях, включая настройку радиочастот, управление системой автопилота, установку координат точки управления и параметров выпуска оружия, а также управление отображением полета.

Работая со шведскими пилотами, летавшими в кабине JAS-39 Gripen, Энглунд (2004) обнаружил, что распознавание ухудшается с увеличением перегрузок . В отчете также сделан вывод, что адаптация значительно улучшила результаты во всех случаях и что внедрение моделей дыхания значительно улучшило показатели распознавания. Вопреки ожиданиям, никаких последствий ломаного английского говорящих обнаружено не было. Было очевидно, что спонтанная речь, как и следовало ожидать, вызывала проблемы у узнавающего. Таким образом, можно ожидать, что ограниченный словарь и, прежде всего, правильный синтаксис существенно улучшат точность распознавания.

Eurofighter Typhoon , в настоящее время стоящий на вооружении ВВС Великобритании , использует систему, зависящую от динамика, требующую от каждого пилота создания шаблона. Система не используется для каких-либо задач, важных для безопасности или вооружения, таких как выпуск оружия или опускание шасси, но используется для широкого спектра других функций кабины. Голосовые команды подтверждаются визуальным и/или слуховым откликом. Система рассматривается как основная конструктивная особенность, позволяющая снизить рабочую нагрузку пилотов . и даже позволяет пилоту назначать цели своему самолету с помощью двух простых голосовых команд или любому из своих ведомых с помощью всего пяти команд.

Независимые от динамиков системы также разрабатываются и проходят испытания для F35 Lightning II (JSF) и Alenia Aermacchi M-346 Master учебного истребителя . Эти системы показали точность слов, превышающую 98%.

Вертолеты

Проблемы достижения высокой точности распознавания в условиях стресса и шума особенно актуальны как для вертолетов , так и для реактивных истребителей. Проблема акустического шума на самом деле более серьезна в среде вертолета не только из-за высокого уровня шума, но и потому, что пилот вертолета, как правило, не носит лицевую маску , которая снизила бы акустический шум в микрофоне . За последнее десятилетие были проведены обширные программы испытаний и оценки приложений систем распознавания речи на вертолетах, в частности, Отделом исследований и разработок авионики армии США (AVRADA) и Королевским аэрокосмическим институтом ( RAE ) в Великобритании. Работа во Франции включала распознавание речи на вертолете Puma . также было проделано много полезной работы В Канаде . Результаты были обнадеживающими: голосовые приложения включали в себя: управление радиосвязью, настройку навигационных систем и управление автоматизированной системой передачи цели.

Как и в случае с истребителями, основной проблемой голосовой связи в вертолетах является ее влияние на эффективность пилотирования. Сообщается об обнадеживающих результатах испытаний AVRADA, хотя они представляют собой лишь демонстрацию осуществимости в тестовой среде. Еще многое предстоит сделать как в распознавании речи, так и в технологии речи в целом , чтобы последовательно добиваться повышения производительности в операционных условиях.

Обучение авиадиспетчеров

Обучение диспетчеров воздушного движения (УВД) представляет собой отличное применение систем распознавания речи. Многие системы обучения УВД в настоящее время требуют, чтобы человек действовал в качестве «псевдопилота», участвуя в голосовом диалоге с диспетчером-стажером, который имитирует диалог, который диспетчеру пришлось бы вести с пилотами в реальной ситуации УВД. речи Методы распознавания и синтеза потенциально могут исключить необходимость выполнения человеком функций псевдопилота, тем самым сокращая объем обучения и вспомогательного персонала. Теоретически задачи воздушного контроллера также характеризуются высокоструктурированной речью в качестве основного вывода контроллера, следовательно, должно быть возможно снижение сложности задачи распознавания речи. На практике это случается редко. В документе FAA 7110.65 подробно описаны фразы, которые должны использовать авиадиспетчеры. Хотя в этом документе приведено менее 150 примеров таких фраз, количество фраз, поддерживаемых системами распознавания речи одного из поставщиков симуляторов, превышает 500 000.

ВВС США, морская пехота США, армия США, ВМС США и ФАУ, а также ряд международных учебных организаций по УВД, таких как Королевские ВВС Австралии и органы гражданской авиации в Италии, Бразилии и Канаде, в настоящее время используют симуляторы УВД с распознаванием речи от множество разных продавцов.

Телефония и другие домены

ASR в настоящее время является обычным явлением в области телефонии и становится все более распространенным в области компьютерных игр и моделирования. В системах телефонии ASR сейчас преимущественно используется в контакт-центрах путем интеграции с системами IVR . Несмотря на высокий уровень интеграции с текстовой обработкой в ​​обычных персональных компьютерах, в области производства документов ASR не наблюдается ожидаемого роста использования.

Повышение скорости мобильных процессоров сделало распознавание речи практичным в смартфонах . Речь используется в основном как часть пользовательского интерфейса для создания предопределенных или пользовательских речевых команд.

Люди с ограниченными возможностями

Люди с ограниченными возможностями могут воспользоваться программами распознавания речи. Для глухих или слабослышащих людей программное обеспечение распознавания речи используется для автоматического создания субтитров разговоров, таких как дискуссии в конференц-залах, классные лекции и/или религиозные службы.

Учащиеся, которые слепы (см. « Слепота и образование ») или имеют очень слабое зрение, могут получить пользу от использования этой технологии для передачи слов, а затем услышать, как компьютер их произносит, а также использовать компьютер, командуя голосом, вместо того, чтобы смотреть на экран и клавиатура.

Учащиеся с ограниченными физическими возможностями, получившие травму от повторяющегося напряжения или другие травмы верхних конечностей, могут быть освобождены от необходимости беспокоиться о почерке, наборе текста или работе с писцом над школьными заданиями, используя программы преобразования речи в текст. Они также могут использовать технологию распознавания речи, чтобы наслаждаться поиском в Интернете или использованием компьютера дома без необходимости физически управлять мышью и клавиатурой.

Распознавание речи может позволить учащимся с ограниченными возможностями обучения лучше писать. Произнося слова вслух, они могут повысить плавность письма и избавить их от проблем, связанных с орфографией, пунктуацией и другими механизмами письма. Также см. Неспособность к обучению .

Использование программного обеспечения для распознавания голоса в сочетании с цифровым диктофоном и персональным компьютером с программным обеспечением для обработки текста оказалось положительным для восстановления поврежденной емкости кратковременной памяти у людей, перенесших инсульт или трепанацию черепа.

Распознавание речи также очень полезно для людей, испытывающих трудности с использованием рук: от легких травм, вызванных повторяющимся стрессом, до инвалидности, не позволяющей использовать обычные компьютерные устройства ввода. Фактически, люди, которые много использовали клавиатуру и разработали RSI, стали востребованным ранним рынком для распознавания речи. Распознавание речи используется в для глухих телефонии , например, голосовая почта в текст, услуги ретрансляции и телефон с субтитрами . Лица с ограниченными возможностями обучения, у которых есть проблемы с коммуникацией мысли на бумаге (по сути, они думают об идее, но она обрабатывается неправильно, в результате чего на бумаге она оказывается по-другому), возможно, могут получить пользу от программного обеспечения, но технология не защищена от ошибок. Кроме того, сама идея говорить с текстом может быть трудной для человека с ограниченными интеллектуальными возможностями из-за того, что редко кто-либо пытается изучить технологию обучения человека с ограниченными возможностями.

Этот тип технологии может помочь людям с дислексией, но другие виды инвалидности все еще под вопросом. Эффективность продукта – это проблема, которая мешает ему быть эффективным. Хотя ребенок может произнести слово в зависимости от того, насколько четко он его произнес, технология может подумать, что он говорит другое слово, и ввести неправильное. Им приходится тратить больше времени на исправление неправильного слова.

Дальнейшие применения

• Аэрокосмическая отрасль (например , исследование космоса , космические корабли НАСА и т. д.) Марсианский полярный посадочный модуль использовал технологию распознавания речи от Sensory, Inc. в марсианском микрофоне на посадочном модуле.
• Автоматические субтитры с распознаванием речи
• Автоматическое распознавание эмоций
• Автоматический список кадров в аудиовизуальном производстве
• Автоматический перевод
• eDiscovery (Юридическое раскрытие)
• Компьютерные вычисления без помощи рук : пользовательский интерфейс компьютера с распознаванием речи
• Домашняя автоматизация
• Интерактивный голосовой ответ
• Мобильная телефония , включая мобильную электронную почту
• Мультимодальное взаимодействие
• в реальном времени Субтитры
• Робототехника
• Безопасность, включая использование с другими биометрическими сканерами для многофакторной аутентификации.
• Речь в текст (транскрипция речи в текст, субтитры к видео в реальном времени , судебные протоколы)
• Телематика (например, навигационные системы транспортных средств)
• Транскрипция (цифровое преобразование речи в текст)
• Видеоигры , Tom Clancy's EndWar и Lifeline. рабочие примеры —
• Виртуальный помощник (например, Siri от Apple )

Производительность

Производительность систем распознавания речи обычно оценивают с точки зрения точности и скорости. Точность обычно оценивается коэффициентом ошибок в словах (WER), тогда как скорость измеряется коэффициентом реального времени . Другие меры точности включают коэффициент ошибок в одном слове (SWER) и коэффициент успешности команд (CSR).

Однако машинное распознавание речи — очень сложная проблема. Вокализации различаются по акценту, произношению, артикуляции, шероховатости, назальности, высоте, громкости и скорости. Речь искажается фоновым шумом и эхом, электрическими характеристиками. Точность распознавания речи может варьироваться в зависимости от следующих факторов:

• Размер словарного запаса и его путаница
• Зависимость говорящего против независимости
• Изолированная, прерывистая или непрерывная речь
• Ограничения по задачам и языку
• Чтение против спонтанной речи
• Неблагоприятные условия

Точность

Как упоминалось ранее в этой статье, точность распознавания речи может варьироваться в зависимости от следующих факторов:

• Частота ошибок увеличивается по мере увеличения размера словаря:

например, 10 цифр от «ноля» до «девяти» могут распознаваться практически идеально, но размеры словаря 200, 5000 или 100 000 могут иметь частоту ошибок 3%, 7% или 45% соответственно.

• Словарный запас трудно распознать, если он содержит запутанные буквы:

например, 26 букв английского алфавита трудно различить, потому что они путают слова (наиболее известный набор E: «B, C, D, E, G, P, T, V, Z — когда «Z» произносится как «зи», а не «зед» в зависимости от английского региона); уровень ошибок в 8% считается хорошим для этого словаря.

• Зависимость от говорящего против независимости:

Динамико-зависимая система предназначена для использования одним динамиком.

Динамико-независимая система предназначена для использования любым динамиком (более сложно).

• Изолированная, прерывистая или непрерывная речь

При изолированной речи используются отдельные слова, поэтому распознавать речь становится легче.

При прерывистой речи используются полные предложения, разделенные молчанием, поэтому распознавать речь становится легче, как и при изолированной речи.
При слитной речи используются естественно произнесенные предложения, поэтому становится труднее распознавать речь, отличающуюся как от изолированной, так и от прерывистой речи.

• Ограничения по задачам и языку
  • например, запрашивающее приложение может отклонить гипотезу «Яблоко красное».
  • например, ограничения могут быть семантическими; отвергая «Яблоко сердится».
  • например Синтаксический; отвергая «Красное яблоко».

Ограничения часто представляются грамматикой.

• Чтение против спонтанной речи. Когда человек читает, он обычно читает в заранее подготовленном контексте, но когда человек использует спонтанную речь, ему трудно распознать речь из-за нарушений плавности речи (например, «э-э» и «м-м»). фальстарты, неполные предложения, заикание, кашель и смех) и ограниченный словарный запас.
• Неблагоприятные условия – Шум окружающей среды (например, шум в автомобиле или на заводе). Акустические искажения (например, эхо, акустика помещения)

Распознавание речи — это многоуровневая задача распознавания образов.

• Акустические сигналы структурированы в иерархию единиц, например , фонемы , слова, фразы и предложения;
• Каждый уровень предоставляет дополнительные ограничения;

например, известное произношение слов или допустимые последовательности слов, которые могут компенсировать ошибки или неточности на более низком уровне;

• Эта иерархия ограничений используется. Благодаря вероятностному объединению решений на всех нижних уровнях и принятию более детерминированных решений только на самом высоком уровне, машинное распознавание речи представляет собой процесс, разбитый на несколько этапов. С вычислительной точки зрения это проблема, в которой звуковой образец необходимо распознать или классифицировать в категорию, которая представляет значение для человека. Каждый акустический сигнал можно разбить на более мелкие, более базовые подсигналы. Поскольку более сложный звуковой сигнал разбивается на более мелкие подзвуки, создаются разные уровни, где на верхнем уровне мы имеем сложные звуки, которые состоят из более простых звуков на нижнем уровне и переходят на более низкие уровни, еще больше, мы создаем более простые, короткие и простые звуки. На самом низком уровне, где звуки являются наиболее фундаментальными, машина будет проверять простые и более вероятностные правила того, что должен представлять звук. Как только эти звуки объединятся в более сложные звуки на верхнем уровне, новый набор более детерминированных правил должен предсказать, что должен представлять собой новый сложный звук. Самый верхний уровень детерминированного правила должен определять значение сложных выражений. Чтобы расширить наши знания о распознавании речи, нам необходимо принять во внимание нейронные сети. Существует четыре этапа подхода нейронной сети:
• Оцифруйте речь, которую мы хотим распознать

Для телефонной речи частота дискретизации составляет 8000 выборок в секунду;

• Вычислить характеристики спектральной области речи (с преобразованием Фурье);

вычисляется каждые 10 мс, с одним участком длительностью 10 мс, называемым кадром;

Анализ подходов четырехшаговых нейронных сетей можно объяснить с помощью дополнительной информации. Звук создается вибрацией воздуха (или какой-либо другой среды), которую мы регистрируем ушами, а машины — приемниками. Основной звук создает волну, которая имеет два описания: амплитуда (насколько она сильна) и частота (как часто она вибрирует в секунду). Точность можно вычислить с помощью коэффициента ошибок в словах (WER). Коэффициент ошибок в словах можно рассчитать путем выравнивания распознанного слова и слова, на которое указывает ссылка, с использованием динамического выравнивания строк. Проблема может возникнуть при вычислении частоты ошибок в словах из-за разницы между длинами последовательностей распознанного слова и слова, на которое ссылаются.

Формула для расчета коэффициента ошибок в словах (WER):

$WER={(s+d+i) \over n}$

где s — количество замен, d — количество удалений, i — количество вставок, а n — количество ссылок на слова.

При вычислениях используется скорость распознавания слов (WRR). Формула:

$WRR=1-WER={(n-s-d-i) \over n}={h-i \over n}$

где h — количество правильно распознанных слов:

$h=n-(s+d).$

Проблемы безопасности

Распознавание речи может стать средством атаки, кражи или случайного срабатывания. Например, слова активации, такие как «Alexa», произнесенные в аудио- или видеотрансляции, могут привести к тому, что устройства в домах и офисах начнут ненадлежащим образом прослушивать входные данные или, возможно, предпримут нежелательные действия. Устройства с голосовым управлением также доступны посетителям здания или даже тем, кто находится за пределами здания, если их можно услышать внутри. Злоумышленники могут получить доступ к личной информации, такой как календарь, содержимое адресной книги, личные сообщения и документы. Они также могут выдавать себя за пользователя, чтобы отправлять сообщения или совершать онлайн-покупки.

Были продемонстрированы две атаки с использованием искусственных звуков. Один передает ультразвук и пытается отправить команды незаметно для окружающих. Другой добавляет небольшие неслышимые искажения к другой речи или музыке, которые специально созданы для того, чтобы сбить с толку конкретную систему распознавания речи и заставить ее распознавать музыку как речь, или чтобы то, что для человека звучит как одна команда, звучало как другая команда для системы.

Дополнительная информация

Конференции и журналы

Популярные конференции по распознаванию речи, проводимые каждый год или два, включают SpeechTEK и SpeechTEK Europe, ICASSP , Interspeech /Eurospeech и IEEE ASRU. Конференции в области обработки естественного языка , такие как ACL , NAACL , EMNLP и HLT, начинают включать статьи по обработке речи . Важные журналы включают IEEE Transactions on Speech and Language Processing (позже переименованный в IEEE Transactions on Audio, Speech and Language Processing, а с сентября 2014 года переименованный в IEEE /ACM Transactions on Audio, Speech and Language Processing — после слияния с публикацией ACM), Computer Speech. и язык, и речевое общение.

Книги

Такие книги, как «Основы распознавания речи» Лоуренса Рабинера, могут быть полезны для приобретения базовых знаний, но могут быть не совсем современными (1993). Еще одним хорошим источником могут быть «Статистические методы распознавания речи» Фредерика Елинека и «Обработка разговорной речи (2001)» Сюэдуна Хуанга и др., «Компьютерная речь» Манфреда Р. Шредера , второе издание, опубликованное в 2004 году, и «Речь». Обработка: динамический и ориентированный на оптимизацию подход», опубликованный в 2003 году Ли Дэном и Дугом О'Шонесси. В обновленном учебнике «Обработка речи и языка» (2008 г.) Юрафски и Мартина представлены основы и современное состояние ASR. Распознавание говорящего также использует те же функции, большую часть той же внешней обработки и методов классификации, что и при распознавании речи. Комплексный учебник «Основы распознавания говорящих» представляет собой подробный источник актуальной информации о теории и практике. Хорошее представление о методах, используемых в лучших современных системах, можно получить, обратив внимание на спонсируемые правительством оценки, например, организованные DARPA (крупнейшим проектом, связанным с распознаванием речи, продолжающимся по состоянию на 2007 год, является проект GALE, который включает в себя как распознавание речи, так и и компоненты перевода).

Хорошее и доступное введение в технологию распознавания речи и ее историю дает книга Роберто Пьераччини для широкой аудитории «Голос в машине. Создание компьютеров, которые понимают речь» (2012).

Самая последняя книга по распознаванию речи — «Автоматическое распознавание речи: подход к глубокому обучению» (издатель: Springer), написанная исследователями Microsoft Д. Ю и Л. Денгом и опубликованная в конце 2014 года, с математически ориентированными техническими подробностями о том, как глубокое обучение методы выводятся и реализуются в современных системах распознавания речи на основе DNN и связанных с ними методов глубокого обучения. Соответствующая книга Л. Денга и Д. Ю «Глубокое обучение: методы и приложения», опубликованная ранее в 2014 году, представляет собой менее технический, но более методологически ориентированный обзор распознавания речи на основе DNN в 2009–2014 годах, помещенный в более общий контекст приложений глубокого обучения, включая не только распознавание речи, но и распознавание изображений, обработку естественного языка, поиск информации, мультимодальную обработку и многозадачное обучение.

Программное обеспечение

Что касается свободно доступных ресурсов, Карнеги-Меллона Университета набор инструментов Sphinx — это то место, где можно начать как изучать распознавание речи, так и начать экспериментировать. Еще один ресурс (бесплатный, но защищенный авторским правом) — это книга HTK (и прилагаемый к ней набор инструментов HTK). Для более современных и современных методов Kaldi . можно использовать набор инструментов В 2017 году Mozilla запустила проект с открытым исходным кодом под названием Common Voice. собрать большую базу данных голосов, которая поможет создать бесплатный проект распознавания речи DeepSpeech (доступен бесплатно на GitHub ), с использованием платформы Google с открытым исходным кодом TensorFlow . Когда Mozilla перенаправила финансирование из проекта в 2020 году, первоначальные разработчики создали его форк как Coqui STT. используя ту же лицензию с открытым исходным кодом.

Google Gboard поддерживает распознавание речи во всех Android приложениях . Его можно активировать через микрофона значок .

Коммерческие облачные API-интерфейсы распознавания речи широко доступны.

Дополнительные ресурсы по программному обеспечению см. в разделе Список программного обеспечения для распознавания речи .

См. также

• AI-эффект
• АЛЬПАК
• Приложения искусственного интеллекта
• Распознавание артикуляционной речи
• Аудио майнинг
• Аудиовизуальное распознавание речи
• Автоматический языковой переводчик
• Автомобильное головное устройство
• Брэйна
• Модель языка кэша
• Дракон ЕстественноГоворящий
• Свободная голосовая технология
• Голосовой поиск Google
• IBM черезVoice
• Определение ключевых слов
• Кинект
• Монграден
• Поиск мультимедийной информации
• Происхождение речи
• Технология фонетического поиска
• Диаризация спикеров
• Распознавание говорящего
• Речевая аналитика
• Рекомендации по речевому интерфейсу
• Программное обеспечение для распознавания речи для Linux
• Синтез речи
• Проверка речи
• Субтитры (субтитры)
• ГолосXML
• VoxForge
• Распознавание речи Windows

Списки

• Список программного обеспечения для распознавания речи
• Список новых технологий
• Очерк искусственного интеллекта
• Хронология распознавания речи и голоса

Дальнейшее чтение

• Коул, Рональд; Мариани, Джозеф ; Ушкорейт, Ганс; Вариле, Джованни Баттиста; Заенен, Энни; Замполли; Зуэ, Виктор, ред. (1997). Обзор современного состояния технологий человеческого языка . Кембриджские исследования по обработке естественного языка. Том. XII–XIII. Издательство Кембриджского университета. ISBN  978-0-521-59277-2 .
• Жункуа, Ж.-К.; Хатон, Ж.-П. (1995). Надежность автоматического распознавания речи: основы и приложения . Академическое издательство Клювер. ISBN  978-0-7923-9646-8 .
• Карат, Клэр-Мари; Верго, Джон; Нахаму, Дэвид (2007). «Технологии диалогового интерфейса». В Сирс, Эндрю ; Джако, Джули А. (ред.). Справочник по взаимодействию человека и компьютера: основы, развивающиеся технологии и новые приложения (человеческий фактор и эргономика) . Лоуренса Эрлбаума Associates Inc. ISBN  978-0-8058-5870-9 .
• Пьераччини, Роберто (2012). Голос в машине. Создание компьютеров, понимающих речь . Массачусетский технологический институт Пресс. ISBN  978-0262016858 .
• Пирани, Джанкарло, изд. (2013). Передовые алгоритмы и архитектуры для понимания речи . Springer Science & Business Media. ISBN  978-3-642-84341-9 .
• Signer, Beat and Hoste, Lode: SpeeG2: интерфейс на основе речи и жестов для эффективного ввода текста без контроллера , в материалах ICMI 2013, 15-я Международная конференция по мультимодальному взаимодействию, Сидней, Австралия, декабрь 2013 г.
• Вельфель, Матиас; Макдонаф, Джон (26 мая 2009 г.). Распознавание речи на расстоянии . Уайли. ISBN  978-0470517048 .

Внешние ссылки

• Речевые технологии в Curlie