Распознавание речи

Для человеческой лингвистической концепции см. Восприятие речи .

Распознавание речи является междисциплинарным подполом компьютерной науки и вычислительной лингвистики , которая разрабатывает методологии и технологии, которые позволяют распознавать и переводить разговорного языка в текст компьютерами. Он также известен как автоматическое распознавание речи ( ASR ), распознавание речи компьютера или речь в тексте ( STT ). Он включает в себя знания и исследования в области компьютерных наук , лингвистики и компьютерной инженерии . Обратный процесс - это синтез речи .

Некоторые системы распознавания речи требуют «обучения» (также называемого «зачислением»), где отдельный динамик считывает текст или изолированный словарь в систему. Система анализирует конкретный голос человека и использует его для точной настройки признания речи этого человека, что приводит к повышению точности. Системы, которые не используют обучение, называются «независимыми от динамика» система Системы, которые используют обучение, называются «зависимыми от динамика».

Приложения для распознавания речи включают интерфейсы голосового пользователя , такие как голосовой набор (например, «Call Home»), маршрутизацию вызова (например, «Я хотел бы сделать вызов сбора»), управление домотическим устройством, ключевые слова поиска (например, найдите подкаст, где конкретные слова слова были сказаны), простой ввод данных (например, ввод номер кредитной карты), подготовка структурированных документов (например, радиологический отчет), определение характеристик оратора, Обработка речи к тексту (например, текстовые процессоры или электронные письма ) и самолет (обычно называемый прямой голосовой ввод ). Автоматическая оценка произношения используется в образовании, например, для изучения разговорного языка.

Термин распознание голоса или идентификация динамика относится к определению спикера, а не то, что они говорят. Признание говорящего может упростить задачу перевода речи в системах, которые были обучены голосу конкретного человека, или его можно использовать для аутентификации или проверки идентификации говорящего в рамках процесса безопасности.

С технологической точки зрения, распознавание речи имеет долгую историю с несколькими волнами крупных инноваций. Совсем недавно эта область выиграла от достижений в глубоком обучении и больших данных . Достижения свидетельствуют не только всплеск академических работ, опубликованных в этой области, но, что более важно, мировой отрасли внедрением различных методов глубокого обучения в разработке и развертывании систем распознавания речи.

История

Ключевыми областями роста были: размер словарного запаса, независимость динамика и скорость обработки.

До 1970 года

• 1952 - Три исследователи Bell Labs, Стивен Балашек, Р. Биддульф и К.Х. Дэвис построили систему под названием «Одри» Для распознавания цифр с одним ди-ди-ди-дивизией. Их система обнаружила формантов в спектре мощности каждого высказывания.
• 1960 - Гуннар Фэнте разработал и опубликовал модель производства речи исходного фильтра .
• 1962 - IBM продемонстрировала возможность распознавания речи на 16 сложном «обувном ярмарке» на мировой ярмарке 1962 года .
• 1966 - Линейное прогнозирующее кодирование (LPC), метод речевого кодирования , впервые был предложен Fumitada Itakura из Университета Нагоя и Шузо Сайто из Nippon Telegraph и телефона (NTT), работая над распознаванием речи.
• 1969 - Финансирование в Bell Labs высушило в течение нескольких лет, когда в 1969 году влиятельный Джон Пирс написал открытое письмо, которое критиковало и оправдано исследования по распознаванию речи. Это защищение длилось до тех пор, пока Пирс не ушел в отставку, и Джеймс Л. Фланаган вступил во владение.

Радж Редди принял постоянное признание речи в качестве аспиранта в Стэнфордском университете был первым человеком, который в конце 1960 -х годов . Предыдущие системы требовали, чтобы пользователи сделали паузу после каждого слова. Система Редди выпустила разговорные команды для игры в шахматы .

Примерно в это же время советские исследователи изобрели алгоритм динамического искажения времени (DTW) и использовали его для создания распознавателя, способного работать на словарном запасе 200 слов. DTW обрабатывала речь, разделяя его на короткие рамки, например, 10 мс и обрабатывая каждый кадр как единый блок. Хотя DTW будет заменен более поздними алгоритмами, техника продолжалась. Достижение независимости спикера оставалось нерешенной в этот период времени.

1970–1990

• 1971 - DARPA финансировала пять лет за исследование по пониманию речи , исследования распознавания речи, в поисках минимального словаря 1000 слов. Они думали, речи что понимание будет ключом к достижению прогресса в распознавании речи , но это позже оказалось неправным. BBN , IBM , Carnegie Mellon и Stanford Research Institute приняли участие в программе. Это возрожденное исследование по признанию речи после письма Джона Пирса.

• 1972 - Группа Acoustics, IEEE, речи и обработки сигналов провела конференцию в Ньютоне, штат Массачусетс.
• 1976 - Первый ICASSP был проведен в Филадельфии , которая с тех пор стала главным местом публикации исследований по распознаванию речи.

В конце 1960 -х годов Леонард Баум разработал математику цепочек Маркова в Институте защиты . Десять лет спустя, в CMU, ученики Радж Редди Джеймс Бейкер и Джанет М. Бейкер начали использовать скрытую модель Маркова (HMM) для распознавания речи. Джеймс Бейкер узнал о HMM с летней работы в анализе Института обороны во время обучения в бакалавриате. Использование HMMS позволило исследователям объединить различные источники знаний, такие как акустика, язык и синтаксис, в единой вероятностной модели.

• К середине 1980-х годов команда IBM Fred Jelinek создала пишущую машинку Activerated Active Calling Tangora, которая может справиться с словарным запасом в 20 000 слов. Статистический подход Jelinek уделяется меньше акцента на подражании тому, как человеческий мозг обрабатывает и понимает речь в пользу использования методов статистического моделирования, таких как HMMS. (Группа Jelinek независимо обнаружила применение HMM к речи. ) Это было спорно с лингвистами, поскольку HMM слишком упрощены, чтобы объяснить многие общие черты человеческих языков. Тем не менее, HMM оказался очень полезным способом для моделирования речи и заменил динамическое время, чтобы стать доминирующим алгоритмом распознавания речи в 1980 -х годах.

• 1982 - Dragon Systems, основанная Джеймсом и Джанет М. Бейкер , был одним из немногих конкурентов IBM.

Практическое признание речи

1980-е годы также увидели модель языка N-грамма .

• 1987 - модель отступления позволила языковым моделям использовать несколько N-граммов и CSELT использовал HMM для распознавания языков (как в программном обеспечении, так и в специализированных процессорах оборудования, например, RIPAC ).

Большая часть прогресса в этой области должна быть быстро растущей способности компьютеров. В конце программы DARPA в 1976 году лучшим компьютером, доступным для исследователей, был PDP-10 с 4 МБ оперативной памяти. Это может занять до 100 минут, чтобы расшифровать всего 30 секунд речи.

Два практических продукта были:

• 1984 - был выпущен абрикосовый портативный с поддержкой до 4096 слов, из которых только 64 может проводиться в оперативной памяти за раз.
• 1987 - признание из Kurzweil Applied Intelligence
• 1990 - Dragon Dictate, потребительский продукт, выпущенный в 1990 году В 1992 году AT & T развернула службу обработки вызовов голоса в 1992 году для маршрутизации телефонных звонков без использования оператора человека. Технология была разработана Лоуренсом Рабинером и другими в Bell Labs.

К этому моменту словарный запас типичной коммерческой системы распознавания речи был больше, чем обычный человеческий словарный запас. Бывший студент Радж Редди, Xuedong Huang , разработал систему Sphinx-II в CMU. Система Sphinx-II была первой, кто сделал независимый от говорящего, большой словарный запас, непрерывное распознавание речи, и она имела наилучшее выступление в оценке DARPA 1992 года. Обработка непрерывной речи с большим словарным запасом стала важной вехой в истории распознавания речи. Далее Хуан в 1993 году основал группу распознавания речи в Microsoft. Студент Радж Редди Кай-Фу Ли присоединился к Apple, где в 1992 году он помог разработать прототип речевого интерфейса для компьютера Apple, известного как Casper.

Lernout & Hauspie , базирующаяся в Бельгии, компания по признанию речи, приобрела несколько других компаний, в том числе Kurzweil Applied Intelligence в 1997 году и Dragon Systems в 2000 году. Речевая технология L & H была использована в операционной системе Windows XP . L & H был лидером отрасли, пока в 2001 году скандал с бухгалтерским учетом не положил конец компании. Речевые технологии L & H были куплены Scansoft, которая стала нюансом в 2005 году. Первоначально Apple лицензировала программное обеспечение от Nuance, чтобы обеспечить возможности распознавания речи для своего цифрового помощника Siri .

2000 -е годы

В 2000-х годах DARPA спонсировала две программы распознавания речи: эффективная доступная многоразовая речь в тексте (уши) в 2002 году и глобальная эксплуатация автономного языка (Gale). Четыре команды приняли участие в программе ушей: IBM , команда, возглавляемая BBN с Limsi и Univ. Питтсбург , Кембриджский университет и команда, состоящая из ICSI , SRI и Университета Вашингтона . Уши финансировали коллекцию телефонного речевого корпуса с коммутатором , содержащим 260 часов записанных разговоров из более чем 500 динамиков. Программа Гейла была сосредоточена на арабском и мандаринском вещательном речи. . Первые усилия Google по распознаванию речи пришли в 2007 году после найма некоторых исследователей из Nuance Первым продуктом был GOOG-411 , телефонная служба каталогов. Записи GOOG-411 создали ценные данные, которые помогли Google улучшить их системы распознавания. Google Voice Search теперь поддерживается на более чем 30 языках.

В Соединенных Штатах Агентство национальной безопасности использовало тип признания речи для определения ключевых слов как минимум 2006 года. Эта технология позволяет аналитикам искать большие объемы записанных разговоров и изолят упоминаний о ключевых словах. Записи могут быть проиндексированы, и аналитики могут запускать запросы по базе данных, чтобы найти интересующие разговоры. Некоторые государственные исследовательские программы были сосредоточены на разведывании применения признания речи, программы EG DARPA's Ears и IARPA Babel программы .

В начале 2000 -х годов в распознавании речи все еще преобладали традиционные подходы, такие как скрытые модели Маркова в сочетании с искусственными нейронными сетями . Однако сегодня многие аспекты распознавания речи были приняты с помощью глубокого метода обучения, называемого длинной кратковременной памятью (LSTM), повторяющейся нейронной сетью, опубликованной Sepp Hochreiter & Jürgen Schmidhuber в 1997 году. LSTM RNN избегают проблемы с градиентом исчезновения и могут изучать задачи «очень глубокое обучение» Это требуют воспоминаний о событиях, которые произошли тысячи дискретных времен, что важно для речи. Примерно в 2007 году LSTM обучен временной классификацией коннекционистской коннекционистской сети (CTC) начал превосходить традиционное распознавание речи в определенных приложениях. В 2015 году, как сообщается, в Google по распознаванию речи оказалось драматическим прыжком на 49% через LSTM, обученный CTC, который теперь доступен через Google Voice для всех пользователей смартфонов. Трансформеры , тип нейронной сети, основанной исключительно на «внимании», широко использовались в компьютерном видении и языковое моделирование, вызвать интерес к адаптации таких моделей к новым областям, включая распознавание речи. В некоторых недавних работах сообщалось о превосходных уровнях производительности с использованием трансформаторных моделей для распознавания речи, но эти модели обычно требуют крупномасштабных наборов учебных данных для достижения высоких уровней производительности.

Использование глубоководных (необычных) сетей для акустического моделирования было введено в более позднюю часть 2009 года Джеффри Хинтоном и его учениками в Университете Торонто и Ли Денгом и коллеги из Microsoft Research, первоначально в совместной работе между Microsoft и Университетом Торонто, которая впоследствии была расширена, чтобы включить IBM и Google (следовательно, «общие взгляды четырех исследовательских групп» подзаголовок в их обзоре 2012 года). Исследователь Microsoft Research назвал эту инновацию «самым драматичным изменением в точности с 1979 года». В отличие от устойчивых постепенных улучшений последних нескольких десятилетий, применение глубокого обучения снизило частоту ошибок слова на 30%. Это инновация была быстро принята по всей области. Исследователи также начали использовать методы глубокого обучения для языкового моделирования.

В долгой истории признания речи как мелкой формы, так и глубокой формы (например, рецидивирующих сети) искусственных нейронных сетей были изучены в течение многих лет в течение 1980 -х, 1990 -х и в течение нескольких лет до 2000 -х годов. Но эти методы никогда не выигрывали из-за неравномерной технологии гауссовой модели смеси / скрытой модели Markov Model (GMM-HMM), основанной на генеративных моделях обученного речи дискриминационно. Ряд ключевых трудностей был методологически проанализирован в 1990 -х годах, включая убывание градиента и слабая временная корреляционная структура в нейронных моделях прогнозирования. Все эти трудности были в дополнение к отсутствию больших учебных данных и большой вычислительной мощности в эти первые дни. Большинство исследователей по признанию речи, которые понимали такие барьеры, следовательно, впоследствии отошли от нейронных сетей, чтобы использовать подходы к генеративному моделированию до недавнего возрождения глубокого обучения, начиная с 2009–2010 годов, которые преодолели все эти трудности. Hinton et al. и Deng et al. Просматривал часть этой недавней истории о том, как их сотрудничество друг с другом, а затем с коллегами по четырем группам (Университет Торонто, Microsoft, Google и IBM) зажгли эпохи Возрождения приложений глубоководных нейронных сетей для распознавания речи.

2010 -е

К началу распознавания речи , также называемого признанием голоса был четко дифференцирован от признания спикеров , а независимость спикера считалась серьезным прорывом. До тех пор системы требовал «тренировочного» периода. Должность 1987 года для куклы носила слоган «Наконец -то, кукла, которая вас понимает». - Несмотря на то, что это было описано как «с которым дети могли тренироваться, чтобы ответить на свой голос».

В 2017 году исследователи Microsoft достигли исторического человеческого паритета, связанной с транскрибированием разговорной телефона по широко сравниваемой задаче коммутатора. Многочисленные модели глубокого обучения использовались для оптимизации точности распознавания речи. Сообщалось, что уровень ошибок в распознавании речи составляет всего лишь 4 профессиональных человеческих транскриберов, работающих вместе на том же этапе, который финансировался речевой командой IBM Watson по одной и той же задаче.

Модели, методы и алгоритмы

Как акустическое моделирование , так и языковое моделирование являются важными частями современных статистически основанных алгоритмов распознавания речи. Скрытые модели Маркова (HMMS) широко используются во многих системах. Языковое моделирование также используется во многих других приложениях по обработке естественного языка, таких как классификация документов или статистический машинный перевод .

Скрытые модели Маркова

Основная статья: Скрытая модель Маркова

Современные системы распознавания речи общего назначения основаны на скрытых моделях Маркова. Это статистические модели, которые выводят последовательность символов или величин. HMM используются при распознавании речи, потому что речевой сигнал можно рассматривать как кусочный стационарный сигнал или короткий стационарный сигнал. За короткие временной шкалы (например, 10 миллисекунд) речь может быть аппроксимирована в качестве стационарного процесса . Речь можно рассматривать как модель Маркова для многих стохастических целей.

Другая причина, по которой HMM популярны, заключается в том, что их можно обучать автоматически и просты и вычисляются в вычислительном отношении для использования. При распознавании речи, скрытая модель Маркова выведет последовательность n -мерных реальных векторов (с n , представляющим небольшое целое число, например, 10), выводя одну из них каждые 10 миллисекунд. Векторы будут состоять из коэффициентов Cepstral , которые получают путем преобразования Фурье из короткого времени речи и декореляции спектра с использованием косинусного преобразования , а затем принять первые (наиболее значимые) коэффициенты. Скрытая модель Маркова будет иметь тенденцию иметь в каждом состоянии статистическое распределение, которое представляет собой смесь диагональной ковариации гауссов, которая даст вероятность каждого наблюдаемого вектора. Каждое слово, или (для более общих систем распознавания речи), каждая фонема будет иметь различное распределение выводов; Скрытая модель Маркова для последовательности слов или фонем создается путем объединения отдельных подготовленных скрытых моделей Маркова для отдельных слов и фонем.

Описаны выше основные элементы наиболее распространенного подхода на основе HMM к распознаванию речи. Современные системы распознавания речи используют различные комбинации ряда стандартных методов, чтобы улучшить результаты по сравнению с основным подходом, описанным выше. Типичная система с крупной вокабуляцией потребует контекстной зависимости для фонем (так что фонемы с различным левым и правым контекстом будут иметь разные реализации, как состоящие HMM состояния); Он использовал бы нормализацию Cepstral для нормализации для другого динамика и условий записи; Для дальнейшей нормализации динамиков он может использовать нормализацию длины голосового тракта (VTLN) для нормализации мужчин и женского и максимального правдоподобия (MLLR) для более общей адаптации ораторов. Эти особенности будут иметь так называемые коэффициенты дельта и дельта-дельты для захвата динамики речи и, кроме того, могут использовать гетероскедастический линейный дискриминант (HLDA); или может пропустить коэффициенты дельты и дельта-дельта и использовать сплайсинг и Проекция на основе LDA с последующей гетероскедастическим линейным дискриминантным анализом или глобальным полузавитанным преобразованием CO (также известным как линейное преобразование максимального правдоподобия или MLLT). Многие системы используют так называемые дискриминационные методы обучения, которые распространяются с чисто статистическим подходом к оценке параметров HMM и вместо этого оптимизируют некоторые связанные с классификацией меру учебных данных. Примерами являются максимальная взаимная информация (MMI), минимальная ошибка классификации (MCE) и минимальная ошибка телефона (MPE).

Декодирование речи (термин для того, что происходит, когда система представлена ​​с новым высказыванием и должно вычислить наиболее вероятное предложение исходного предложения), вероятно, будет использовать алгоритм Viterbi , чтобы найти лучший путь, и здесь есть выбор между динамическим созданием Комбинированная скрытая модель Маркова, которая включает в себя как акустическую информацию, так и языковую информацию и заранее объединяющую ее ( подход конечного состояния , или FST, подход).

Возможное улучшение декодирования состоит в том, чтобы сохранить набор хороших кандидатов вместо того, чтобы просто сохранить лучшего кандидата, и использовать лучшую функцию оценки ( повторное оценку ), чтобы оценить этих хороших кандидатов, чтобы мы могли выбрать лучший в соответствии с этой утонченной оценкой Полем Набор кандидатов может храниться либо в качестве списка ( подход N-лучшего списка ), либо в качестве подмножества моделей (решетчатая ) . Повторная оценка обычно выполняется, пытаясь свести к минимуму риск Байеса (или его приближение) Вместо того, чтобы принять исходное предложение с максимальной вероятностью, мы стараемся принять предложение, которое минимизирует ожидаемую функцию данной потери в отношении всех возможных транскрипций (т.е. мы принимаем предложение, которое минимизирует среднее расстояние до Другие возможные предложения, взвешенные по их предполагаемой вероятности). Функция потерь, как правило, является расстоянием Левенштейна , хотя это может быть разным расстоянием для определенных задач; Набор возможных транскрипций, конечно, обрезан для поддержания управляемости. Эффективные алгоритмы были разработаны для RE RE -баллы с решающими, представленными в качестве взвешенных датчиков конечных состояний с отредактированными расстояниями, представленными как конечный преобразователь состояния, проверяющий определенные предположения.

Динамическое деформация времени (DTW) распознавание речи на основе

Основная статья: динамическое деформация времени

Динамическое деформация времени-это подход, который исторически использовался для распознавания речи, но в настоящее время в значительной степени вытесняется более успешный подход на основе HMM.

Динамическое деформация времени является алгоритмом измерения сходства между двумя последовательностями, которые могут варьироваться со временем или скоростью. Например, сходство в схемах ходьбы было бы обнаружено, даже если в одном видео человек ходил медленно, и если в другом он или она ходили быстрее, или даже если были ускорения и замедление в течение одного наблюдения. DTW был применен к видео, аудио и графике - действительно, любые данные, которые можно превратить в линейное представление, могут быть проанализированы с помощью DTW.

Хорошо известным применением было автоматическое распознавание речи, чтобы справиться с различными скоростями разговоров. В целом, это метод, который позволяет компьютеру найти оптимальное соответствие между двумя данными последовательностями (например, временные ряды) с определенными ограничениями. То есть последовательности «деформированы» нелинейно, чтобы соответствовать друг другу. Этот метод выравнивания последовательности часто используется в контексте скрытых моделей Маркова.

Нейронные сети

Основная статья: искусственная нейронная сеть

Нейронные сети стали привлекательным подходом акустического моделирования в ASR в конце 1980 -х годов. С тех пор нейронные сети использовались во многих аспектах признания речи, таких как классификация фонем, Классификация фонем с помощью многообъективных эволюционных алгоритмов, изолированное распознавание слов, Аудиовизуальное распознавание речи , аудиовизуальное распознавание спикеров и адаптация докладчиков.

Нейронные сети делают меньше явных предположений о статистических свойствах функций, чем HMM, и имеют несколько качеств, что делает их более привлекательными моделями распознавания для распознавания речи. При использовании для оценки вероятностей сегмента речевой функции нейронные сети позволяют естественным и эффективным образом дискриминационную подготовку. Однако, несмотря на их эффективность в классификации краткосрочных единиц, таких как отдельные фонемы и изолированные слова, Ранние нейронные сети были редко успешными для задач непрерывного распознавания из -за их ограниченной способности моделировать временные зависимости.

Одним из подходов к этому ограничению было использование нейронных сетей в качестве предварительной обработки, преобразования признаков или уменьшения размерности, Шаг перед распознаванием на основе HMM. Однако в последнее время LSTM и связанные с ними повторяющиеся нейронные сети (RNNS), Нейронные сети задержки времени (TDNN), и трансформаторы продемонстрировали улучшенную производительность в этой области.

Глубокий питательный и повторяющийся нейронные сети

Основная статья: глубокое обучение

Глубокие нейронные сети и разоблачение автоэкодоров также находятся под следствием. Глубокая нейронная сеть (DNN) - это искусственная нейронная сеть с несколькими скрытыми уровнями единиц между входными и выходными слоями. Подобно мелким нейронным сетям, DNN могут моделировать сложные нелинейные отношения. Архитектуры DNN генерируют композиционные модели, где дополнительные слои обеспечивают композицию функций из нижних слоев, обеспечивая огромную способность обучения и, следовательно, потенциал моделирования сложных моделей речевых данных.

Успех DNNS в распознавании крупных словарных речи произошел в 2010 году промышленными исследователями, в сотрудничестве с академическими исследователями, где были приняты большие объемы производства DNN на основе контекста, зависимых от состояний HMM HMM, построенных в деревьях решений. См. Комплексные обзоры этого развития и состояния искусства по состоянию на октябрь 2014 года в недавней книге Springer от Microsoft Research. См. Также связанный с этим фон автоматического распознавания речи и влияние различных парадигм машинного обучения, в частности, включая глубокое обучение , в Недавние обзорные статьи.

Один фундаментальный принцип глубокого обучения -покончить с инженерной инженером с помощью ручной работы и использовать необработанные функции. Этот принцип был впервые успешно исследован в архитектуре глубокого автоэкодора на «необработанной» спектрограмме или линейных банках фильтра, Показывая его превосходство по сравнению с мель-псельтизационными функциями, которые содержат несколько стадий фиксированного преобразования из спектрограмм. В последнее время было показано, что настоящие «сырые» особенности речи, формы волн, дают отличные более масштабные результаты распознавания речи.

Сквозное автоматическое распознавание речи

С 2014 года существует большой исследовательский интерес к «сквозному» ASR. Традиционные подходы на основе фонетической основы (т. Е. Все подходы на основе HMM ) требовали отдельных компонентов и обучения для модели произношения, акустики и языка . Сквозные модели совместно изучают все компоненты распознавателя речи. Это полезно, поскольку он упрощает процесс обучения и процесс развертывания. Например, модель N-грамма , а типичная модель языка N-грамма часто принимает несколько гигабайт в памяти, что делает их непрактичным для развертывания на мобильных устройствах. для всех систем на основе HMM требуется Следовательно, современные коммерческие системы ASR из Google и Apple (по состоянию на 2017 год ) развернуты в облаке и требуют сетевого соединения, а не устройства локально.

Первая попытка в конечном итоге ASR была с систем на основе височной классификации Conneciation (CTC), представленных Алексом Грейвсом из Google DeepMind и Navdeep Jaitly из Университета Торонто в 2014 году. Модель состояла из повторяющихся нейронных сетей и слоя CTC. Совместно, модель RNN-CTC вместе изучает произношение и акустическую модель, однако она не способна изучить язык из-за условных предположений об независимости, аналогичных HMM. Следовательно, модели CTC могут напрямую научиться отображать акустику речи с английскими персонажами, но модели делают много общих орфографических ошибок и должны полагаться на отдельную языковую модель для очистки транскриптов. Позже Baidu расширил работу с чрезвычайно большими наборами данных и продемонстрировал некоторый коммерческий успех в китайском мандарине и английском языке. В 2016 году Оксфордский университет представил Lipnet , Первая сквозная модель губ на уровне предложений, использующая пространственно-временные совет, в сочетании с архитектурой RNN-CTC, превзойдя производительность на уровне человека в ограниченном наборе данных. Крупномасштабная архитектура CNN-RNN-CTC была представлена ​​в 2018 году Google DeepMind, достигнутым в 6 раз лучшей производительности, чем человеческие эксперты.

Альтернативный подход к моделям на основе CTC-это модели на основе внимания. Модели ASR, основанные на внимании, были введены одновременно Chan et al. Университета Карнеги -Меллона и Google Brain и Bahdanau et al. Университета Монреаля в 2016 году. Модель под названием «Слушать, посещать и заклинание» (LAS), буквально «прослушивает» акустический сигнал, обращает «внимание» на разные части сигнала и «заклинания» из стенограммы по одному персонажу за раз. В отличие от моделей на основе CTC, модели, основанные на внимании, не имеют условной независимости и могут непосредственно изучать все компоненты распознавателя речи, включая модель произношения, акустики и языка. Это означает, что во время развертывания нет необходимости носить с собой языковую модель, что делает ее очень практичной для приложений с ограниченной памятью. К концу 2016 года модели, основанные на внимании, добились значительного успеха, включая превосходство моделей CTC (с моделью внешнего языка или без него). Различные расширения были предложены с момента оригинальной модели LAS. Декомпозиции скрытых последовательностей (LSD) были предложены Университетом Карнеги-Меллона , MIT и Google Brain, чтобы непосредственно излучать подразделения подслов, которые более естественны, чем английские персонажи; Оксфордский университет и Google DeepMind расширили LAS, чтобы «смотреть, слушать, посещать и заклинание» (WLAS), чтобы справиться с чтением губ, превосходящего производительность на уровне человека.

Приложения

Автомобильные системы

Как правило, ручной вход управления, например, с помощью управления пальцами на рулевом колесе, позволяет систему распознавания речи, и это сигнализируется водителю с помощью аудиозребки. Следуя звуковой подсказке, система имеет «окно прослушивания», в течение которого она может принять речевой ввод для распознавания.

Простые голосовые команды могут использоваться для инициирования телефонных звонков, выбора радиостанций или воспроизведения музыки со совместимого смартфона, MP3-плеер или флэш-диска, загруженного музыкой. Возможности распознавания голоса варьируются в зависимости от марки автомобиля и модели. Некоторые из самых последних Автомобильные модели предлагают естественное распознавание речи вместо фиксированного набора команд, что позволяет водителю использовать полные предложения и общие фразы. Поэтому при таких системах нет необходимости запоминать набор фиксированных командных слов.

Образование

Основная статья: оценка произношения

Автоматическая оценка произношения - это использование распознавания речи, чтобы проверить правильность выраженной речи, как отличается от ручной оценки инструктором или проктором. Также называется проверкой речи, оценкой произношения и оценке произношения, основным применением этой технологии является компьютерное обучение произношению (капитан) в сочетании с компьютерной инструкцией для обучения языку с помощью компьютера (вызов), исправления речи или сокращения акцента Полем Оценка произношения не определяет неизвестную речь (как при диктовке или автоматической транскрипции вместо этого, зная ожидаемое слово (ы) но ) , иногда наряду с часто несущественной просодией, такой как интонация , высота , темп , ритм и стресс . Оценка произношения также используется при чтении обучения , например, в таких продуктах, как команды Microsoft и от Амиры обучения. Автоматическая оценка произношения также может быть использована, чтобы помочь диагностировать и лечить речевые расстройства, такие как апраксия .

Оценка подлинной разборчивости слушателя имеет важное значение для предотвращения неточностей от предвзятости акцента , особенно в оценках с высокими ставками; от слов с несколькими правильными произношениями; и из ошибок кодирования фонем в машиночитаемых словарях произношения. В 2022 году исследователи обнаружили, что некоторые новые речи в текстовых системах, основанные на сквозном обучении подкреплению, чтобы отображать аудиосигналы непосредственно в словах, создают слова и фразы уверенности, очень тесно связанные с настоящей понятией слушателя. В общей европейской структуре ссылки для языков (CEFR) критерии оценки для «общего фонологического контроля», разумность перевешивает формально правильное произношение на всех уровнях.

Здравоохранение

Медицинская документация

В секторе здравоохранения распознавание речи может быть реализовано в переднем конце или в конце процесса медицинской документации. Распознавание речи переднего конца-это то, где провайдер диктует в двигатель распознавания речи, признанные слова отображаются по мере их провозглашения, а диктатор отвечает за редактирование и подписание документа. Бэк-энд или отложенное распознавание речи-это то, где поставщик диктует в систему цифровой диктовки , голос направляется через машину распознавания речи, а распознанный черновой документ направляется вместе с оригинальным голосовым файлом в редактор, где проект редактируется и сообщить о завершении. Отложенное распознавание речи широко используется в отрасли в настоящее время.

Одна из основных вопросов, связанных с использованием признания речи в здравоохранении, заключается в том, что Американский закон о восстановлении и реинвестировании 2009 года ( ARRA ) предоставляет существенные финансовые выгоды для врачей, которые используют EMR в соответствии с стандартами «значимого использования». Эти стандарты требуют, чтобы EMR поддерживался значительным объемом данных (теперь чаще всего называется электронной медицинской помощью или EHR). Использование распознавания речи более естественно подходит для генерации повествовательного текста, как часть радиологии/патологической интерпретации, примечания к прогрессу или резюме разрядов: эргономические выгоды от распознавания речи для ввода структурированных дискретных данных (например, числовые значения или коды Из списка или контролируемого словаря ) относительно минимальны для людей, которые зрятся и могут управлять клавиатурой и мышью.

Более важная проблема заключается в том, что большинство EHR не были явно адаптированы, чтобы воспользоваться преимуществами распознавания голоса. Большая часть взаимодействия клинициста с EHR включает навигацию через пользовательский интерфейс с использованием меню, а также нажатия вкладки/кнопки, и сильно зависит от клавиатуры и мыши: навигация на основе голоса обеспечивает только скромные эргономические преимущества. Напротив, многие высоко настраиваемые системы для радиологии или диктовки патологии реализуют голосовые «макросы», где использование определенных фраз - например, «нормальный отчет» автоматически заполняет большое количество значений по умолчанию и/или генерировать шаблон, который будет В зависимости от типа экзамена-например, рентгеновский рентгенов грудной клетки против желудочно-кишечного контраста для радиологической системы.

Терапевтическое использование

Длительное использование программного обеспечения для распознавания речи в сочетании с текстовыми процессорами показало преимущества для сокращения кратковременной памяти у пациентов с AVM мозга , которые получали лечение с резекцией . Необходимо провести дальнейшие исследования для определения когнитивных преимуществ для людей, чьи AVM были обработаны с использованием радиологических методов.

Военный

Высокопроизводительные истребительные самолеты

В последнее десятилетие были посвящены существенным усилиям, чтобы испытать и оценку распознавания речи в истребительных самолетах . Особо следует отметить программу США по распознаванию речи для самолетов Advanced Fighter Technology Integration (AFTI) / F-16 ( F-16 Vista ), программы во Франции для самолетов Mirage и других программ в Великобритании, посвященных разнообразию авиационных платформ. В этих программах распознаватели речи успешно работали на самолетах истребителях, в том числе приложения, включая установку радиочастотных, командование системой автопилота, установление координатов по укреплению точек и параметров выпуска оружия и управление дисплеем полета.

Работая со шведскими пилотами, летящими в кабине GRIPEN JAS-39 , Englund (2004) обнаружил, что признание ухудшилось с увеличением G-загрузки . В отчете также пришло вывод, что адаптация значительно улучшила результаты во всех случаях и что введение моделей для дыхания было показано, что значительно улучшает показатели распознавания. Вопреки тому, что можно было ожидать, никаких последствий сломанного английского языка не было найдено. Было очевидно, что спонтанная речь вызвала проблемы для распознавателя, как и следовало ожидать. Таким образом, можно ожидать, что ограниченный словарный запас и, прежде всего, правильный синтаксис, существенно повысит точность распознавания.

Eurofighter Typhoon , в настоящее время находится в эксплуатации в RAF в Великобритании , использует зависимую от динамики систему, требующая от каждого пилота создать шаблон. Система не используется для каких-либо критических или критически важных задач, таких как выпуск оружия или снижение ходовой части, но используется для широкого спектра других функций кабины. Голосовые команды подтверждаются визуальной и/или слуховой обратной связью. Система рассматривается как основная особенность проектирования при сокращении рабочей нагрузки пилота , и даже позволяет пилоту назначать цели своему самолету с двумя простыми голосовыми командами или любому из его ведомого с пятью командами.

Независимые от динамики системы также разрабатываются и находятся под тестированием для F35 Lightning II (JSF) и Alenia Aermacchi M-346 Master Lead-In Trainer. Эти системы дали показатели точности слова превышают 98%.

Вертолеты

Проблемы достижения высокой точности распознавания при стрессе и шуме особенно актуальны в среде вертолета , а также в среде реактивных истребителей. Проблема акустического шума на самом деле более серьезна в вертолетной среде, не только из -за высоких уровней шума, но и потому, что пилот вертолета, как правило, не носит маски , что уменьшило бы акустический шум в микрофоне . За последнее десятилетие были проведены существенные программы тестирования и оценки в приложениях «Системы распознавания речи» на вертолетах, в частности, в области исследований и разработок армии США (Avrada) и королевского аэрокосмического учреждения ( RAE ) в Великобритании. Работа во Франции включала распознавание речи в вертолете Puma . также было много полезной работы В Канаде . Результаты были обнадеживающими, и голосовые приложения включали: управление радиосвязанными радиостанциями, настройки навигационных систем и управление автоматизированной системой передачи целей.

Как и в истребительных приложениях, перейти на голосовой выставке в вертолетах является влияние на эффективность пилота. Обнаружение результатов сообщается для тестов Avrada, хотя они представляют собой только осуществимость в тестовой среде. Многое еще предстоит сделать как при распознавании речи, так и в общих речевых технологиях , чтобы постоянно достичь улучшения производительности в операционных условиях.

Обучение воздушного движения

Обучение для авиадиспетчеров (ATC) представляет собой отличное применение для систем распознавания речи. Многие учебные системы ATC в настоящее время требуют, чтобы человек выступал в качестве «псевдо-пилота», ведущего голосовой диалог с контроллером стажера, который имитирует диалог, который контроллер должен был бы вести с пилотами в реальной ситуации с ATC. Методы распознавания речи и синтеза предоставляют потенциал для устранения необходимости, чтобы человек выступил в качестве псевдопилота, тем самым уменьшая обучение и вспомогательный персонал. Теоретически, задачи воздушного контроллера также характеризуются высоко структурированной речью как основной выход контроллера, следовательно, должно быть возможным снижение сложности задачи распознавания речи. На практике это редко бывает. В документе FAA 7110.65 подробно описывается фразы, которые должны использоваться контролсами воздушного движения. В то время как этот документ приводит менее 150 примеров таких фраз, количество фраз, поддерживаемые одной из систем распознавания речи и моделирования, превышает 500 000.

ВВС США, USMC, Армия США, ВМС США и ФАУ, а также ряд международных учебных организаций УВД, таких как власти Королевских австралийских военно -воздушных сил и гражданские авиации в Италии, Бразилии и Канаде, в настоящее время используют симуляторы УВД с признанием речи от речи от речи от ряд разных поставщиков.

Телефония и другие домены

ASR в настоящее время является обычным явлением в области телефонии и становится все более распространенным в области компьютерных игр и моделирования. В телефонных системах ASR теперь преимущественно используется в контактных центрах, интегрируя его с системами IVR . Несмотря на высокий уровень интеграции с обработкой текста в общих персональных вычислениях, в области производства документов ASR не видел ожидаемого увеличения использования.

Улучшение скоростей мобильного процессора стало практичным в смартфонах . Речь используется в основном как часть пользовательского интерфейса для создания предопределенных или пользовательских речевых команд.

Люди с ограниченными возможностями

Люди с ограниченными возможностями могут извлечь выгоду из программ распознавания речи. Для людей, которые являются глухими или тяжелыми слушанием, программное обеспечение для распознавания речи используется для автоматического создания закрытых разговоров, таких как дискуссии в конференц-залах, лекции в классе и/или религиозных услуг.

Студенты, которые слепы (см. Слезость и образование ) или имеют очень низкое зрение, могут извлечь выгоду из использования технологии для передачи слов, а затем услышать, как компьютер повторяет их, а также использовать компьютер, командуя своим голосом, вместо того, чтобы смотреть на экран и клавиатура.

Учащиеся, которые физически инвалида имеют повторяющуюся травму напряжения /другие травмы верхних конечностей, могут быть освобождены от необходимости беспокоиться о почерке, печати или работы с писцом на школьных заданиях с помощью программ речи в тексте. Они также могут использовать технологию распознавания речи, чтобы насладиться поиском в Интернете или использованию компьютера дома без необходимости физического управления мышью и клавиатурой.

Признание речи может позволить студентам с нарушениями обучения стать лучшими писателями. Сказав слова вслух, они могут увеличить плавность своего письма и ослабить опасения в отношении орфографии, пунктуации и других механиков письма. Кроме того, см. Неспособность к обучению .

Использование программного обеспечения для распознавания голоса в сочетании с цифровым звуковым регистратором и персональным компьютером, управляющим программным обеспечением для обработки слов, оказалось положительным для восстановления поврежденной кратковременной емкости памяти, у инсульта и лиц краниотомии.

Распознавание речи также очень полезно для людей, которым трудно использовать свои руки, начиная от легких повторяющихся стрессовых травм до инвалидности, которые исключают с использованием обычных устройств ввода компьютера. На самом деле, люди, которые много использовали клавиатуру и разработали RSI, стали неотложным ранним рынком признания речи. Распознавание речи используется в глухих телефонии , такой как голосовая почта для текста, услуги эстафеты и подпись телефона . Люди с нарушениями обучения, у которых есть проблемы с общением с бумажкой (по сути, они думают об идее, но она обрабатывается неправильно, что приводит к тому, что она окажется по-разному на бумаге), могут извлечь выгоду из программного обеспечения, но технология не является доказательством ошибок. Кроме того, вся идея говорить с текстом может быть трудной для интеллектуальных инвалидов из -за того, что редко кто -то пытается изучить технологию, чтобы научить человека инвалидности.

Этот тип технологий может помочь людям с дислексией, но другие инвалидность все еще под вопросом. Эффективность продукта - это проблема, которая мешает его быть эффективной. Хотя ребенок может сказать слово в зависимости от того, насколько ясно, что они говорят, технология может подумать, что они говорят другое слово и вводят неправильное. Давая им больше работы, чтобы исправить, заставляя их уделять больше времени, исправляя неправильное слово.

Дальнейшие приложения

• Аэрокосмическая (например, исследование космоса , космический корабль и т. Д.) Марс Поляр Ландер использовал технологию распознавания речи от Sensory, Inc. в Mars Microphone на Lander
• Автоматическая субтитр с распознаванием речи
• Автоматическое распознавание эмоций
• Автоматический список выстрелов в аудиовизуальном производстве
• Автоматический перевод
• Ediscovery (юридическое открытие)
• Комплект без громкой связи компьютера распознавания речи : пользовательский интерфейс
• Домашняя автоматизация
• Интерактивный голосовой ответ
• Мобильная телефония , включая мобильную электронную почту
• Мультимодальное взаимодействие
• В реальном времени подпись
• Робототехника
• Безопасность, включая использование с другими биометрическими сканерами для многофакторной аутентификации
• Речь к тексту (транскрипция речи в текст, подписание видео в реальном времени , судебная отчетность)
• Телематика (например, навигационные системы транспортных средств)
• Транскрипция (цифровой речь в текст)
• Видеоигры с Тома Клэнси конечными и жизненными линиями в качестве рабочих примеров
• Виртуальный помощник (например, Siri's Apple )

Производительность

Производительность систем распознавания речи обычно оценивается с точки зрения точности и скорости. Точность обычно оценивается с частотой ошибок слова (WER), тогда как скорость измеряется с помощью фактора в реальном времени . Другие меры точности включают в себя частоту ошибок (SWER) и коэффициент успеха команды (CSR).

Однако распознавание речи машиной является очень сложной проблемой. Вокализации варьируются с точки зрения акцента, произношения, артикуляции, шероховатости, насательности, высоты, объема и скорости. Речь искажается фоновым шумом и эхо, электрическими характеристиками. Точность распознавания речи может варьироваться в зависимости от следующего:

• Размер словарного запаса и запутанность
• Зависимость от оратора против независимости
• Изолированная, прерывистая или непрерывная речь
• Задача и языковые ограничения
• Читать против спонтанной речи
• Неблагоприятные условия

Точность

Как упоминалось ранее в этой статье, точность распознавания речи может варьироваться в зависимости от следующих факторов:

• Частота ошибок увеличивается по мере роста размер словарного запаса:

Например, 10 цифр «ноль» до «девять» могут быть признаны практически идеально, но размер словарного запаса 200, 5000 или 100000 может иметь частоту ошибок 3%, 7%или 45%соответственно.

• Словарь трудно распознать, если он содержит запутанные буквы:

Например, 26 букв английского алфавита трудно различить, потому что они сбивают с толку слова (наиболее общеизвестно, E-Set: «B, C, D, E, G, P, T, V, z-когда« z » произносится «Zee», а не «ZED» в зависимости от английского региона);

• Зависимость от говорящего против независимости:

Зависимая от динамика система предназначена для использования одним динамиком.

Независимая от динамика система предназначена для использования любым динамиком (сложнее).

• Изолированная, прерывистая или непрерывная речь

При изолированной речи используются отдельные слова, поэтому становится легче распознать речь.

С использованием прерывистой речи полные предложения, разделенные тишиной, используются, поэтому становится легче распознавать речь как с изолированной речью.
С непрерывной речью используются естественные произнесенные предложения, поэтому становится все труднее распознавать речь, отличную от изолированной и прерывистой речи.

• Задача и языковые ограничения
  • Например, заявление о запросе может отклонить гипотезу «Яблоко красное».
  • Например, ограничения могут быть семантическими; отвергая «Яблоко злится».
  • например, синтаксическая; отвергая "Red Is Apple".

Ограничения часто представлены грамматикой.

• Читайте против спонтанной речи - когда человек читает, это обычно находится в контексте, который был ранее подготовлен, но когда человек использует спонтанную речь, трудно распознать речь из -за недостатков (например, «UH» и «UM», Ложные запуска, неполные предложения, заикание, кашля и смех) и ограниченный словарный запас.
• Неблагоприятные условия - шум окружающей среды (например, шум в автомобиле или на заводе). Акустические искажения (например, эхо, комната акустика)

Распознавание речи-это многоуровневая задача распознавания образца.

• Акустические сигналы структурированы в иерархию единиц, например , фонемы , слова, фразы и предложения;
• Каждый уровень обеспечивает дополнительные ограничения;

Например, известные произношения слова или юридические последовательности слов, которые могут компенсировать ошибки или неопределенности на более низком уровне;

• Эта иерархия ограничений эксплуатируется. Благодаря вероятному объединению решений на всех более низких уровнях и принятии более детерминированных решений только на самом высоком уровне, распознавание речи машиной - это процесс, разбитый на несколько этапов. Вычислительно, это проблема, в которой звуковой шаблон должен быть распознан или классифицирован в категорию, которая представляет значение для человека. Каждый акустический сигнал может быть разбит на более мелкие более базовые подписание. Поскольку более сложный звуковой сигнал разбивается на более мелкие подсказки, создаются разные уровни, где на верхнем уровне у нас есть сложные звуки, которые изготовлены из более простых звуков на более низком уровне, и еще более низкие уровни, еще больше Мы создаем более простые и более короткие и более простые звуки. На самом низком уровне, где звуки являются наиболее фундаментальными, машина проверит простые и более вероятностные правила того, что должен представлять звук. Как только эти звуки составлены в более сложные звуки на верхнем уровне, новый набор более детерминированных правил должен предсказать, что должен представлять новый сложный звук. Самый верхний уровень детерминированного правила должен выяснить значение сложных выражений. Чтобы расширить наши знания о распознавании речи, мы должны учитывать нейронные сети. Существует четыре шага подходов нейронной сети:
• Оцифровать речь, которую мы хотим узнать

Для телефонной речи скорость отбора проб составляет 8000 образцов в секунду;

• Вычислять особенности спектральной области речи (с преобразованием Фурье);

вычисляется каждые 10 мс, с одним разделом 10 мс, называемой кадром;

Анализ четырехэтапных подходов нейронной сети может быть объяснен дополнительной информацией. Звук производится воздушной (или какой -то другой средней) вибрацией, которую мы регистрируемся по ушам, но машины по приемникам. Базовый звук создает волну, которая имеет два описания: амплитуда (насколько она сильна) и частота (как часто она вибрирует в секунду). Точность может быть рассчитана с помощью частоты ошибок слова (WER). Скорость ошибок слова может быть рассчитана путем выравнивания расположенного слова и ссылочного слова с использованием динамического выравнивания строки. Проблема может возникнуть при вычислении частоты ошибок слова из -за разницы между длиной последовательности расположенного слова и ссылочным словом.

Формула для вычисления частоты ошибок слова (WER):

$WER={(s+d+i) \over n}$

Если S - количество замен, D - количество удалений, я - количество вставок, а n - количество ссылок на слова.

При вычислении используется скорость распознавания слова (WRR). Формула:

$WRR=1-WER={(n-s-d-i) \over n}={h-i \over n}$

где h - количество правильно распознанных слов:

$h=n-(s+d).$

Проблемы безопасности

Распознавание речи может стать средством атаки, кражи или случайной работы. Например, активационные слова, такие как «Alexa», сказанные в аудио или видео, могут привести к тому, что устройства в домах и офисах начинают прислушиваться к вводу, или, возможно, предпринять нежелательные действия. Устройства, контролируемые голосом, также доступны для посетителей здания или даже для тех, кто за пределами здания, если их можно услышать внутри. Злоумышленники могут получить доступ к личной информации, такой как календарь, содержимое адресной книги, частные сообщения и документы. Они также могут быть в состоянии выдать себя за пользователя отправлять сообщения или совершать покупки в Интернете.

Было продемонстрировано две атаки, которые используют искусственные звуки. Один передает ультразвук и пытается отправить команды без близлежащих людей. Другой добавляет небольшие, неразборчивые искажения к другим речи или музыке, которые специально созданы, чтобы запутать конкретную систему распознавания речи в распознавании музыки в качестве речи, или для того, чтобы сделать то, что звучит как одна команда для человеческого звука, как иная команда для системы.

Дополнительная информация

Конференции и журналы

Популярные конференции по признанию речи, проводимые каждый год или два, включают Speechtek и Speechtek Europe, ICASSP , Interspeech /Eurospeech и IEEE ASRU. Конференции в области обработки естественного языка , такие как ACL , NAACL , EMNLP и HLT, начинают включать документы по обработке речи . Важные журналы включают в себя транзакции IEEE по обработке речи и аудио (позже переименованные в транзакции IEEE по обработке аудио, речи и языка, а также с сентября 2014 года переименованные в транзакциях IEEE /ACM по аудио, речевой и языковой обработке - после слияния с публикацией ACM), Компьютерная речь и язык и речевое общение.

Книги

Книги, такие как «Основы признания речи» Лоуренса Рабинера, могут быть полезны для приобретения базовых знаний, но не могут быть полностью актуальны (1993). Другим хорошим источником может быть «статистические методы распознавания речи» Фредерика Джелинка и «Обработка разговорного языка (2001)» « Xuendong Huang и т. Д.», «Компьютерная речь», Манфред Р. Шредер , второе издание, опубликованное в 2004 году, и «Речь» Обработка: динамический и ориентированный на оптимизацию подход », опубликованный в 2003 году Ли Денгом и Дугом О'Шоннесси. Обновленная учебная речь и языковая обработка (2008) от Jurafsky и Martin представляет основы и состояние искусства для ASR. Распознавание динамиков также использует те же функции, большинство тех же самых методов обработки и классификации, что и в распознавании речи. Комплексный учебник «Основы распознавания говорящих» является глубоким источником для актуальных подробностей о теории и практике. Хорошее понимание методов, используемых в лучших современных системах, может быть получено, обратив внимание на спонсируемые правительством оценки, такие как методы, организованные DARPA (крупнейший проект, связанный с признанием речи, продолжающийся по состоянию на 2007 год, который включает в себя распознавание речи и компоненты перевода).

Хорошее и доступное введение в технологию распознавания речи и ее историю предоставляется книгой общей аудитории «Голос в машине. Создание компьютеров, которые понимают речь» Роберто Пьераччини (2012).

Самая последняя книга о распознавании речи - автоматическое распознавание речи: подход глубокого обучения (издатель: Springer), написанный исследователями Microsoft D. Yu и L. Deng, и опубликованный ближе к концу 2014 года с высокой математически ориентированной технической детализацией о том, как глубокое обучение Методы получены и реализуются в современных системах распознавания речи на основе DNNS и связанных с ними методов глубокого обучения. Связанная книга, опубликованная ранее в 2014 году, «Глубокое обучение: методы и приложения» Л. Дэн и Д. Ю предоставляют менее технический, но более ориентированный на методологию обзор распознавания речи на основе DNN в течение 2009–2014 гг. Общий контекст приложений глубокого обучения, включая не только распознавание речи, но и распознавание изображений, обработку естественного языка, поиск информации, мультимодальную обработку и многозадачное обучение.

Программное обеспечение

С точки зрения свободно доступных ресурсов, Карнеги -Меллона Университета инструментарий - это одно место, где можно начать узнать о распознавании речи и начать экспериментирование. Другим ресурсом (свободным, но защищенным авторским правом) является книга HTK (и сопровождающий инструментарий HTK). Для более поздних и современных методов Kaldi Toolkit. можно использовать В 2017 году Mozilla запустила проект с открытым исходным кодом под названием Common Voice Чтобы собрать большую базу данных голосов, которые помогут создать проект по распознаванию свободы слова DeepSpeech (доступно бесплатно на Github ), Использование платформы Google с открытым исходным кодом TensorFlow . Когда Mozilla перенаправляла финансирование вдали от проекта в 2020 году, его первоначальные разработчики были раздвоены его первоначальными разработчиками в качестве Coqui Stt Используя ту же лицензию с открытым исходным кодом.

Google Gboard поддерживает распознавание речи во всех Android приложениях . Он может быть активирован через микрофона значок .

Коммерческие облачные API распознавания речи широко доступны.

Для получения дополнительных программных ресурсов см. Список программного обеспечения для распознавания речи .

Смотрите также

• У тебя есть эффект
• Альп
• Применение искусственного интеллекта
• Распознавание артикуляции речи
• Аудио добыча
• Аудиовизуальное распознавание речи
• Автоматический языковой переводчик
• Автомобильная головка
• Мозг
• Кеш -языковая модель
• Дракон естественно
• Технология голосования беглости
• Google Voice Search
• IBM Viavoice
• Ключевое место Spotting
• Kinect
• Мондегрин
• Поиск мультимедийной информации
• Происхождение речи
• Фонетический поиск технологии
• Диаризация спикера
• Признание спикера
• Речевая аналитика
• Руководство по интерфейсу речи
• Программное обеспечение для распознавания речи для Linux
• Синтез речи
• Проверка речи
• Субтитры (подписание)
• Voicexml
• Voxforge
• Узнавание речи Windows

Списки

• Список программного обеспечения для распознавания речи
• Список новых технологий
• Схема искусственного интеллекта
• Временная шкала речи и распознавания голоса

Дальнейшее чтение

• Коул, Рональд; Марани, Джозеф ; Ускорет, Ганс; Разнообразие, Джованни Бэтста; Заенен, Энни; Заполи; Zue, Victor, eds. (1997). Обследование состояния искусства в технологиях человеческого языка Кембриджские исследования по обработке естественного языка. Тол. Xi - xiii. Издательство Кембриджского университета. ISBN  978-0-521-59277-2 .
• Junqua, J.-C.; Хатон, J.-P. (1995). Надежность автоматического признания речи: основы и приложения . Kluwer Academic Publishers. ISBN  978-0-7923-9646-8 .
• Карат, Клэр-Мари; Верго, Джон; Нахаму, Дэвид (2007). «Технологии разговорного интерфейса». В Сирсе, Эндрю ; Джеко, Джули А. (ред.). Справочник по взаимодействию с человеком-компьютером: основы, развивающиеся технологии и новые приложения (человеческий фактор и эргономика) . Lawrence Erlbaum Associates Inc. ISBN  978-0-8058-5870-9 .
• Pieraccini, Roberto (2012). Голос в машине. Создание компьютеров, которые понимают речь . MIT Press. ISBN  978-0262016858 .
• Пирани, Джанкарло, изд. (2013). Усовершенствованные алгоритмы и архитектуры для понимания речи . Springer Science & Business Media. ISBN  978-3-642-84341-9 .
• Подписавшись, бит; Хост, Лоде (декабрь 2013 г.). «SPEEG2: интерфейс на основе речи и жестов для эффективной бесконечной текстовой записи» . Материалы ICMI 2013 . 15 -я Международная конференция по мультимодальному взаимодействию. Сидней, Австралия.
• Woelfel, Matthias; Макдоно, Джон (26 мая 2009 г.). Отдаленное распознавание речи . Уайли. ISBN  978-0470517048 .

Внешние ссылки

• Речевые технологии в Curlie