Распознавание речи

Чтобы узнать о человеческой лингвистической концепции, см. «Восприятие речи» .

Распознавание речи — это междисциплинарная область информатики и компьютерной лингвистики , которая разрабатывает методологии и технологии, позволяющие распознавать и переводить разговорную речь в текст с помощью компьютеров. Он также известен как автоматическое распознавание речи ( ASR ), компьютерное распознавание речи или преобразование речи в текст ( STT ). Он включает в себя знания и исследования в области информатики , лингвистики и компьютерной инженерии . Обратный процесс — синтез речи .

Некоторые системы распознавания речи требуют «обучения» (также называемого «зачислением»), когда отдельный говорящий читает текст или изолированный словарный запас в систему . Система анализирует конкретный голос человека и использует его для точной настройки распознавания речи этого человека, что приводит к повышению точности. Системы, не использующие обучение, называются «динамиконезависимыми». системы. Системы, использующие обучение, называются «зависимыми от говорящего».

Приложения распознавания речи включают голосовые пользовательские интерфейсы , такие как голосовой набор (например, «позвонить домой»), маршрутизация вызовов (например, «Я хотел бы сделать платный звонок»), управление домашними устройствами, поиск по ключевым словам (например, найти подкаст, в котором есть определенные слова). были произнесены), простой ввод данных (например, ввод номера кредитной карты), подготовка структурированных документов (например, радиологический отчет), определение характеристик говорящего, обработка речи в текст (например, текстовые процессоры или электронная почта ) и самолеты (обычно называемые прямым голосовым вводом ). Автоматическая оценка произношения используется в сфере образования, например, при изучении разговорной речи.

Термин «распознавание голоса» или идентификация говорящего относится к идентификации говорящего, а не к тому, что он говорит. Распознавание говорящего может упростить задачу перевода речи в системах, обученных на голосе конкретного человека, или может использоваться для аутентификации или проверки личности говорящего в рамках процесса безопасности.

С технологической точки зрения распознавание речи имеет долгую историю, сопровождавшуюся несколькими волнами крупных инноваций. Совсем недавно эта область получила выгоду от достижений в области глубокого обучения и больших данных . О достижениях свидетельствует не только всплеск научных работ, опубликованных в этой области, но, что более важно, внедрение во всем мире различных методов глубокого обучения при проектировании и развертывании систем распознавания речи.

История

Ключевыми областями роста были: размер словарного запаса, независимость говорящего и скорость обработки информации.

До 1970 г.

• 1952 – Три исследователя Bell Labs, Стивен Балашек. Р. Биддульф и К. Х. Дэвис построили систему под названием «Одри». для распознавания цифр одним динамиком. Их система определяла форманты в спектре мощности каждого высказывания.
• 1960 — Гуннар Фант разработал и опубликовал модель речевого производства «источник-фильтр» .
• 1962 — IBM способность распознавания речи своей машины «Shoebox» из 16 слов продемонстрировала на Всемирной выставке 1962 года .
• 1966 - Линейное предсказывающее кодирование (LPC), метод кодирования речи , было впервые предложено Фумитадой Итакурой из Университета Нагои и Сюдзо Сайто из Nippon Telegraph and Telephone (NTT) во время работы над распознаванием речи.
• 1969 – Финансирование Bell Labs прекратилось на несколько лет, когда в 1969 году влиятельный Джон Пирс написал открытое письмо, в котором критиковал и защищал исследования в области распознавания речи. Это прекращение финансирования продолжалось до тех пор, пока Пирс не ушел на пенсию и Джеймс Л. Фланаган . его место занял

Радж Редди был первым человеком, который взялся за непрерывное распознавание речи, будучи аспирантом Стэнфордского университета в конце 1960-х годов. Предыдущие системы требовали от пользователей делать паузу после каждого слова. Система Редди выдавала голосовые команды для игры в шахматы .

Примерно в это же время советские исследователи изобрели алгоритм динамического искажения времени (DTW) и использовали его для создания распознавателя, способного работать со словарем из 200 слов. DTW обрабатывал речь, разделяя ее на короткие кадры, например сегменты по 10 мс, и обрабатывая каждый кадр как единое целое. Хотя DTW был заменен более поздними алгоритмами, этот метод сохранился. Достижение независимости спикеров в тот период оставалось нерешенным.

1970–1990

• 1971 - DARPA профинансировало пять лет исследований по распознаванию речи , исследований по распознаванию речи, направленных на минимальный размер словарного запаса в 1000 слов. Они думали, речи что понимание будет ключом к прогрессу в распознавании речи , но позже это оказалось неправдой. BBN , IBM , Карнеги-Меллон и Стэнфордский исследовательский институт . В программе приняли участие Это возрожденное исследование распознавания речи после письма Джона Пирса.

• 1972 – Группа IEEE по акустике, речи и обработке сигналов провела конференцию в Ньютоне, штат Массачусетс.
• 1976 — Первая конференция ICASSP прошла в Филадельфии , которая с тех пор стала основным местом публикации исследований по распознаванию речи.

В конце 1960-х годов Леонард Баум разработал математику цепей Маркова в Институте оборонного анализа . Десять лет спустя в CMU ученики Раджа Редди Джеймс Бейкер и Джанет М. Бейкер начали использовать скрытую модель Маркова (HMM) для распознавания речи. Джеймс Бейкер узнал о HMM во время летней работы в Институте оборонного анализа во время учебы в бакалавриате. Использование HMM позволило исследователям объединить различные источники знаний, такие как акустика, язык и синтаксис, в единую вероятностную модель.

• К середине 1980-х годов из IBM команда Фреда Елинека создала пишущую машинку с голосовым управлением под названием Tangora, которая могла обрабатывать словарный запас в 20 000 слов. Статистический подход Елинека уделяет меньше внимания имитации того, как человеческий мозг обрабатывает и понимает речь, в пользу использования методов статистического моделирования, таких как HMM. (Группа Елинека независимо обнаружила применение HMM к речи. ) Это вызвало споры у лингвистов, поскольку HMM слишком упрощены, чтобы объяснить многие общие черты человеческих языков. Однако HMM оказался очень полезным способом моделирования речи и заменил динамическое искажение времени, став доминирующим алгоритмом распознавания речи в 1980-х годах.

• 1982 основали компанию Dragon Systems — Джеймс и Джанет М. Бейкер . был одним из немногих конкурентов IBM.

Практическое распознавание речи

В 1980-е годы также была представлена ​​языковая модель n-грамм .

• 1987 - Модель отсрочки позволила языковым моделям использовать n-граммы разной длины и CSELT. использовал HMM для распознавания языков (как в программном обеспечении, так и в аппаратных специализированных процессорах, например RIPAC ).

Большая часть прогресса в этой области обусловлена ​​быстро растущими возможностями компьютеров. По окончании программы DARPA в 1976 году лучшим компьютером, доступным исследователям, был PDP-10 с 4 МБ оперативной памяти. Чтобы декодировать всего лишь 30 секунд речи, может потребоваться до 100 минут.

Двумя практическими продуктами были:

• 1984 г. - выпущен Apricot Portable с поддержкой до 4096 слов, из которых только 64 могут храниться в оперативной памяти одновременно.
• 1987 – признанный специалист Kurzweil Applied Intelligence.
• 1990 — Dragon Dictate, потребительский продукт, выпущенный в 1990 году. В 1992 году AT&T внедрила службу обработки вызовов с распознаванием голоса для маршрутизации телефонных звонков без использования оператора-человека. Технология была разработана Лоуренсом Рабинером и другими сотрудниками Bell Labs.

К этому моменту словарный запас типичной коммерческой системы распознавания речи уже превышал средний человеческий словарный запас. Бывший ученик Раджа Редди, Сюэдун Хуан , разработал систему Sphinx-II в CMU. Система Sphinx-II была первой системой, обеспечивающей независимость от говорящего, большой словарный запас и непрерывное распознавание речи, и она показала лучшие характеристики по оценке DARPA 1992 года. Обработка непрерывной речи с помощью большого словарного запаса стала важной вехой в истории распознавания речи. В 1993 году Хуанг основал группу по распознаванию речи в Microsoft. Студент Раджа Редди Кай-Фу Ли присоединился к Apple, где в 1992 году он помог разработать прототип речевого интерфейса для компьютера Apple, известного как Casper.

Lernout & Hauspie , бельгийская компания по распознаванию речи, приобрела несколько других компаний, в том числе Kurzweil Applied Intelligence в 1997 году и Dragon Systems в 2000 году. Речевая технология L&H использовалась в операционной системе Windows XP . L&H была лидером отрасли до тех пор, пока бухгалтерский скандал не положил конец компании в 2001 году. Речевая технология L&H была куплена компанией ScanSoft, которая стала Nuance в 2005 году . Первоначально Apple лицензировала программное обеспечение Nuance, чтобы обеспечить возможность распознавания речи своему цифровому помощнику Siri .

2000-е

В 2000-х годах DARPA спонсировало две программы распознавания речи: «Эффективное доступное повторное использование речи в тексте» (EARS) в 2002 году и « Global Autonomous Language Exploitation» (GALE). В программе EARS участвовали четыре команды: IBM , команда под руководством BBN с LIMSI и Univ. Питтсбурга , Кембриджского университета и группы, состоящей из ICSI , SRI и Вашингтонского университета . EARS профинансировал сбор корпуса телефонной речи Switchboard , содержащего 260 часов записанных разговоров более чем 500 говорящих. Программа GALE была сосредоточена на на арабском и китайском языках новостной речи . . Первые попытки Google в области распознавания речи были предприняты в 2007 году после найма нескольких исследователей из Nuance Первым продуктом была GOOG-411 , телефонная служба каталогов. Записи GOOG-411 предоставили ценные данные, которые помогли Google улучшить свои системы распознавания. Голосовой поиск Google теперь поддерживается более чем на 30 языках.

В Соединенных Штатах Агентство национальной безопасности использует тип распознавания речи для определения ключевых слов по крайней мере с 2006 года. Эта технология позволяет аналитикам осуществлять поиск в больших объемах записанных разговоров и изолировать упоминания ключевых слов. Записи можно индексировать, а аналитики могут выполнять запросы к базе данных, чтобы найти интересующие разговоры. Некоторые правительственные исследовательские программы были сосредоточены на интеллектуальных приложениях распознавания речи, например, программа EARS DARPA и IARPA Babel программа .

В начале 2000-х годов в распознавании речи все еще доминировали традиционные подходы, такие как скрытые модели Маркова в сочетании с искусственными нейронными сетями прямого распространения . Однако сегодня многие аспекты распознавания речи были взяты на вооружение методом глубокого обучения под названием «Длинная кратковременная память» (LSTM), рекуррентной нейронной сети, опубликованной Зеппом Хохрайтером и Юргеном Шмидхубером в 1997 году. LSTM RNN позволяют избежать проблемы исчезающего градиента и могут изучать задачи «очень глубокого обучения». которые требуют воспоминаний о событиях, произошедших тысячи дискретных шагов назад, что важно для речи.Примерно в 2007 году LSTM прошел обучение в рамках коннекционистской временной классификации (CTC). начал превосходить традиционное распознавание речи в некоторых приложениях. Сообщается, что в 2015 году производительность системы распознавания речи Google резко выросла на 49% благодаря LSTM, обученному CTC, который теперь доступен через Google Voice для всех пользователей смартфонов. Трансформеры , тип нейронной сети, основанный исключительно на «внимании», получили широкое распространение в компьютерном зрении. и языковое моделирование, вызывая интерес к адаптации таких моделей к новым областям, включая распознавание речи. В некоторых недавних статьях сообщалось о превосходных уровнях производительности при использовании моделей преобразователей для распознавания речи, но эти модели обычно требуют крупномасштабных наборов обучающих данных для достижения высоких уровней производительности.

Использование сетей с глубокой прямой связью (нерекуррентных) для акустического моделирования было представлено во второй половине 2009 года Джеффри Хинтоном и его студентами в Университете Торонто, а также Ли Дэном. и коллеги из Microsoft Research, первоначально в рамках совместной работы Microsoft и Университета Торонто, которая впоследствии была расширена за счет IBM и Google (отсюда подзаголовок «Общие взгляды четырех исследовательских групп» в их обзорном документе 2012 года). Руководитель исследования Microsoft назвал это нововведение «самым резким изменением точности с 1979 года». В отличие от устойчивых постепенных улучшений последних нескольких десятилетий, применение глубокого обучения снизило частоту ошибок в словах на 30%. Это нововведение быстро распространилось по всей отрасли. Исследователи также начали использовать методы глубокого обучения для языкового моделирования.

In the long history of speech recognition, both shallow form and deep form (e.g. recurrent nets) of artificial neural networks had been explored for many years during 1980s, 1990s and a few years into the 2000s.But these methods never won over the non-uniform internal-handcrafting Gaussian mixture model/hidden Markov model (GMM-HMM) technology based on generative models of speech trained discriminatively. A number of key difficulties had been methodologically analyzed in the 1990s, including gradient diminishing and weak temporal correlation structure in the neural predictive models. All these difficulties were in addition to the lack of big training data and big computing power in these early days. Most speech recognition researchers who understood such barriers hence subsequently moved away from neural nets to pursue generative modeling approaches until the recent resurgence of deep learning starting around 2009–2010 that had overcome all these difficulties. Hinton et al. and Deng et al. reviewed part of this recent history about how their collaboration with each other and then with colleagues across four groups (University of Toronto, Microsoft, Google, and IBM) ignited a renaissance of applications of deep feedforward neural networks for speech recognition.

2010s

By early 2010s speech recognition, also called voice recognition was clearly differentiated from speaker recognition, and speaker independence was considered a major breakthrough. Until then, systems required a "training" period. A 1987 ad for a doll had carried the tagline "Finally, the doll that understands you." – despite the fact that it was described as "which children could train to respond to their voice".

In 2017, Microsoft researchers reached a historical human parity milestone of transcribing conversational telephony speech on the widely benchmarked Switchboard task. Multiple deep learning models were used to optimize speech recognition accuracy. The speech recognition word error rate was reported to be as low as 4 professional human transcribers working together on the same benchmark, which was funded by IBM Watson speech team on the same task.

Models, methods, and algorithms

Both acoustic modeling and language modeling are important parts of modern statistically based speech recognition algorithms. Hidden Markov models (HMMs) are widely used in many systems. Language modeling is also used in many other natural language processing applications such as document classification or statistical machine translation.

Hidden Markov models

Main article: Hidden Markov model

Modern general-purpose speech recognition systems are based on hidden Markov models. These are statistical models that output a sequence of symbols or quantities. HMMs are used in speech recognition because a speech signal can be viewed as a piecewise stationary signal or a short-time stationary signal. In a short time scale (e.g., 10 milliseconds), speech can be approximated as a stationary process. Speech can be thought of as a Markov model for many stochastic purposes.

Another reason why HMMs are popular is that they can be trained automatically and are simple and computationally feasible to use. In speech recognition, the hidden Markov model would output a sequence of n-dimensional real-valued vectors (with n being a small integer, such as 10), outputting one of these every 10 milliseconds. The vectors would consist of cepstral coefficients, which are obtained by taking a Fourier transform of a short time window of speech and decorrelating the spectrum using a cosine transform, then taking the first (most significant) coefficients. The hidden Markov model will tend to have in each state a statistical distribution that is a mixture of diagonal covariance Gaussians, which will give a likelihood for each observed vector. Each word, or (for more general speech recognition systems), each phoneme, will have a different output distribution; a hidden Markov model for a sequence of words or phonemes is made by concatenating the individual trained hidden Markov models for the separate words and phonemes.

Described above are the core elements of the most common, HMM-based approach to speech recognition. Modern speech recognition systems use various combinations of a number of standard techniques in order to improve results over the basic approach described above. A typical large-vocabulary system would need context dependency for the phonemes (so that phonemes with different left and right context would have different realizations as HMM states); it would use cepstral normalization to normalize for a different speaker and recording conditions; for further speaker normalization, it might use vocal tract length normalization (VTLN) for male-female normalization and maximum likelihood linear regression (MLLR) for more general speaker adaptation. The features would have so-called delta and delta-delta coefficients to capture speech dynamics and in addition, might use heteroscedastic linear discriminant analysis (HLDA); or might skip the delta and delta-delta coefficients and use splicing and an LDA-based projection followed perhaps by heteroscedastic linear discriminant analysis or a global semi-tied co variance transform (also known as maximum likelihood linear transform, or MLLT). Many systems use so-called discriminative training techniques that dispense with a purely statistical approach to HMM parameter estimation and instead optimize some classification-related measure of the training data. Examples are maximum mutual information (MMI), minimum classification error (MCE), and minimum phone error (MPE).

Decoding of the speech (the term for what happens when the system is presented with a new utterance and must compute the most likely source sentence) would probably use the Viterbi algorithm to find the best path, and here there is a choice between dynamically creating a combination hidden Markov model, which includes both the acoustic and language model information and combining it statically beforehand (the finite state transducer, or FST, approach).

A possible improvement to decoding is to keep a set of good candidates instead of just keeping the best candidate, and to use a better scoring function (re scoring) to rate these good candidates so that we may pick the best one according to this refined score. The set of candidates can be kept either as a list (the N-best list approach) or as a subset of the models (a lattice). Re scoring is usually done by trying to minimize the Bayes risk (or an approximation thereof) Instead of taking the source sentence with maximal probability, we try to take the sentence that minimizes the expectancy of a given loss function with regards to all possible transcriptions (i.e., we take the sentence that minimizes the average distance to other possible sentences weighted by their estimated probability). The loss function is usually the Levenshtein distance, though it can be different distances for specific tasks; the set of possible transcriptions is, of course, pruned to maintain tractability. Efficient algorithms have been devised to re score lattices represented as weighted finite state transducers with edit distances represented themselves as a finite state transducer verifying certain assumptions.

Dynamic time warping (DTW)-based speech recognition

Main article: Dynamic time warping

Dynamic time warping is an approach that was historically used for speech recognition but has now largely been displaced by the more successful HMM-based approach.

Dynamic time warping is an algorithm for measuring similarity between two sequences that may vary in time or speed. For instance, similarities in walking patterns would be detected, even if in one video the person was walking slowly and if in another he or she were walking more quickly, or even if there were accelerations and deceleration during the course of one observation. DTW has been applied to video, audio, and graphics – indeed, any data that can be turned into a linear representation can be analyzed with DTW.

A well-known application has been automatic speech recognition, to cope with different speaking speeds. In general, it is a method that allows a computer to find an optimal match between two given sequences (e.g., time series) with certain restrictions. That is, the sequences are "warped" non-linearly to match each other. This sequence alignment method is often used in the context of hidden Markov models.

Neural networks

Main article: Artificial neural network

Neural networks emerged as an attractive acoustic modeling approach in ASR in the late 1980s. Since then, neural networks have been used in many aspects of speech recognition such as phoneme classification, phoneme classification through multi-objective evolutionary algorithms, isolated word recognition, audiovisual speech recognition, audiovisual speaker recognition and speaker adaptation.

Neural networks make fewer explicit assumptions about feature statistical properties than HMMs and have several qualities making them more attractive recognition models for speech recognition. When used to estimate the probabilities of a speech feature segment, neural networks allow discriminative training in a natural and efficient manner. However, in spite of their effectiveness in classifying short-time units such as individual phonemes and isolated words, early neural networks were rarely successful for continuous recognition tasks because of their limited ability to model temporal dependencies.

One approach to this limitation was to use neural networks as a pre-processing, feature transformation or dimensionality reduction, step prior to HMM based recognition. However, more recently, LSTM and related recurrent neural networks (RNNs), Time Delay Neural Networks(TDNN's), and transformers have demonstrated improved performance in this area.

Deep feedforward and recurrent neural networks

Main article: Deep learning

Deep neural networks and denoising autoencoders are also under investigation. A deep feedforward neural network (DNN) is an artificial neural network with multiple hidden layers of units between the input and output layers. Similar to shallow neural networks, DNNs can model complex non-linear relationships. DNN architectures generate compositional models, where extra layers enable composition of features from lower layers, giving a huge learning capacity and thus the potential of modeling complex patterns of speech data.

A success of DNNs in large vocabulary speech recognition occurred in 2010 by industrial researchers, in collaboration with academic researchers, where large output layers of the DNN based on context dependent HMM states constructed by decision trees were adopted. See comprehensive reviews of this development and of the state of the art as of October 2014 in the recent Springer book from Microsoft Research. See also the related background of automatic speech recognition and the impact of various machine learning paradigms, notably including deep learning, inrecent overview articles.

One fundamental principle of deep learning is to do away with hand-crafted feature engineering and to use raw features. This principle was first explored successfully in the architecture of deep autoencoder on the "raw" spectrogram or linear filter-bank features, showing its superiority over the Mel-Cepstral features which contain a few stages of fixed transformation from spectrograms.The true "raw" features of speech, waveforms, have more recently been shown to produce excellent larger-scale speech recognition results.

End-to-end automatic speech recognition

Since 2014, there has been much research interest in "end-to-end" ASR. Traditional phonetic-based (i.e., all HMM-based model) approaches required separate components and training for the pronunciation, acoustic, and language model. End-to-end models jointly learn all the components of the speech recognizer. This is valuable since it simplifies the training process and deployment process. For example, a n-gram language model is required for all HMM-based systems, and a typical n-gram language model often takes several gigabytes in memory making them impractical to deploy on mobile devices. Consequently, modern commercial ASR systems from Google and Apple (as of 2017) are deployed on the cloud and require a network connection as opposed to the device locally.

The first attempt at end-to-end ASR was with Connectionist Temporal Classification (CTC)-based systems introduced by Alex Graves of Google DeepMind and Navdeep Jaitly of the University of Toronto in 2014. The model consisted of recurrent neural networks and a CTC layer. Jointly, the RNN-CTC model learns the pronunciation and acoustic model together, however it is incapable of learning the language due to conditional independence assumptions similar to a HMM. Consequently, CTC models can directly learn to map speech acoustics to English characters, but the models make many common spelling mistakes and must rely on a separate language model to clean up the transcripts. Later, Baidu expanded on the work with extremely large datasets and demonstrated some commercial success in Chinese Mandarin and English. In 2016, University of Oxford presented LipNet, the first end-to-end sentence-level lipreading model, using spatiotemporal convolutions coupled with an RNN-CTC architecture, surpassing human-level performance in a restricted grammar dataset. A large-scale CNN-RNN-CTC architecture was presented in 2018 by Google DeepMind achieving 6 times better performance than human experts.

An alternative approach to CTC-based models are attention-based models. Attention-based ASR models were introduced simultaneously by Chan et al. of Carnegie Mellon University and Google Brain and Bahdanau et al. of the University of Montreal in 2016. The model named "Listen, Attend and Spell" (LAS), literally "listens" to the acoustic signal, pays "attention" to different parts of the signal and "spells" out the transcript one character at a time. Unlike CTC-based models, attention-based models do not have conditional-independence assumptions and can learn all the components of a speech recognizer including the pronunciation, acoustic and language model directly. This means, during deployment, there is no need to carry around a language model making it very practical for applications with limited memory. By the end of 2016, the attention-based models have seen considerable success including outperforming the CTC models (with or without an external language model). Various extensions have been proposed since the original LAS model. Latent Sequence Decompositions (LSD) was proposed by Carnegie Mellon University, MIT and Google Brain to directly emit sub-word units which are more natural than English characters; University of Oxford and Google DeepMind extended LAS to "Watch, Listen, Attend and Spell" (WLAS) to handle lip reading surpassing human-level performance.

Applications

In-car systems

Typically a manual control input, for example by means of a finger control on the steering-wheel, enables the speech recognition system and this is signaled to the driver by an audio prompt. Following the audio prompt, the system has a "listening window" during which it may accept a speech input for recognition.

Simple voice commands may be used to initiate phone calls, select radio stations or play music from a compatible smartphone, MP3 player or music-loaded flash drive. Voice recognition capabilities vary between car make and model. Some of the most recent car models offer natural-language speech recognition in place of a fixed set of commands, allowing the driver to use full sentences and common phrases. With such systems there is, therefore, no need for the user to memorize a set of fixed command words.

Education

Main article: Pronunciation assessment

Automatic pronunciation assessment is the use of speech recognition to verify the correctness of pronounced speech, as distinguished from manual assessment by an instructor or proctor. Also called speech verification, pronunciation evaluation, and pronunciation scoring, the main application of this technology is computer-aided pronunciation teaching (CAPT) when combined with computer-aided instruction for computer-assisted language learning (CALL), speech remediation, or accent reduction. Pronunciation assessment does not determine unknown speech (as in dictation or automatic transcription) but instead, knowing the expected word(s) in advance, it attempts to verify the correctness of the learner's pronunciation and ideally their intelligibility to listeners, sometimes along with often inconsequential prosody such as intonation, pitch, tempo, rhythm, and stress. Pronunciation assessment is also used in reading tutoring, for example in products such as Microsoft Teams and from Amira Learning. Automatic pronunciation assessment can also be used to help diagnose and treat speech disorders such as apraxia.

Assessing authentic listener intelligibility is essential for avoiding inaccuracies from accent bias, especially in high-stakes assessments; from words with multiple correct pronunciations; and from phoneme coding errors in machine-readable pronunciation dictionaries. In 2022, researchers found that some newer speech to text systems, based on end-to-end reinforcement learning to map audio signals directly into words, produce word and phrase confidence scores very closely correlated with genuine listener intelligibility. In the Common European Framework of Reference for Languages (CEFR) assessment criteria for "overall phonological control", intelligibility outweighs formally correct pronunciation at all levels.

Health care

Medical documentation

In the health care sector, speech recognition can be implemented in front-end or back-end of the medical documentation process. Front-end speech recognition is where the provider dictates into a speech-recognition engine, the recognized words are displayed as they are spoken, and the dictator is responsible for editing and signing off on the document. Back-end or deferred speech recognition is where the provider dictates into a digital dictation system, the voice is routed through a speech-recognition machine and the recognized draft document is routed along with the original voice file to the editor, where the draft is edited and report finalized. Deferred speech recognition is widely used in the industry currently.

One of the major issues relating to the use of speech recognition in healthcare is that the American Recovery and Reinvestment Act of 2009 (ARRA) provides for substantial financial benefits to physicians who utilize an EMR according to "Meaningful Use" standards. These standards require that a substantial amount of data be maintained by the EMR (now more commonly referred to as an Electronic Health Record or EHR). The use of speech recognition is more naturally suited to the generation of narrative text, as part of a radiology/pathology interpretation, progress note or discharge summary: the ergonomic gains of using speech recognition to enter structured discrete data (e.g., numeric values or codes from a list or a controlled vocabulary) are relatively minimal for people who are sighted and who can operate a keyboard and mouse.

A more significant issue is that most EHRs have not been expressly tailored to take advantage of voice-recognition capabilities. A large part of the clinician's interaction with the EHR involves navigation through the user interface using menus, and tab/button clicks, and is heavily dependent on keyboard and mouse: voice-based navigation provides only modest ergonomic benefits. By contrast, many highly customized systems for radiology or pathology dictation implement voice "macros", where the use of certain phrases – e.g., "normal report", will automatically fill in a large number of default values and/or generate boilerplate, which will vary with the type of the exam – e.g., a chest X-ray vs. a gastrointestinal contrast series for a radiology system.

Therapeutic use

Prolonged use of speech recognition software in conjunction with word processors has shown benefits to short-term-memory restrengthening in brain AVM patients who have been treated with resection. Further research needs to be conducted to determine cognitive benefits for individuals whose AVMs have been treated using radiologic techniques.

Military

High-performance fighter aircraft

Substantial efforts have been devoted in the last decade to the test and evaluation of speech recognition in fighter aircraft. Of particular note have been the US program in speech recognition for the Advanced Fighter Technology Integration (AFTI)/F-16 aircraft (F-16 VISTA), the program in France for Mirage aircraft, and other programs in the UK dealing with a variety of aircraft platforms. In these programs, speech recognizers have been operated successfully in fighter aircraft, with applications including setting radio frequencies, commanding an autopilot system, setting steer-point coordinates and weapons release parameters, and controlling flight display.

Working with Swedish pilots flying in the JAS-39 Gripen cockpit, Englund (2004) found recognition deteriorated with increasing g-loads. The report also concluded that adaptation greatly improved the results in all cases and that the introduction of models for breathing was shown to improve recognition scores significantly. Contrary to what might have been expected, no effects of the broken English of the speakers were found. It was evident that spontaneous speech caused problems for the recognizer, as might have been expected. A restricted vocabulary, and above all, a proper syntax, could thus be expected to improve recognition accuracy substantially.

Eurofighter Typhoon , в настоящее время стоящий на вооружении ВВС Великобритании , использует систему, зависящую от динамика, требующую от каждого пилота создания шаблона. Система не используется для каких-либо задач, важных для безопасности или вооружения, таких как выпуск оружия или опускание шасси, но используется для широкого спектра других функций кабины. Голосовые команды подтверждаются визуальным и/или слуховым откликом. Система рассматривается как основная конструктивная особенность, позволяющая снизить рабочую нагрузку пилотов . и даже позволяет пилоту назначать цели своему самолету с помощью двух простых голосовых команд или любому из своих ведомых с помощью всего пяти команд.

Независимые от динамиков системы также разрабатываются и проходят испытания для F35 Lightning II (JSF) и Alenia Aermacchi M-346 Master учебного истребителя . Эти системы показали точность слов, превышающую 98%.

Вертолеты

Проблемы достижения высокой точности распознавания в условиях стресса и шума особенно актуальны как для вертолетов , так и для реактивных истребителей. Проблема акустического шума на самом деле более серьезна в среде вертолета не только из-за высокого уровня шума, но и потому, что пилот вертолета, как правило, не носит лицевую маску , которая снизила бы акустический шум в микрофоне . За последнее десятилетие были проведены обширные программы испытаний и оценки приложений систем распознавания речи на вертолетах, в частности, Отделом исследований и разработок авионики армии США (AVRADA) и Королевским аэрокосмическим учреждением ( RAE ) в Великобритании. Работа во Франции включала распознавание речи на вертолете Puma . также было проделано много полезной работы В Канаде . Результаты были обнадеживающими: голосовые приложения включали в себя: управление радиосвязью, настройку навигационных систем и управление автоматизированной системой передачи цели.

Как и в случае с истребителями, основной проблемой голосовой связи в вертолетах является ее влияние на эффективность пилотирования. Сообщается об обнадеживающих результатах испытаний AVRADA, хотя они представляют собой лишь демонстрацию осуществимости в тестовой среде. Еще многое предстоит сделать как в распознавании речи, так и в технологии речи в целом , чтобы последовательно добиваться повышения производительности в операционных условиях.

Обучение авиадиспетчеров

Обучение диспетчеров воздушного движения (УВД) представляет собой отличное применение систем распознавания речи. Многие системы обучения УВД в настоящее время требуют, чтобы человек действовал в качестве «псевдопилота», участвуя в голосовом диалоге с диспетчером-стажером, который имитирует диалог, который диспетчеру пришлось бы вести с пилотами в реальной ситуации УВД. речи Методы распознавания и синтеза потенциально могут исключить необходимость выполнения человеком функций псевдопилота, тем самым сокращая объем обучения и вспомогательного персонала. Теоретически задачи воздушного контроллера также характеризуются высокоструктурированной речью в качестве основного вывода контроллера, следовательно, должно быть возможно снижение сложности задачи распознавания речи. На практике это случается редко. В документе FAA 7110.65 подробно описаны фразы, которые должны использовать авиадиспетчеры. Хотя в этом документе приведено менее 150 примеров таких фраз, количество фраз, поддерживаемых системами распознавания речи одного из поставщиков симуляторов, превышает 500 000.

ВВС США, морская пехота США, армия США, ВМС США и ФАУ, а также ряд международных учебных организаций по УВД, таких как Королевские ВВС Австралии и органы гражданской авиации в Италии, Бразилии и Канаде, в настоящее время используют симуляторы УВД с распознаванием речи от множество разных продавцов.

Телефония и другие домены

ASR в настоящее время является обычным явлением в области телефонии и становится все более распространенным в области компьютерных игр и моделирования. В системах телефонии ASR сейчас преимущественно используется в контакт-центрах путем интеграции с системами IVR . Несмотря на высокий уровень интеграции с текстовой обработкой в ​​обычных персональных компьютерах, в области производства документов ASR не наблюдается ожидаемого роста использования.

Повышение скорости мобильных процессоров сделало распознавание речи практичным в смартфонах . Речь используется в основном как часть пользовательского интерфейса для создания предопределенных или пользовательских речевых команд.

Люди с ограниченными возможностями

Люди с ограниченными возможностями могут воспользоваться программами распознавания речи. Для глухих или слабослышащих людей программное обеспечение распознавания речи используется для автоматического создания субтитров разговоров, таких как дискуссии в конференц-залах, классные лекции и/или религиозные службы.

Учащиеся, которые слепы (см. « Слепота и образование ») или имеют очень слабое зрение, могут получить пользу от использования этой технологии для передачи слов, а затем услышать, как компьютер их произносит, а также использовать компьютер, командуя голосом, вместо того, чтобы смотреть на экран и клавиатура.

Учащиеся с ограниченными физическими возможностями, получившие травму от повторяющегося напряжения или другие травмы верхних конечностей, могут быть освобождены от необходимости беспокоиться о почерке, наборе текста или работе с писцом над школьными заданиями, используя программы преобразования речи в текст. Они также могут использовать технологию распознавания речи, чтобы наслаждаться поиском в Интернете или использованием компьютера дома без необходимости физически управлять мышью и клавиатурой.

Распознавание речи может позволить учащимся с ограниченными возможностями обучения лучше писать. Произнося слова вслух, они могут повысить плавность письма и избавить их от проблем, связанных с орфографией, пунктуацией и другими механизмами письма. Также см. Неспособность к обучению .

Использование программного обеспечения для распознавания голоса в сочетании с цифровым диктофоном и персональным компьютером с программным обеспечением для обработки текста оказалось положительным для восстановления поврежденной емкости кратковременной памяти у людей, перенесших инсульт или трепанацию черепа.

Распознавание речи также очень полезно для людей, испытывающих трудности с использованием рук: от легких травм, вызванных повторяющимся стрессом, до инвалидности, не позволяющей использовать обычные компьютерные устройства ввода. Фактически, люди, которые много использовали клавиатуру и разработали RSI, стали востребованным ранним рынком для распознавания речи. Распознавание речи используется в для глухих телефонии , например, голосовая почта в текст, услуги ретрансляции и телефон с субтитрами . Лица с ограниченными возможностями обучения, у которых есть проблемы с коммуникацией мысли на бумаге (по сути, они думают об идее, но она обрабатывается неправильно, в результате чего на бумаге она оказывается по-другому), возможно, могут получить пользу от программного обеспечения, но технология не защищена от ошибок. Кроме того, сама идея говорить с текстом может быть трудной для человека с ограниченными интеллектуальными возможностями из-за того, что редко кто-либо пытается изучить технологию обучения человека с ограниченными возможностями.

Этот тип технологии может помочь людям с дислексией, но другие виды инвалидности все еще под вопросом. Эффективность продукта – это проблема, которая мешает ему быть эффективным. Хотя ребенок может произнести слово в зависимости от того, насколько четко он его произнес, технология может подумать, что он говорит другое слово, и ввести неправильное. Им приходится тратить больше времени на исправление неправильного слова.

Дальнейшие применения

• Аэрокосмическая отрасль (например , исследование космоса , космические корабли НАСА и т. д.) Марсианский полярный посадочный модуль использовал технологию распознавания речи от Sensory, Inc. в марсианском микрофоне на посадочном модуле.
• Автоматические субтитры с распознаванием речи
• Автоматическое распознавание эмоций
• Автоматический список кадров в аудиовизуальном производстве
• Автоматический перевод
• eDiscovery (Юридическое раскрытие)
• Компьютерные вычисления без помощи рук : пользовательский интерфейс компьютера с распознаванием речи
• Домашняя автоматизация
• Интерактивный голосовой ответ
• Мобильная телефония , включая мобильную электронную почту
• Мультимодальное взаимодействие
• в реальном времени Субтитры
• Робототехника
• Безопасность, включая использование с другими биометрическими сканерами для многофакторной аутентификации.
• Речь в текст (транскрипция речи в текст, субтитры к видео в реальном времени , судебные протоколы)
• Телематика (например, навигационные системы транспортных средств)
• Транскрипция (цифровое преобразование речи в текст)
• Видеоигры , которых — Tom Clancy's EndWar и Lifeline. рабочие примеры
• Виртуальный помощник (например, Siri от Apple )

Производительность

Производительность систем распознавания речи обычно оценивают с точки зрения точности и скорости. Точность обычно оценивается коэффициентом ошибок в словах (WER), тогда как скорость измеряется коэффициентом реального времени . Другие меры точности включают коэффициент ошибок в одном слове (SWER) и коэффициент успешности команд (CSR).

Однако машинное распознавание речи — очень сложная проблема. Вокализации различаются по акценту, произношению, артикуляции, шероховатости, назальности, высоте, громкости и скорости. Речь искажается фоновым шумом и эхом, электрическими характеристиками. Точность распознавания речи может варьироваться в зависимости от следующих факторов:

• Размер словарного запаса и его путаница
• Зависимость говорящего против независимости
• Изолированная, прерывистая или непрерывная речь
• Ограничения по задачам и языку
• Чтение против спонтанной речи
• Неблагоприятные условия

Точность

Как упоминалось ранее в этой статье, точность распознавания речи может варьироваться в зависимости от следующих факторов:

• Частота ошибок увеличивается по мере увеличения размера словаря:

например, 10 цифр от «ноля» до «девяти» могут распознаваться практически идеально, но размеры словаря 200, 5000 или 100 000 могут иметь частоту ошибок 3%, 7% или 45% соответственно.

• Словарный запас трудно распознать, если он содержит запутанные буквы:

например, 26 букв английского алфавита трудно различить, потому что они путают слова (наиболее известный набор E: «B, C, D, E, G, P, T, V, Z — когда «Z» произносится как «зи», а не «зед» в зависимости от английского региона); уровень ошибок в 8% считается хорошим для этого словаря.

• Зависимость от говорящего против независимости:

Динамико-зависимая система предназначена для использования одним динамиком.

Динамико-независимая система предназначена для использования любым динамиком (более сложно).

• Изолированная, прерывистая или непрерывная речь

При изолированной речи используются отдельные слова, поэтому распознавать речь становится легче.

При прерывистой речи используются полные предложения, разделенные молчанием, поэтому распознавать речь становится легче, как и при изолированной речи.
При слитной речи используются естественно произнесенные предложения, поэтому становится труднее распознавать речь, отличающуюся как от изолированной, так и от прерывистой речи.

• Ограничения по задачам и языку
  • например, запрашивающее приложение может отклонить гипотезу «Яблоко красное».
  • например, ограничения могут быть семантическими; отвергая «Яблоко сердится».
  • например Синтаксический; отвергая «Красное яблоко».

Ограничения часто представляются грамматикой.

• Чтение против спонтанной речи. Когда человек читает, он обычно читает в заранее подготовленном контексте, но когда человек использует спонтанную речь, ему трудно распознать речь из-за нарушений плавности речи (например, «э-э» и «м-м»). фальстарты, неполные предложения, заикание, кашель и смех) и ограниченный словарный запас.
• Неблагоприятные условия – Шум окружающей среды (например, шум в автомобиле или на заводе). Акустические искажения (например, эхо, акустика помещения)

Распознавание речи — это многоуровневая задача распознавания образов.

• Акустические сигналы структурированы в иерархию единиц, например , фонемы , слова, фразы и предложения;
• Каждый уровень предоставляет дополнительные ограничения;

например, известное произношение слов или допустимые последовательности слов, которые могут компенсировать ошибки или неточности на более низком уровне;

• Эта иерархия ограничений используется. Благодаря вероятностному объединению решений на всех нижних уровнях и принятию более детерминированных решений только на самом высоком уровне, машинное распознавание речи представляет собой процесс, разбитый на несколько этапов. С вычислительной точки зрения это проблема, в которой звуковой образец необходимо распознать или классифицировать по категории, которая представляет значение для человека. Каждый акустический сигнал можно разбить на более мелкие, более базовые подсигналы. Поскольку более сложный звуковой сигнал разбивается на более мелкие подзвуки, создаются разные уровни, где на верхнем уровне мы имеем сложные звуки, которые состоят из более простых звуков на нижнем уровне и переходят на более низкие уровни, еще больше, мы создаем более простые, короткие и простые звуки. На самом низком уровне, где звуки являются наиболее фундаментальными, машина будет проверять простые и более вероятностные правила того, что должен представлять звук. Как только эти звуки объединятся в более сложные звуки на верхнем уровне, новый набор более детерминированных правил должен предсказать, что должен представлять собой новый сложный звук. Самый верхний уровень детерминированного правила должен определять значение сложных выражений. Чтобы расширить наши знания о распознавании речи, нам необходимо принять во внимание нейронные сети. Существует четыре этапа подхода нейронной сети:
• Оцифруйте речь, которую мы хотим распознать

Для телефонной речи частота дискретизации составляет 8000 выборок в секунду;

• Вычислить характеристики спектральной области речи (с преобразованием Фурье);

вычисляется каждые 10 мс, с одним участком длительностью 10 мс, называемым кадром;

Анализ подходов четырехшаговых нейронных сетей можно объяснить с помощью дополнительной информации. Звук создается вибрацией воздуха (или какой-либо другой среды), которую мы регистрируем ушами, а машины — приемниками. Основной звук создает волну, которая имеет два описания: амплитуда (насколько она сильна) и частота (как часто она вибрирует в секунду).Точность можно вычислить с помощью коэффициента ошибок в словах (WER). Коэффициент ошибок в словах можно рассчитать путем выравнивания распознанного слова и слова, на которое есть ссылка, с использованием динамического выравнивания строк. Проблема может возникнуть при вычислении частоты ошибок в словах из-за разницы между длинами последовательностей распознанного слова и слова, на которое ссылаются.

Формула для расчета коэффициента ошибок в словах (WER):

$WER={(s+d+i) \over n}$

где s — количество замен, d — количество удалений, i — количество вставок, а n — количество ссылок на слова.

При вычислениях используется скорость распознавания слов (WRR). Формула:

$WRR=1-WER={(n-s-d-i) \over n}={h-i \over n}$

где h — количество правильно распознанных слов:

$h=n-(s+d).$

Проблемы безопасности

Распознавание речи может стать средством атаки, кражи или случайного срабатывания. Например, слова активации, такие как «Alexa», произнесенные в аудио- или видеотрансляции, могут привести к тому, что устройства в домах и офисах начнут ненадлежащим образом прослушивать входные данные или, возможно, предпримут нежелательные действия. Устройства с голосовым управлением также доступны посетителям здания или даже тем, кто находится за пределами здания, если их можно услышать внутри. Злоумышленники могут получить доступ к личной информации, такой как календарь, содержимое адресной книги, личные сообщения и документы. Они также могут выдавать себя за пользователя, чтобы отправлять сообщения или совершать онлайн-покупки.

Были продемонстрированы две атаки с использованием искусственных звуков. Один передает ультразвук и пытается отправить команды незаметно для окружающих. Другой добавляет небольшие неслышимые искажения к другой речи или музыке, которые специально созданы для того, чтобы сбить с толку конкретную систему распознавания речи и заставить ее распознавать музыку как речь, или чтобы то, что для человека звучит как одна команда, звучало как другая команда для системы.

Дополнительная информация

Конференции и журналы

Популярные конференции по распознаванию речи, проводимые каждый год или два, включают SpeechTEK и SpeechTEK Europe, ICASSP , Interspeech /Eurospeech и IEEE ASRU. Конференции в области обработки естественного языка , такие как ACL , NAACL , EMNLP и HLT, начинают включать статьи по обработке речи . Важные журналы включают IEEE Transactions on Speech and Language Processing (позже переименованный в IEEE Transactions on Audio, Speech and Language Processing, а с сентября 2014 года переименованный в IEEE /ACM Transactions on Audio, Speech and Language Processing — после слияния с публикацией ACM), Computer Speech. и язык, и речевое общение.

Книги

Такие книги, как «Основы распознавания речи» Лоуренса Рабинера, могут быть полезны для приобретения базовых знаний, но могут быть не совсем современными (1993). Еще одним хорошим источником могут быть «Статистические методы распознавания речи» Фредерика Елинека и «Обработка разговорной речи (2001)» Сюэдуна Хуанга и др., «Компьютерная речь» Манфреда Р. Шредера , второе издание, опубликованное в 2004 году, и «Речь». Обработка: динамический и ориентированный на оптимизацию подход», опубликованный в 2003 году Ли Дэном и Дугом О'Шонесси. В обновленном учебнике «Обработка речи и языка» (2008 г.) Юрафски и Мартина представлены основы и современное состояние ASR. Распознавание говорящего также использует те же функции, большую часть той же внешней обработки и методов классификации, что и при распознавании речи. Комплексный учебник «Основы распознавания говорящих» представляет собой подробный источник актуальной информации о теории и практике. Хорошее представление о методах, используемых в лучших современных системах, можно получить, обратив внимание на спонсируемые правительством оценки, например, организованные DARPA (крупнейшим проектом, связанным с распознаванием речи, продолжающимся по состоянию на 2007 год, является проект GALE, который включает в себя как распознавание речи, так и и компоненты перевода).

Хорошее и доступное введение в технологию распознавания речи и ее историю дает книга Роберто Пьераччини для широкой аудитории «Голос в машине. Создание компьютеров, которые понимают речь» (2012).

Самая последняя книга по распознаванию речи — «Автоматическое распознавание речи: подход к глубокому обучению» (издатель: Springer), написанная исследователями Microsoft Д. Ю и Л. Денгом и опубликованная в конце 2014 года, с математически ориентированными техническими подробностями о том, как глубокое обучение методы выводятся и реализуются в современных системах распознавания речи на основе DNN и связанных с ними методов глубокого обучения. Соответствующая книга Л. Денга и Д. Ю «Глубокое обучение: методы и приложения», опубликованная ранее в 2014 году, представляет собой менее технический, но более методологически ориентированный обзор распознавания речи на основе DNN в 2009–2014 годах, помещенный в более общий контекст приложений глубокого обучения, включая не только распознавание речи, но и распознавание изображений, обработку естественного языка, поиск информации, мультимодальную обработку и многозадачное обучение.

Программное обеспечение

Что касается свободно доступных ресурсов, Карнеги-Меллона Университета набор инструментов Sphinx — это то место, где можно начать как изучать распознавание речи, так и начать экспериментировать. Еще один ресурс (бесплатный, но защищенный авторским правом) — это книга HTK (и прилагаемый к ней набор инструментов HTK). Для более современных и современных методов Kaldi . можно использовать набор инструментов В 2017 году Mozilla запустила проект с открытым исходным кодом под названием Common Voice. собрать большую базу данных голосов, которая поможет создать бесплатный проект распознавания речи DeepSpeech (доступен бесплатно на GitHub ), с использованием платформы Google с открытым исходным кодом TensorFlow . Когда Mozilla перенаправила финансирование из проекта в 2020 году, первоначальные разработчики создали его форк как Coqui STT. используя ту же лицензию с открытым исходным кодом.

Google Gboard поддерживает распознавание речи во всех Android приложениях . Его можно активировать через микрофона значок .

Коммерческие облачные API-интерфейсы распознавания речи широко доступны.

Дополнительные ресурсы по программному обеспечению см. в разделе Список программного обеспечения для распознавания речи .

См. также

• AI-эффект
• АЛЬПАК
• Приложения искусственного интеллекта
• Распознавание артикуляционной речи
• Аудио майнинг
• Аудиовизуальное распознавание речи
• Автоматический языковой переводчик
• Автомобильное головное устройство
• Брэйна
• Модель языка кэша
• Дракон ЕстественноГоворящий
• Свободная голосовая технология
• Голосовой поиск Google
• IBM черезVoice
• Определение ключевых слов
• Кинект
• Монграден
• Поиск мультимедийной информации
• Происхождение речи
• Технология фонетического поиска
• Диаризация спикеров
• Распознавание говорящего
• Речевая аналитика
• Рекомендации по речевому интерфейсу
• Программное обеспечение для распознавания речи для Linux
• Синтез речи
• Проверка речи
• Субтитры (субтитры)
• ГолосXML
• VoxForge
• Распознавание речи Windows

Списки

• Список программного обеспечения для распознавания речи
• Список новых технологий
• Очерк искусственного интеллекта
• Хронология распознавания речи и голоса

Дальнейшее чтение

• Коул, Рональд; Мариани, Джозеф ; Ушкорейт, Ганс; Вариле, Джованни Баттиста; Заенен, Энни; Замполли; Зуэ, Виктор, ред. (1997). Обзор современного состояния технологий человеческого языка . Кембриджские исследования по обработке естественного языка. Том. XII–XIII. Издательство Кембриджского университета. ISBN  978-0-521-59277-2 .
• Жункуа, Ж.-К.; Хатон, Ж.-П. (1995). Надежность автоматического распознавания речи: основы и приложения . Академическое издательство Клувер. ISBN  978-0-7923-9646-8 .
• Карат, Клэр-Мари; Верго, Джон; Нахаму, Дэвид (2007). «Технологии диалогового интерфейса». В Сирс, Эндрю ; Джако, Джули А. (ред.). Справочник по взаимодействию человека и компьютера: основы, развивающиеся технологии и новые приложения (человеческий фактор и эргономика) . Лоуренса Эрлбаума Associates Inc. ISBN  978-0-8058-5870-9 .
• Пьераччини, Роберто (2012). Голос в машине. Создание компьютеров, понимающих речь . Массачусетский технологический институт Пресс. ISBN  978-0262016858 .
• Пирани, Джанкарло, изд. (2013). Передовые алгоритмы и архитектуры для понимания речи . Springer Science & Business Media. ISBN  978-3-642-84341-9 .
• Signer, Beat and Hoste, Lode: SpeeG2: интерфейс на основе речи и жестов для эффективного ввода текста без контроллера , в материалах ICMI 2013, 15-я Международная конференция по мультимодальному взаимодействию, Сидней, Австралия, декабрь 2013 г.
• Вельфель, Матиас; Макдонаф, Джон (26 мая 2009 г.). Распознавание речи на расстоянии . Уайли. ISBN  978-0470517048 .

Внешние ссылки

• Речевые технологии в Curlie