Модель шумного канала

Модель шумного канала — это структура, используемая в средствах проверки правописания . ответы на вопросы , распознавание речи и машинный перевод . В этой модели цель состоит в том, чтобы найти предполагаемое слово по слову, в котором буквы каким-то образом перепутались.

В проверке орфографии

См. главу B. ^[1]

Учитывая алфавит $\Sigma$ , позволять $\Sigma ^{*}$ быть набором всех конечных струн над $\Sigma$ . Пусть словарь $D$ допустимых слов быть некоторым подмножеством $\Sigma ^{*}$ , то есть, $D\subseteq \Sigma ^{*}$ .

Шумный канал – это матрица

\Gamma _{ws}=\Pr(s|w)

,

где $w\in D$ это предполагаемое слово и $s\in \Sigma ^{*}$ это зашифрованное слово, которое было фактически получено.

Цель модели шумного канала — найти нужное слово с учетом зашифрованное слово, которое было получено. Функция принятия решения $\sigma :\Sigma ^{*}\to D$ это функция, которая по зашифрованному слову возвращает задуманное слово.

К методам построения решающей функции относятся правило максимального правдоподобия , правило максимума апостериорного типа и правило минимального расстояния .

В некоторых случаях может быть лучше принять зашифрованное слово как задуманное. слово, а не пытаться найти нужное слово в словаре. Для Например, слова schönfinkeling может не быть в словаре, но оно может быть на самом деле быть подразумеваемым словом.

Пример

Рассмотрим английский алфавит $\Sigma =\{a,b,c,...,y,z,A,B,...,Z,...\}$ . Некоторое подмножество $D\subseteq \Sigma ^{*}$ составляет словарь валидного английского языка слова.

При наборе текста может возникнуть ряд ошибок, в том числе:

Пропущенные буквы, например, буква вместо буквы
Случайное добавление букв, например, ошибка вместо ошибки.
Перестановка писем, например, получено вместо полученного
Замена букв, например, фимит вместо конечного

Чтобы построить матрицу шумного канала $\Gamma$ , мы должны рассмотреть вероятность каждой ошибки, учитывая предполагаемое слово ( $\Pr(s|w)$ для всех $w\in D$ и $s\in \Sigma ^{*}$ ). Эти вероятности могут быть собраны, поскольку например, рассмотрев расстояние Дамерау – Левенштейна между $s$ и $w$ или сравнивая черновик эссе с уже имеющимся были отредактированы вручную для проверки правописания.

В машинном переводе

Естественно, возникает вопрос, можно ли рассматривать проблему перевода как проблему криптографии. Когда я смотрю на статью на русском языке, я говорю: «Это действительно написано по-английски, но закодировано какими-то странными символами». Теперь приступлю к расшифровке.
— Уоррен Уивер , письмо Норберту Винеру , 4 марта 1947 г.

См. главу 1 и главу 25. ^[2]

Предположим, мы хотим перевести иностранный язык на английский, мы могли бы смоделировать $P(E|F)$ напрямую: вероятность того, что у нас есть английское предложение E, учитывая иностранное предложение F, затем мы выбираем наиболее вероятное ${\hat {E}}=\arg \max _{E}P(E|F)$ . Однако по закону Байеса мы имеем эквивалентное уравнение: ${\hat {E}}={\underset {E\in {\text{ English }}}{\operatorname {argmax} }}\overbrace {P(F\mid E)} ^{\text{translation model }}\overbrace {P(E)} ^{\text{language model}}$ Преимущество модели шумного канала заключается в данных: если сбор параллельного корпуса обходится дорого, то у нас будет только небольшой параллельный корпус, поэтому мы сможем обучить только умеренно хорошую модель перевода с английского на иностранный и умеренно хорошая модель перевода с иностранного языка на английский. Однако мы можем собрать большой корпус только по иностранному языку и большой корпус только по английскому языку, чтобы обучить две хорошие языковые модели. Объединив эти четыре модели, мы сразу получаем хорошего англо-иностранного переводчика и хорошего иностранно-английского переводчика. ^[3]

Цена модели с шумным каналом заключается в том, что использование байесовского вывода обходится дороже, чем непосредственное использование модели перевода. Вместо того, чтобы зачитывать наиболее вероятный перевод, $\arg \max _{E}P(E|F)$ , ему придется считывать прогнозы как модели перевода, так и языковой модели, умножать их и искать наибольшее число.

В распознавании речи

Распознавание речи можно рассматривать как перевод со звукового языка на текстовый язык. Следовательно, мы имеем ${\hat {T}}={\underset {T\in {\text{ Text }}}{\operatorname {argmax} }}\overbrace {P(S\mid T)} ^{\text{speech model }}\overbrace {P(T)} ^{\text{language model}}$ где $P(S|T)$ - это вероятность того, что звук речи S будет воспроизведен, если говорящий намеревается произнести текст T. Интуитивно это уравнение утверждает, что наиболее вероятным текстом является текст, который одновременно является вероятным текстом на языке и с высокой вероятностью производит речевой звук .

Полезность модели с шумным каналом не в емкости. Теоретически любую модель канала с шумом можно воспроизвести прямым путем. $P(T|S)$ модель. Однако модель с шумным каналом разделяет модель на две части, соответствующие ситуации, и, следовательно, она в целом более эффективна.

Когда человек говорит, он не производит звук напрямую, а сначала производит текст, который хочет произнести, в языковых центрах мозга, затем текст преобразуется в звук моторной корой, голосовыми связками и другими частями мозга. тело. Модель шумового канала соответствует этой модели человека и поэтому подходит. Это оправдано практическим успехом модели шумного канала в распознавании речи.

Пример

Рассмотрим звуковое предложение (написанное в IPA для английского языка ) S = aɪ wʊd laɪk wʌn tuː . Есть три возможных текста $T_{1},T_{2},T_{3}$ :

$T_{1}=$ Я бы хотел, чтобы один.
$T_{2}=$ Я бы тоже хотел.
$T_{3}=$ Я бы хотел один два.

одинаково вероятны в том смысле, что $P(S|T_{1})=P(S|T_{2})=P(S|T_{3})$ . Имея хорошую модель английского языка, мы бы $P(T_{2})>P(T_{1})>P(T_{3})$ , так как второе предложение грамматическое, то первое не совсем, но близко к грамматическому (типа «Мне бы хотелось одного [пойти]»), а третье далеко от грамматического.

Следовательно, модель шумного канала будет выводить $T_{2}$ как лучшая транскрипция.

См. также

Теория кодирования

Ссылки

^ Юрафски, Дэн (2009). Обработка речи и языка: введение в обработку естественного языка, компьютерную лингвистику и распознавание речи . Джеймс Х. Мартин (2-е изд.). Река Аппер-Седл, ISBN Нью-Джерси 978-0-13-187321-6 . OCLC 213375806 . {{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )
^ Браун, Питер Ф.; Делла Пьетра, Стивен А.; Делла Пьетра, Винсент Дж.; Мерсер, Роберт Л. (1993). Хиршберг, Джулия (ред.). «Математика статистического машинного перевода: оценка параметров» . Компьютерная лингвистика . 19 (2): 263–311.

Брилл, Эрик; Мур, Роберт К. (январь 2000 г.). «Улучшенная модель ошибок для исправления орфографии в канале с шумом» . Труды ACL 2000 : 286–293. дои : 10.3115/1075218.1075255 .

[1] Обработка речи и языка. Дэниел Джурафски и Джеймс Х. Мартин. © 2023. Все права защищены. Черновик от 7 января 2023 г. https://web.stanford.edu/~jurafsky/slp3/B.pdf.

[2] Юрафски, Дэн (2009). Обработка речи и языка: введение в обработку естественного языка, компьютерную лингвистику и распознавание речи . Джеймс Х. Мартин (2-е изд.). Река Аппер-Седл, ISBN Нью-Джерси 978-0-13-187321-6 . OCLC 213375806 . {{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )

[3] Браун, Питер Ф.; Делла Пьетра, Стивен А.; Делла Пьетра, Винсент Дж.; Мерсер, Роберт Л. (1993). Хиршберг, Джулия (ред.). «Математика статистического машинного перевода: оценка параметров» . Компьютерная лингвистика . 19 (2): 263–311.

[1]

[2]

[3]