Модель языка кэша
Модель языка кэша — это тип статистической языковой модели . Они встречаются в области обработки естественного языка в области информатики и присваивают вероятности заданным последовательностям слов посредством распределения вероятностей . Статистические языковые модели являются ключевыми компонентами систем распознавания речи и многих систем машинного перевода : они сообщают таким системам, какие возможные выходные последовательности слов вероятны, а какие маловероятны. Особой характеристикой модели языка кэша является то, что она содержит компонент кэша и присваивает относительно высокие вероятности словам или последовательностям слов, которые встречаются в другом месте данного текста. Основное, но ни в коем случае не единственное использование моделей языка кэша — в системах распознавания речи. [ нужна ссылка ]
Чтобы понять, почему для статистической языковой модели полезно содержать компонент кэша, можно рассмотреть человека, который диктует системе распознавания речи письмо о слонах. Стандартные (некэшированные) языковые модели N-грамм присваивают слову «слон» очень низкую вероятность, поскольку это очень редкое слово в английском языке . Если система распознавания речи не содержит кэш-компонента, человек, диктующий букву, может быть раздражен: каждый раз, когда произносится слово «слон», может распознаваться другая последовательность слов с большей вероятностью согласно N-граммной модели языка ( например, «расскажи план»). Эти ошибочные последовательности придется удалять вручную и заменять в тексте словом «слон» каждый раз, когда произносится слово «слон». Если в системе есть модель языка кэша, слово «слон», вероятно, все равно будет неправильно распознано при первом произнесении, и его придется вводить в текст вручную; однако с этого момента система знает, что слово «слон» может появиться снова - предполагаемая вероятность появления слова «слон» была увеличена, что повышает вероятность того, что, если оно будет произнесено, оно будет распознано правильно. Если слово «слон» встречается несколько раз, система, скорее всего, распознает его правильно каждый раз, когда оно произносится, пока буква не будет полностью продиктована. Такое увеличение вероятности появления «слона» является примером следствия машинное обучение и, более конкретно, распознавание образов .
Существуют варианты модели языка кэша, в которых не только отдельным словам, но и последовательностям из нескольких слов, которые встречались ранее, присваиваются более высокие вероятности (например, если бы «Сан-Франциско» встречалось в начале текста, последующие его экземпляры были бы присвоены более высокая вероятность). [ нужна ссылка ]
Модель языка кэша была впервые предложена в статье, опубликованной в 1990 году. [1] после чего группа IBM по распознаванию речи экспериментировала с этой концепцией. Группа обнаружила, что внедрение модели языка кэша привело к снижению количества ошибок в словах на 24% после того, как были продиктованы первые несколько сотен слов документа. [2] Подробный обзор методов моделирования языка пришел к выводу, что модель языка кэша была одной из немногих новых технологий моделирования языка, которые дали улучшения по сравнению со стандартным подходом N-грамм: «Наши результаты кэширования показывают, что кэширование является, безусловно, наиболее полезным методом уменьшения недоумения. при малых и средних размерах обучающих данных ». [3]
Разработка модели кэш-языка вызвала значительный интерес среди тех, кто занимается компьютерной лингвистикой в целом и статистической обработкой естественного языка в частности: недавно появился интерес к применению модели кэш-языка в области статистического машинного перевода. [4]
Успех модели языка кэша в улучшении предсказания слов основан на человеческой склонности использовать слова «прерывисто»: когда кто-то обсуждает определенную тему в определенном контексте, частота, с которой он использует определенные слова, будет совершенно разной. от их частот, когда кто-то обсуждает другие темы в других контекстах. Традиционные модели языка N-грамм, которые полностью полагаются на информацию из очень небольшого числа (четырех, трех или двух) слов, предшествующих слову, которому должна быть присвоена вероятность, не могут адекватно моделировать эту «взрывоопасность». [ нужна ссылка ]
Недавно концепция модели языка кэша, первоначально задуманная для парадигмы статистической модели языка N-грамм, была адаптирована для использования в нейронной парадигме. Например, недавняя работа над языковыми моделями непрерывного кэширования в условиях рекуррентной нейронной сети (RNN) применила концепцию кэша к гораздо более широким контекстам, чем раньше, что привело к значительному уменьшению недоумения. [5] Еще одно недавнее направление исследований предполагает включение компонента кэша в модель нейронного языка с прямой связью (FN-LM) для достижения быстрой адаптации предметной области. [6]
См. также [ править ]
- Искусственный интеллект
- История обработки естественного языка
- История машинного перевода
- Распознавание речи
- Статистический машинный перевод
Ссылки [ править ]
- ^ Кун, Р.; Де Мори, Р. (июнь 1990 г.). «Модель естественного языка на основе кэша для распознавания речи» (PDF) . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 12 (6): 570–583. дои : 10.1109/34.56193 . ISSN 1939-3539 . Архивировано из оригинала (PDF) 1 сентября 2011 г. Проверено 24 сентября 2011 г. ( Абстрактный )
- ^ Ф. Елинек; Б. Мериальдо; С. Рукос и М. Штраус (1991). «Динамическая языковая модель для распознавания речи» (PDF) . Журнал Акустического общества Америки . 98 (2): 293–295. дои : 10.3115/112405.112464 . S2CID 11601499 . Архивировано из оригинала (PDF) 14 июня 2006 г. Конференция: Речь и естественный язык, материалы семинара, проходившего в Пасифик-Гроув, Калифорния, США, 19–22 февраля 1999 г.
- ^ Джошуа Т. Гудман (2001). Немного прогресса в языковом моделировании: расширенная версия . Редмонд, Вашингтон (США): Microsoft Research. arXiv : cs/0108005v1 . Бибкод : 2001cs........8005G . Технический отчет МСР-ТР-2001-72.
- ^ Тидеманн, Йорг (2010). Адаптация контекста в статистическом машинном переводе с использованием моделей с экспоненциально угасающим кэшем (PDF) . Материалы семинара 2010 г. по адаптации домена для обработки естественного языка, ACL 2010. Уппсала, Швеция: Ассоциация компьютерной лингвистики. стр. 8–15.
- ^ Эдуард Грейв; Мустафа Сиссе; Арман Жулен (2017). «Модель неограниченного кэша для онлайн-моделирования языка с открытым словарем» . NIPS'17 Материалы 31-й Международной конференции по нейронным системам обработки информации . Лонг-Бич, Калифорния: Ассоциация вычислительной техники. стр. 6044–6054. ISBN 978-1-5108-6096-4 .
- ^ Карел Бенеш; Сантош Кесираджу; Лукас Бергет (2018). i-векторы в языковом моделировании: эффективный способ адаптации предметной области для моделей с прямой связью . Interspeech 2018. Хайдарабад, Индия: Interspeech. стр. 3383–3387. doi : 10.21437/Interspeech.2018-1070 . S2CID 52192034 .
Дальнейшее чтение [ править ]
- Елинек, Фредерик (1997). Статистические методы распознавания речи . Массачусетский технологический институт Пресс . ISBN 0-262-10066-5 . Архивировано из оригинала 5 августа 2011 г. Проверено 24 сентября 2011 г.