Jump to content

Коннекционистская временная классификация

Коннекционистская временная классификация ( CTC ) — это тип выходных данных нейронной сети и связанная с ней функция оценки для обучения рекуррентных нейронных сетей (RNN), таких как сети LSTM , для решения проблем последовательности, где время является переменным. Его можно использовать для таких задач, как распознавание рукописного текста в режиме онлайн. [1] или распознавание фонем в речевом аудио. CTC относится к результатам и оценке и не зависит от базовой структуры нейронной сети. Он был представлен в 2006 году. [2]

Входные данные представляют собой последовательность наблюдений, а выходные данные — последовательность меток, которые могут включать пустые выходные данные. Трудность обучения связана с тем, что наблюдений гораздо больше, чем меток. Например, в речевом звуке может быть несколько временных интервалов, соответствующих одной фонеме. Поскольку мы не знаем совпадения наблюдаемой последовательности с целевыми метками, мы прогнозируем распределение вероятностей на каждом временном шаге. [3] Сеть CTC имеет непрерывный выходной сигнал (например, softmax ), который настраивается посредством обучения для моделирования вероятности метки. CTC не пытается изучить границы и время: последовательности меток считаются эквивалентными, если они отличаются только выравниванием, игнорируя пробелы. Эквивалентные последовательности меток могут возникать разными способами, что делает оценку нетривиальной задачей, но для этого существует эффективный алгоритм вперед-назад .

Затем оценки CTC можно использовать с алгоритмом обратного распространения ошибки для обновления весов нейронной сети.

Альтернативные подходы к нейронной сети, оснащенной CTC, включают скрытую марковскую модель (HMM).

  1. ^ Ливицкий, Маркус; Грейвс, Алекс ; Бунке, Хорст; Шмидхубер, Юрген (2007). «Новый подход к онлайн-распознаванию рукописного текста, основанный на двунаправленных сетях долговременной краткосрочной памяти». В материалах 9-й Международной конференции по анализу и распознаванию документов, ICDAR 2007 . CiteSeerX   10.1.1.139.5852 .
  2. ^ Грейвс, Алекс ; Фернандес, Сантьяго; Гомес, Фаустино; Шмидхубер, Юрген (2006). «Временная классификация коннекционистов: маркировка данных несегментированных последовательностей с помощью рекуррентных нейронных сетей». Материалы Международной конференции по машинному обучению, ICML 2006 : 369–376. CiteSeerX   10.1.1.75.6306 .
  3. ^ Ханнун, Авни (27 ноября 2017 г.). «Моделирование последовательностей с помощью CTC». Дистиллировать . 2 (11). arXiv : 1508.01211 . дои : 10.23915/distill.00008 . ISSN   2476-0757 .
[ редактировать ]
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 209be2bfc7691507dd39faacd27ee5d1__1714778580
URL1:https://arc.ask3.ru/arc/aa/20/d1/209be2bfc7691507dd39faacd27ee5d1.html
Заголовок, (Title) документа по адресу, URL1:
Connectionist temporal classification - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)