Аналитика зашумленного текста

Аналитика зашумленного текста — это процесс извлечения информации , целью которого является автоматическое извлечение структурированной или полуструктурированной информации из зашумленных неструктурированных текстовых данных . Хотя анализ текста является растущей и зрелой областью, имеющей большую ценность из-за огромных объемов создаваемых данных, обработка зашумленного текста приобретает все большее значение, поскольку многие распространенные приложения создают зашумленные текстовые данные. Шумные неструктурированные текстовые данные встречаются в неформальных условиях, таких как онлайн-чаты , текстовые сообщения , электронная почта , доски объявлений , группы новостей , блоги , вики и веб-страницы . Кроме того, текст, полученный в результате обработки спонтанной речи с использованием автоматического распознавания речи , а также печатный или рукописный текст с использованием оптического распознавания символов, содержит шум обработки. Текст, созданный в таких обстоятельствах, обычно очень зашумлен и содержит орфографические ошибки, сокращения , нестандартные слова, фальстарты, повторы, пропущенные знаки препинания , недостающую информацию о регистре букв , слова для заполнения пауз, такие как «гм» и «ух», а также другие текстовые сообщения и речевые нарушения . Такой текст можно увидеть в больших количествах в контакт-центрах , чатах , оптическом распознавании символов (OCR) текстовых документов, тексте службы коротких сообщений (SMS) и т. д. Документы на историческом языке также можно считать зашумленными с точки зрения сегодняшних знаний о язык. Такой текст содержит важные исторические, религиозные, древние медицинские знания, которые могут оказаться полезными. Природа зашумленного текста, создаваемого во всех этих контекстах, требует выхода за рамки традиционных методов анализа текста.

Методы анализа зашумленного текста

Отсутствие знаков препинания и использование нестандартных слов часто могут мешать использованию стандартных инструментов обработки естественного языка, таких как маркировка частей речи. и разбор . Методы обучения на зашумленных данных и последующей обработки зашумленных данных разрабатываются только сейчас.

Возможный источник зашумленного текста

Всемирная паутина : Плохо написанный текст встречается на веб-страницах, в онлайн-чатах , блогах , вики , дискуссионных форумах , группах новостей . Большинство этих данных неструктурированы, а стиль написания сильно отличается от, скажем, хорошо написанных новостных статей. Анализ веб-данных важен, поскольку они являются источниками для анализа рынка, обзора рынка, оценки тенденций и т. д. Кроме того, из-за большого объема данных необходимо найти эффективные методы извлечения информации , классификации , автоматического обобщения и анализа. анализ этих данных.
Контакт-центры : это общий термин для справочных служб, информационных линий и центров обслуживания клиентов, работающих в самых разных областях: от продажи и поддержки компьютеров до мобильных телефонов и одежды. В среднем человек в развитом мире общается с оператором контакт-центра не реже одного раза в неделю. Типичный агент контакт-центра обрабатывает более ста звонков в день. Они работают в различных режимах, таких как голосовая связь, онлайн-чат и электронная почта . Индустрия контакт-центров производит гигабайты данных в виде электронных писем , журналов чатов, транскрипций голосовых разговоров , отзывов клиентов и т. д. Основная часть данных контакт-центров — это голосовые разговоры. Транскрипция их с использованием современного автоматического распознавания речи приводит к получению текста с вероятностью ошибок в словах 30-40% . Более того, даже письменные способы общения, такие как онлайн-чат между клиентами и агентами, и даже взаимодействие по электронной почте, как правило, являются шумными. Анализ данных контакт-центра необходим для управления взаимоотношениями с клиентами, анализа удовлетворенности клиентов, моделирования звонков, профилирования клиентов, профилирования агентов и т. д. и требует сложных методов обработки плохо написанного текста.
Печатные документы. Многие библиотеки, правительственные организации и организации национальной обороны имеют обширные хранилища печатных документов. Чтобы получить и обработать содержимое таких документов, их необходимо обработать с помощью оптического распознавания символов . Помимо печатного текста эти документы могут содержать и рукописные аннотации. Текст, распознанный методом оптического распознавания символов, может быть очень зашумлен в зависимости от размера шрифта, качества печати и т. д. словах может варьироваться от 2–3 % до 50–60 % Частота ошибок в . Рукописные аннотации могут быть особенно трудными для расшифровки, и в их присутствии частота ошибок может быть весьма высокой.
Служба коротких сообщений (SMS): использование языка в компьютерных дискуссиях, таких как чаты, электронные письма и тексты SMS, значительно отличается от стандартной формы языка. Стремление к сокращению длины сообщения, способствующему более быстрому набору текста, и потребность в семантической ясности формируют структуру этой нестандартной формы, известной как язык текстовых сообщений.

См. также

Ссылки

«Вонг, В., Лю, В. и Беннамун, М. Расширенная интегрированная оценка для очистки грязных текстов. В: Семинар IJCAI по аналитике зашумленных неструктурированных текстовых данных (AND), 2007; Хайдарабад, Индия». .
«Л. В. Субраманиам, С. Рой, Т. А. Фаруки, С. Неги, Обзор типов текстового шума и методов обработки зашумленного текста. В: Третий семинар по аналитике зашумленных неструктурированных текстовых данных (AND), 2009».