✖


Jump to content

Обработка естественного языка

Чтобы узнать о других значениях, см. НЛП .
Эта статья посвящена обработке естественного языка, выполняемой компьютерами. Информацию об обработке естественного языка, выполняемой человеческим мозгом, см. в разделе « Обработка языка в мозге» .

Обработка естественного языка ( НЛП ) является междисциплинарной областью информатики и искусственного интеллекта . В первую очередь он связан с предоставлением компьютерам возможности обрабатывать данные, закодированные на естественном языке , и, таким образом, тесно связан с поиском информации , представлением знаний и компьютерной лингвистикой , подобластью лингвистики . Обычно данные собираются в текстовые корпуса на основе правил, статистических или нейронных подходов с использованием подходов машинного и глубокого обучения .

Основными задачами обработки естественного языка являются распознавание речи , классификация текста , понимание естественного языка и генерация естественного языка .

История

[ редактировать ]
Дополнительная информация: История обработки естественного языка.

Обработка естественного языка берет свое начало в 1940-х годах. [1] Уже в 1940 году Алан Тьюринг опубликовал статью под названием « Вычислительная техника и интеллект », в которой предложил то, что сейчас называется тестом Тьюринга , в качестве критерия интеллекта, хотя в то время это не было сформулировано как проблема, отдельная от искусственного интеллекта. Предлагаемый тест включает в себя задачу, предполагающую автоматическую интерпретацию и генерацию естественного языка.

Символическое НЛП (1950-е – начало 1990-х годов)

[ редактировать ]

Идея символического НЛП хорошо выражена в эксперименте Джона Сирла в китайской комнате : имея набор правил (например, китайский разговорник с вопросами и соответствующими ответами), компьютер имитирует понимание естественного языка (или другие задачи НЛП) путем применяя эти правила к данным, с которыми он сталкивается.

  • 1950-е : Джорджтаунский эксперимент 1954 года включал полностью автоматический перевод более шестидесяти русских предложений на английский язык. Авторы утверждали, что через три-пять лет машинный перевод станет решенной проблемой. [2] Однако реальный прогресс был гораздо медленнее, и после отчета ALPAC в 1966 году, в котором было установлено, что десятилетние исследования не оправдали ожиданий, финансирование машинного перевода резко сократилось. В Америке было проведено мало дальнейших исследований в области машинного перевода (хотя некоторые исследования продолжались и в других местах, например, в Японии и Европе). [3] ) до конца 1980-х годов, когда были разработаны первые статистические системы машинного перевода .
  • 1960-е : Некоторыми особенно успешными системами обработки естественного языка, разработанными в 1960-х годах, были SHRDLU , система естественного языка, работающая в ограниченных « блочных мирах » с ограниченным словарным запасом, и ELIZA , симуляция роджерианского психотерапевта , написанная Джозефом Вайзенбаумом между 1964 и 1966 годами. Не используя почти никакой информации о человеческих мыслях и эмоциях, ELIZA иногда обеспечивала поразительно человеческое взаимодействие. Когда «пациент» превышает очень небольшую базу знаний, ELIZA может дать общий ответ, например, отвечая на вопрос «У меня болит голова» вопросом «Почему вы говорите, что у вас болит голова?». Успешная работа Росса Куиллиана над естественным языком была продемонстрирована при словарном запасе всего в двадцать слов, потому что это было все, что в то время помещалось в памяти компьютера. [4]
  • 1970-е : В 1970-е годы многие программисты начали писать «концептуальные онтологии », которые структурировали информацию реального мира в понятные компьютеру данные. Примеры: MARGIE (Schank, 1975), SAM (Cullingford, 1978), PAM (Wilensky, 1978), TaleSpin (Meehan, 1976), QUALM (Lehnert, 1977), Politics (Carbonell, 1979) и Plot Units (Lehnert 1981). ). первые чат-боты За это время были написаны (например, PARRY ).
  • 1980-е : 1980-е и начало 1990-х годов отмечают расцвет символических методов в НЛП. Основные области того времени включали исследования по синтаксическому анализу на основе правил (например, разработка HPSG как вычислительной реализации генеративной грамматики ), морфологии (например, двухуровневая морфология [5] ), семантика (например, алгоритм Леска ), ссылка (например, в рамках Centering Theory [6] ) и других областях понимания естественного языка (например, в теории риторической структуры ). Были продолжены и другие направления исследований, например, разработка чат-ботов с Racter и Jabberwacky . Важным событием (которое в конечном итоге привело к статистическому повороту в 1990-е годы) стало возрастание важности количественной оценки в этот период. [7]

Статистическое НЛП (1990–2010-е годы)

[ редактировать ]

Вплоть до 1980-х годов большинство систем обработки естественного языка основывались на сложных наборах рукописных правил. Однако начиная с конца 1980-х годов произошла революция в обработке естественного языка с появлением алгоритмов машинного обучения для обработки языка. Это произошло как из-за постоянного увеличения вычислительной мощности (см. закон Мура ), так и из-за постепенного уменьшения доминирования теорий Хомского в лингвистике (например, трансформационной грамматики ), теоретические основы которых не одобряли тот вид корпусной лингвистики , который лежит в основе подхода машинного обучения. к языковой обработке. [8]

  • 1990-е : Многие из первых заметных успехов статистических методов в НЛП произошли в области машинного перевода , в частности, благодаря работе в IBM Research, такой как модели выравнивания IBM . Эти системы смогли воспользоваться преимуществами существующих многоязычных текстовых корпусов , которые были созданы Парламентом Канады и Европейского Союза в результате принятия законов, требующих перевода всех правительственных процедур на все официальные языки соответствующих систем управления. Однако большинство других систем зависело от корпусов, специально разработанных для задач, реализуемых этими системами, что было (и часто остается) основным ограничением успеха этих систем. В результате большое количество исследований было посвящено методам более эффективного обучения на ограниченных объемах данных.
  • 2000-е : С ростом Интернета с середины 1990-х годов становится доступным все больше объемов необработанных (неаннотированных) языковых данных. Таким образом, исследования все больше сосредотачиваются на алгоритмах обучения без учителя и с полуконтролем . Такие алгоритмы могут учиться на данных, которые не были вручную аннотированы желаемыми ответами, или с использованием комбинации аннотированных и неаннотированных данных. Как правило, эта задача намного сложнее, чем обучение с учителем , и обычно дает менее точные результаты для заданного объема входных данных. Однако существует огромное количество доступных неаннотированных данных (включая, среди прочего, весь контент Всемирной паутины ), которые часто могут компенсировать худшие результаты, если используемый алгоритм имеет достаточно низкую временную сложность , чтобы быть практичным.

Нейронное НЛП (настоящее время)

[ редактировать ]

В 2003 году модель n-грамм слов , на тот момент лучший статистический алгоритм, уступила место многослойному перцептрону (с одним скрытым слоем и длиной контекста в несколько слов, обученному на 14 миллионах слов с использованием кластера ЦП в моделирование языка ) Йошуа Бенджио с соавторами. [9]

В 2010 году Томаш Миколов (тогда аспирант Технологического университета Брно ) с соавторами применил простую рекуррентную нейронную сеть с одним скрытым слоем для моделирования языка: [10] и в последующие годы он продолжил разработку Word2vec . В 2010-х годах стиле репрезентативных методы машинного обучения в нейронных сетей (с множеством скрытых слоев) получили широкое распространение в обработке естественного языка. Такая популярность отчасти объяснялась шквалом результатов, показывающих, что такие методы [11] [12] может достигать самых современных результатов во многих задачах, связанных с естественным языком, например, в языковом моделировании [13] и разбор. [14] [15] Это становится все более важным в медицине и здравоохранении , где НЛП помогает анализировать записи и тексты в электронных медицинских записях , которые в противном случае были бы недоступны для изучения при попытке улучшить уход. [16] или защитить конфиденциальность пациентов. [17]

Подходы: символические, статистические, нейронные сети.

[ редактировать ]

Символический подход, то есть ручное кодирование набора правил для манипулирования символами в сочетании с поиском по словарю, исторически был первым подходом, используемым как ИИ в целом, так и НЛП в частности: [18] [19] например, путем написания грамматик или разработки эвристических правил для стемминга .

машинного обучения С другой стороны, подходы , включающие как статистические, так и нейронные сети, имеют множество преимуществ перед символическим подходом:

  • Как статистические методы, так и методы нейронных сетей могут больше сосредоточиться на наиболее распространенных случаях, извлеченных из корпуса текстов, тогда как подход, основанный на правилах, должен в равной степени предоставлять правила как для редких, так и для распространенных случаев.
  • Языковые модели , созданные с помощью статистических методов или методов нейронных сетей, более устойчивы как к незнакомым (например, содержащим слова или структуры, которые раньше не встречались), так и к ошибочным входным данным (например, со словами с ошибками или случайно пропущенными словами) по сравнению с обычными моделями. основанные на них системы, производство которых также является более дорогостоящим.
  • чем больше такая (вероятностная) языковая модель, тем точнее она становится, в отличие от систем, основанных на правилах, которые могут добиться точности только за счет увеличения количества и сложности правил, что приводит к неразрешимости . проблемам

Хотя системы управления символами, основанные на правилах, все еще использовались в 2020 году, они по большей части устарели с появлением LLM в 2023 году.

До этого широко использовались:

  • когда объем обучающих данных недостаточен для успешного применения методов машинного обучения, например, для машинного перевода языков с низкими ресурсами, таких как предоставляемые системой Apertium ,
  • для предварительной обработки в конвейерах NLP, например, токенизация или
  • для постобработки и преобразования выходных данных конвейеров НЛП, например, для извлечения знаний из синтаксического анализа.

Статистический подход

[ редактировать ]

В конце 1980-х и середине 1990-х годов статистический подход завершил период зимы ИИ , вызванный неэффективностью подходов, основанных на правилах. [20] [21]

Самые ранние деревья решений , создающие системы жестких правил «если-то» , все еще были очень похожи на старые подходы, основанные на правилах.Только введение скрытых моделей Маркова , применяемых к маркировке частей речи, объявило о конце старого подхода, основанного на правилах.

Нейронные сети

[ редактировать ]
Дополнительная информация: Искусственная нейронная сеть.

Основным недостатком статистических методов является то, что они требуют тщательного проектирования признаков . С 2015 года [22] статистический подход был заменен подходом нейронных сетей с использованием семантических сетей [23] и встраивание слов для определения семантических свойств слов.

Промежуточные задачи (например, разметка частей речи и анализ зависимостей) больше не нужны.

Нейронный машинный перевод , основанный на недавно изобретенных преобразованиях последовательностей , сделал устаревшими промежуточные этапы, такие как выравнивание слов, ранее необходимые для статистического машинного перевода .

Общие задачи НЛП

[ редактировать ]

Ниже приводится список некоторых из наиболее часто исследуемых задач обработки естественного языка. Некоторые из этих задач имеют прямое практическое применение, тогда как другие чаще служат подзадачами, которые используются для решения более крупных задач.

Хотя задачи обработки естественного языка тесно переплетены, для удобства их можно разделить на категории. Грубое разделение приведено ниже.

Обработка текста и речи

[ редактировать ]
Оптическое распознавание символов (OCR)
По изображению, представляющему печатный текст, определите соответствующий текст.
Распознавание речи
По звуковому фрагменту речи человека или людей определите текстовое представление речи. Это противоположность преобразования текста в речь и является одной из чрезвычайно сложных проблем, в просторечии называемых « ИИ-полным » (см. выше). В естественной речи пауз между последовательными словами практически нет, поэтому сегментация речи является необходимой подзадачой распознавания речи (см. ниже). В большинстве разговорных языков звуки, представляющие последовательные буквы, сливаются друг с другом в процессе, называемом коартикуляцией , поэтому преобразование аналогового сигнала в дискретные символы может быть очень трудным процессом. Кроме того, учитывая, что слова на одном и том же языке произносятся людьми с разными акцентами, программное обеспечение для распознавания речи должно быть в состоянии распознавать широкий спектр входных данных как идентичных друг другу с точки зрения их текстового эквивалента.
Сегментация речи
Учитывая аудиоклип, в котором разговаривает человек или люди, разделите его на слова. Подзадача распознавания речи , обычно группируемая с ней.
Преобразование текста в речь
Учитывая текст, преобразуйте эти единицы и создайте устное представление. Преобразование текста в речь можно использовать для помощи людям с нарушениями зрения. [24]
Сегментация слов ( токенизация )
Токенизация — это процесс, используемый при анализе текста, который делит текст на отдельные слова или фрагменты слов. В результате этого метода создаются два ключевых компонента: индекс слова и токенизированный текст. Индекс слов представляет собой список, который сопоставляет уникальные слова с конкретными числовыми идентификаторами, а токенизированный текст заменяет каждое слово соответствующим числовым токеном. Эти числовые токены затем используются в различных методах глубокого обучения. [25]
Для такого языка, как английский , это довольно тривиально, поскольку слова обычно разделяются пробелами. Однако некоторые письменные языки, такие как китайский , японский и тайский, не обозначают границы слов таким образом, и в этих языках сегментация текста является важной задачей, требующей знания словарного запаса и морфологии слов на языке. Иногда этот процесс также используется в таких случаях, как создание пакета слов (BOW) при интеллектуальном анализе данных. [ нужна ссылка ]

Морфологический анализ

[ редактировать ]
Лемматизация
Задача удалить только флективные окончания и вернуть базовую словарную форму слова, также известную как лемма. Лемматизация — еще один метод приведения слов к их нормализованной форме. Но в этом случае преобразование фактически использует словарь для преобразования слов в их фактическую форму. [26]
Морфологическая сегментация
Разделите слова на отдельные морфемы и определите класс морфем. Сложность этой задачи во многом зависит от сложности морфологии ( т . е . структуры слов) рассматриваемого языка. В английском языке довольно простая морфология, особенно флективная морфология , поэтому часто можно полностью игнорировать эту задачу и просто моделировать все возможные формы слова (например, «открыть, открывает, открылось, открытие») как отдельные слова. Однако в таких языках, как турецкий или мейтей , индийский язык с высокой степенью агглютинации , такой подход невозможен, поскольку каждая словарная статья имеет тысячи возможных словоформ. [27]
Маркировка частей речи
Учитывая предложение, определите часть речи (ЧС) для каждого слова. Многие слова, особенно распространенные, могут служить несколькими частями речи. Например, «книга» может быть существительным («книга на столе») или глаголом («заказать рейс»); «набор» может быть существительным, глаголом или прилагательным ; и «out» может быть любой из как минимум пяти разных частей речи.
Стемминг
Процесс приведения измененных (или иногда производных) слов к базовой форме (например, «закрыть» будет корнем слов «закрытый», «замыкающий», «закрытый», «ближе» и т. д.). Стемминг дает те же результаты, что и лемматизация, но делает это на основе правил, а не словаря.

Синтаксический анализ

[ редактировать ]
Часть серии о
Формальные языки
Ключевые понятия
Приложения
Грамматическая индукция [28]
Создайте формальную грамматику , описывающую синтаксис языка.
Нарушение предложения (также известное как « устранение неоднозначности границ предложения »)
По куску текста найдите границы предложения. Границы предложений часто отмечаются точками или другими знаками препинания , но эти же символы могут служить и другим целям (например, для обозначения сокращений ).
Разбор
Определите дерево разбора (грамматического анализа) данного предложения. Грамматика и типичные предложения имеют множество возможных анализов: что, возможно естественных языков неоднозначна , , удивительно, для типичного предложения могут быть тысячи потенциальных анализов (большинство из которых покажутся человеку совершенно бессмысленными). Существует два основных типа анализа: анализ зависимостей и анализ групп . Анализ зависимостей фокусируется на отношениях между словами в предложении (маркировка таких вещей, как первичные объекты и предикаты), тогда как синтаксический анализ округов фокусируется на построении дерева разбора с использованием вероятностной контекстно-свободной грамматики (PCFG) (см. также стохастическую грамматику ).

Лексическая семантика (отдельных слов в контексте)

[ редактировать ]
Лексическая семантика
Каково вычислительное значение отдельных слов в контексте?
Дистрибутивная семантика
Как мы можем изучить семантические представления данных?
Распознавание названного объекта (NER)
Учитывая поток текста, определите, какие элементы в текстовом сопоставляются с именами собственными, например людьми или местами, и каков тип каждого такого имени (например, человек, местоположение, организация). Хотя использование заглавных букв может помочь в распознавании именованных объектов на таких языках, как английский, эта информация не может помочь в определении типа именованного объекта и в любом случае часто бывает неточной или недостаточной. Например, первая буква предложения также пишется с заглавной буквы, а именованные объекты часто охватывают несколько слов, только некоторые из которых пишутся с заглавной буквы. Более того, многие другие языки с незападным письмом (например, китайский или арабский ) вообще не имеют заглавной буквы, и даже языки с заглавной буквой могут не всегда использовать ее для различения имен. Например, в немецком языке все существительные пишутся с заглавной буквы , независимо от того, являются ли они именами, а во французском и испанском языках , не пишутся с заглавной буквы имена, служащие прилагательными . Другое название этой задачи — классификация токенов. [29]
Анализ настроений (см. также Мультимодальный анализ настроений )
Анализ настроений — это вычислительный метод, используемый для выявления и классификации эмоционального намерения текста. Этот метод включает в себя анализ текста, чтобы определить, является ли выраженное мнение положительным, отрицательным или нейтральным. Модели для классификации настроений обычно используют входные данные, такие как n-граммы слов , функции TF-IDF, функции, сгенерированные вручную, или используют модели глубокого обучения, предназначенные для распознавания как долгосрочных, так и краткосрочных зависимостей в текстовые последовательности. Приложения анализа настроений разнообразны, включая такие задачи, как классификация отзывов клиентов на различных онлайн-платформах. [25]
Извлечение терминологии
Целью извлечения терминологии является автоматическое извлечение соответствующих терминов из данного корпуса.
Разрешение смысловой неоднозначности (WSD)
Многие слова имеют более одного значения ; мы должны выбрать значение, которое имеет наибольший смысл в контексте. Для решения этой задачи нам обычно дают список слов и связанных с ними значений слов, например, из словаря или онлайн-ресурса, такого как WordNet .
Связывание объектов
Многие слова — обычно имена собственные — относятся к именованным объектам ; здесь нам нужно выбрать объект (известное лицо, место, компанию и т. д.), на который ссылаются в контексте.

Реляционная семантика (семантика отдельных предложений)

[ редактировать ]
Извлечение отношений
Учитывая фрагмент текста, определите отношения между названными объектами (например, кто на ком состоит в браке).
Семантический анализ
Учитывая фрагмент текста (обычно предложение), создайте формальное представление его семантики либо в виде графа (например, при анализе AMR ), либо в соответствии с логическим формализмом (например, при анализе DRT ). Эта задача обычно включает в себя аспекты нескольких более элементарных задач НЛП из семантики (например, разметку семантических ролей, устранение смысловой неоднозначности слов) и может быть расширена, включив в нее полноценный анализ дискурса (например, анализ дискурса, кореферентность; см. Понимание естественного языка ниже). .
Маркировка семантических ролей (см. также неявную маркировку семантических ролей ниже)
Учитывая одно предложение, определите и устраните неоднозначность семантических предикатов (например, глагольных фреймов ), затем идентифицируйте и классифицируйте элементы фрейма ( семантические роли ).

Дискурс (семантика за пределами отдельных предложений)

[ редактировать ]
Разрешение кореферента
Учитывая предложение или более крупный фрагмент текста, определите, какие слова («упоминания») относятся к одним и тем же объектам («сущностям»). Разрешение анафоры является конкретным примером этой задачи и конкретно связано с сопоставлением местоимений с существительными или именами, к которым они относятся. Более общая задача разрешения кореференции также включает в себя выявление так называемых «мостовых отношений», включающих ссылающиеся выражения . Например, в таком предложении, как «Он вошел в дом Джона через парадную дверь», «парадная дверь» является референтным выражением, а связующим отношением, которое необходимо выявить, является тот факт, что дверь, о которой идет речь, является входной дверью дома Джона. дом (а не какое-то другое строение, о котором также можно было бы упомянуть).
Дискурс-анализ
В эту рубрику входит несколько взаимосвязанных задач. Одной из задач является анализ дискурса, т. е. выявление дискурсивной структуры связанного текста, т. е. характера дискурсивных отношений между предложениями (например, разработка, объяснение, контраст). Другая возможная задача — распознавание и классификация речевых актов в фрагменте текста (например, вопрос «да–нет», содержательный вопрос, высказывание, утверждение и т. д.).
Неявная семантическая маркировка ролей
Учитывая одно предложение, определите и устраните неоднозначность семантических предикатов (например, глагольных фреймов ) и их явных семантических ролей в текущем предложении (см. раздел «Разметка семантических ролей» выше). Затем определите семантические роли, которые явно не реализованы в текущем предложении, классифицируйте их на аргументы, которые явно реализованы в другом месте текста, и те, которые не указаны, и разрешите первые в отношении локального текста. Тесно связанной задачей является нулевое разрешение анафоры, т. е. распространение разрешения кореферентности на языки, поддерживающие удаление .
Распознавание текстового следствия
Учитывая два текстовых фрагмента, определите, влечет ли один из них истинность другого, влечет за собой отрицание другого или позволяет другому быть истинным или ложным. [30]
тем Сегментация и распознавание
Дан фрагмент текста, разделите его на сегменты, каждый из которых посвящен определенной теме, и определите тему сегмента.
Добыча аргументов
Целью интеллектуального анализа аргументов является автоматическое извлечение и идентификация аргументативных структур из текста на естественном языке с помощью компьютерных программ. [31] Такие аргументативные структуры включают в себя посылку, выводы, схему аргументации и отношения между основным и второстепенным аргументом или главным и контраргументом в дискурсе. [32] [33]

Приложения НЛП более высокого уровня

[ редактировать ]
Автоматическое реферирование (суммирование текста)
Создайте удобочитаемое резюме фрагмента текста. Часто используется для краткого изложения текста известного типа, например исследовательских работ, статей в финансовом разделе газеты.
Исправление грамматических ошибок
Обнаружение и исправление грамматических ошибок включает в себя широкий спектр проблем на всех уровнях лингвистического анализа (фонология/орфография, морфология, синтаксис, семантика, прагматика). Исправление грамматических ошибок имеет большое значение, поскольку оно затрагивает сотни миллионов людей, которые используют или изучают английский как второй язык. Таким образом, с 2011 года перед ним стоит ряд общих задач. [34] [35] [36] Что касается орфографии, морфологии, синтаксиса и некоторых аспектов семантики, а также благодаря развитию мощных моделей нейронного языка, таких как GPT-2 , теперь (2019 г.) это можно считать в значительной степени решенной проблемой и продается в различных коммерческие приложения.
Логический перевод
Перевести текст с естественного языка в формальную логику.
Машинный перевод (МП)
Автоматически переводите текст с одного человеческого языка на другой. Это одна из самых сложных проблем, и она принадлежит к классу проблем, в просторечии называемых « ИИ-полными », т.е. требующих всех различных типов знаний, которыми обладают люди (грамматика, семантика, факты о реальном мире и т. д.). .) правильно решить.
Понимание естественного языка (NLU)
Преобразуйте фрагменты текста в более формальные представления, такие как логические структуры первого порядка , которыми легче компьютерным манипулировать программам. Понимание естественного языка включает в себя идентификацию предполагаемой семантики из множества возможных семантик, которые могут быть получены из выражения естественного языка, которое обычно принимает форму организованных обозначений понятий естественного языка. Внедрение и создание языковой метамодели и онтологии являются эффективными, но эмпирическими решениями. явная формализация семантики естественного языка без путаницы с неявными предположениями, такими как предположение закрытого мира (CWA) против предположения открытого мира Для построения основы формализации семантики ожидается или субъективное Да/Нет против объективного Истина/Ложь. . [37]
Поколение естественного языка (NLG):
Преобразуйте информацию из компьютерных баз данных или семантических намерений в читаемый человеческий язык.
Генерация книг
Создание полноценных книг — это не задача НЛП, а расширение генерации естественного языка и других задач НЛП. Первая книга, созданная компьютером, была создана с помощью системы, основанной на правилах, в 1984 году (Рактер, Борода полицейского наполовину построена ). [38] Первая опубликованная работа нейронной сети была опубликована в 2018 году 1. «Дорога» , позиционируемая как роман, содержит шестьдесят миллионов слов. Обе эти системы по своей сути представляют собой сложные, но бессмысленные (свободные от семантики) языковые модели . Первая научная книга, созданная компьютером, была опубликована в 2019 году (Beta Writer, Lithium-Ion Batteries , Springer, Cham). [39] В отличие от Racter и 1 the Road , это основано на фактических знаниях и основано на обобщении текста.
AI-документ
Платформа Document AI основана на технологии NLP, позволяя пользователям, не имеющим опыта работы с искусственным интеллектом, машинным обучением или NLP, быстро обучить компьютер извлекать конкретные данные, которые им нужны, из различных типов документов. Document AI на основе NLP позволяет нетехническим командам быстро получать доступ к информации, скрытой в документах, например юристам, бизнес-аналитикам и бухгалтерам. [40]
Управление диалогом
Компьютерные системы, предназначенные для общения с человеком.
Ответ на вопрос
Дан вопрос, заданный на человеческом языке, определите на него ответ. Типичные вопросы имеют конкретный правильный ответ (например, «Какая столица Канады?»), но иногда рассматриваются и открытые вопросы (например, «В чем смысл жизни?»).
Генерация текста в изображение
Учитывая описание изображения, сгенерируйте изображение, соответствующее описанию. [41]
Генерация текста в сцене
Учитывая описание сцены, создайте 3D-модель сцены. [42] [43]
Преобразование текста в видео
Учитывая описание видео, создайте видео, соответствующее описанию. [44] [45]

Общие тенденции и (возможные) будущие направления

[ редактировать ]

Основываясь на давних тенденциях в этой области, можно экстраполировать будущие направления НЛП. По состоянию на 2020 год среди тем давней серии общих задач CoNLL можно наблюдать три тенденции: [46]

  • Интерес ко все более абстрактным, «когнитивным» аспектам естественного языка (1999–2001: поверхностный синтаксический анализ, 2002–03: распознавание именованных объектов, 2006–09/2017–18: синтаксис зависимостей, 2004–05/2008–09 разметка семантических ролей, 2011–12 кореференция, 2015–16: разбор дискурса, 2019: семантический анализ).
  • Растущий интерес к многоязычию и, потенциально, мультимодальности (английский с 1999 года; испанский, голландский с 2002 года; немецкий с 2003 года; болгарский, датский, японский, португальский, словенский, шведский, турецкий с 2006 года; баскский, каталанский, китайский, греческий, венгерский). , итальянский, турецкий с 2007 г.; арабский с 2012 г.: более 40 языков; 2018 г.: более 60/100 языков)
  • Устранение символических представлений (методы, основанные на правилах, а не контролируемые или слабоконтролируемые, обучение представлению и сквозные системы)

Познание

[ редактировать ]

Большинство приложений НЛП более высокого уровня включают в себя аспекты, которые имитируют разумное поведение и очевидное понимание естественного языка. В более широком смысле, техническая операционализация все более продвинутых аспектов когнитивного поведения представляет собой одну из траекторий развития НЛП (см. тенденции среди общих задач CoNLL выше).

Познание относится к «мысленному действию или процессу приобретения знаний и понимания посредством мысли, опыта и чувств». [47] Когнитивная наука — это междисциплинарное научное исследование разума и его процессов. [48] Когнитивная лингвистика — это междисциплинарная отрасль лингвистики, сочетающая в себе знания и исследования психологии и лингвистики. [49] Особенно в эпоху символического НЛП область компьютерной лингвистики поддерживала прочные связи с когнитивными исследованиями.

В качестве примера Джордж Лакофф предлагает методологию построения алгоритмов обработки естественного языка (НЛП) с точки зрения когнитивной науки, а также результаты когнитивной лингвистики. [50] с двумя определяющими аспектами:

  1. Примените теорию концептуальной метафоры , которую Лакофф объяснил как «понимание одной идеи через другую», которое дает представление о намерении автора. [51] Например, рассмотрим английское слово big . При использовании в сравнении («Это большое дерево») намерение автора состоит в том, чтобы подразумевать, что это дерево физически велико по сравнению с другими деревьями или опытом автора. При метафорическом использовании («Завтра большой день») намерение автора подразумевает важность . Намерение, лежащее в основе других использований, например, «Она большой человек», останется несколько двусмысленным как для человека, так и для когнитивного алгоритма НЛП без дополнительной информации.
  2. Присвойте относительные меры значения слову, фразе, предложению или фрагменту текста на основе информации, представленной до и после анализируемого фрагмента текста, например, с помощью вероятностной контекстно-свободной грамматики (PCFG). Математическое уравнение для таких алгоритмов представлено в патенте США 9269353 : [52]
Где
RMM — это относительная мера значения.
токен — это любой блок текста, предложения, фразы или слова.
N — количество анализируемых токенов
ПММ — это вероятная мера значения, основанная на корпусе.
d — ненулевое положение токена в последовательности из N токенов.
PF - функция вероятности, специфичная для языка.

Связи с когнитивной лингвистикой являются частью исторического наследия НЛП, но после статистического поворота 1990-х годов к ним стали обращаться реже. Тем не менее, подходы к разработке когнитивных моделей с целью создания технически реализуемых структур использовались в контексте различных структур, например, когнитивной грамматики, [53] функциональная грамматика, [54] строительная грамматика, [55] вычислительная психолингвистика и когнитивная нейробиология (например, ACT-R ), однако, с ограниченным пониманием основного направления НЛП (что измеряется присутствием на крупных конференциях). [56] ACL ) . Совсем недавно идеи когнитивного НЛП были возрождены как подход к достижению объяснимости , например, в рамках понятия «когнитивный ИИ». [57] Аналогичным образом, идеи когнитивного НЛП присущи нейронным моделям мультимодального НЛП (хотя и редко выражаются явно). [58] и разработки в области искусственного интеллекта , в частности, инструментов и технологий, использующих большим языковым моделям. подходы к [59] и новые направления в области искусственного общего интеллекта, основанные на принципе свободной энергии [60] британский нейробиолог и теоретик из Университетского колледжа Лондона Карл Дж. Фристон .

См. также

[ редактировать ]

Ссылки

[ редактировать ]
  1. ^ «НЛП» .
  2. ^ Хатчинс, Дж. (2005). «Кратко об истории машинного перевода» (PDF) . [ самостоятельный источник ]
  3. ^ «ALPAC: (печально) знаменитый отчет», Джон Хатчинс, MT News International, вып. 14 июня 1996 г., стр. 9–12.
  4. ^ Crevier 1993 , стр. 146–148. , см. также Buchanan 2005 , p. 56 : «Ранние программы обязательно были ограничены по объему размером и скоростью памяти»
  5. ^ Коскенниеми, Киммо (1983), Двухуровневая морфология: общая вычислительная модель распознавания и производства словоформ (PDF) , факультет общей лингвистики, Хельсинкский университет.
  6. ^ Джоши, А.К., и Вайнштейн, С. (1981, август). Контроль вывода: роль некоторых аспектов центрирования структуры дискурса . В IJCAI (стр. 385–387).
  7. ^ Гуида, Г.; Маури, Г. (июль 1986 г.). «Оценка систем обработки естественного языка: проблемы и подходы». Труды IEEE . 74 (7): 1026–1035. дои : 10.1109/PROC.1986.13580 . ISSN   1558-2256 . S2CID   30688575 .
  8. ^ Лингвистика Хомского поощряет исследование « крайних случаев », которые подчеркивают ограничения ее теоретических моделей (сравнимых с патологическими явлениями в математике), обычно создаваемых с помощью мысленных экспериментов , а не систематического исследования типичных явлений, которые происходят в реальных данных. как это имеет место в корпусной лингвистике . Создание и использование таких массивов реальных данных является фундаментальной частью алгоритмов машинного обучения для обработки естественного языка. Кроме того, теоретические основы лингвистики Хомского, такие как так называемый аргумент « бедности стимула », предполагают, что общие алгоритмы обучения, которые обычно используются в машинном обучении, не могут быть успешными при обработке языка. В результате парадигма Хомского не поощряла применение таких моделей к обработке языка.
  9. ^ Бенджио, Йошуа; Дюшарм, Режан; Винсент, Паскаль; Джанвин, Кристиан (1 марта 2003 г.). «Нейронно-вероятностная языковая модель» . Журнал исследований машинного обучения . 3 : 1137–1155 - через цифровую библиотеку ACM.
  10. ^ Миколов, Томас; Карафиа, Мартин; Бургет, Лукаш; Черноцкий, Ян; Худанпур, Санджив (26 сентября 2010 г.). «Языковая модель на основе рекуррентной нейронной сети» (PDF) . Интерспич 2010 . стр. 1045–1048. doi : 10.21437/Interspeech.2010-343 . S2CID   17048224 . {{cite book}}: |journal= игнорируется ( помогите )
  11. ^ Гольдберг, Йоав (2016). «Букварь по моделям нейронных сетей для обработки естественного языка». Журнал исследований искусственного интеллекта . 57 : 345–420. arXiv : 1807.10854 . дои : 10.1613/jair.4992 . S2CID   8273530 .
  12. ^ Гудфеллоу, Ян; Бенджио, Йошуа; Курвиль, Аарон (2016). Глубокое обучение . МТИ Пресс.
  13. ^ Йозефович, Рафаль; Виньялс, Ориол; Шустер, Майк; Шазир, Ноам; Ву, Юнхуэй (2016). Исследование пределов языкового моделирования . arXiv : 1602.02410 . Бибкод : 2016arXiv160202410J .
  14. ^ Чхве, До Кук; Чарняк, Евгений. «Парсинг как моделирование языка» . Эмнлп 2016 . Архивировано из оригинала 23 октября 2018 г. Проверено 22 октября 2018 г.
  15. ^ Виньялс, Ориол; и др. (2014). «Грамматика как иностранный язык» (PDF) . Нипс2015 . arXiv : 1412.7449 . Бибкод : 2014arXiv1412.7449V .
  16. ^ Турчин, Александр; Флорес Буйлес, Луиза Ф. (19 марта 2021 г.). «Использование обработки естественного языка для измерения и улучшения качества лечения диабета: систематический обзор» . Журнал науки и технологий о диабете . 15 (3): 553–560. дои : 10.1177/19322968211000831 . ISSN   1932-2968 . ПМК   8120048 . ПМИД   33736486 .
  17. ^ Ли, Дженнифер; Ян, Сэмюэл; Холланд-Холл, Синтия; Сезгин, Эмре; Гилл, Манжот; Линвуд, Саймон; Хуан, Юнги; Хоффман, Джеффри (10 июня 2022 г.). «Распространенность деликатных терминов в клинических записях с использованием методов обработки естественного языка: наблюдательное исследование» . ЖМИР Медицинская информатика . 10 (6): e38482. дои : 10.2196/38482 . ISSN   2291-9694 . ПМЦ   9233261 . ПМИД   35687381 .
  18. ^ Виноград, Терри (1971). Процедуры как представление данных в компьютерной программе для понимания естественного языка (Диссертация).
  19. ^ Шанк, Роджер К.; Абельсон, Роберт П. (1977). Сценарии, планы, цели и понимание: исследование структур человеческого знания . Хиллсдейл: Эрлбаум. ISBN  0-470-99033-3 .
  20. ^ Марк Джонсон. Как статистическая революция меняет (компьютерную) лингвистику. Материалы семинара EACL 2009 г. по взаимодействию лингвистики и компьютерной лингвистики.
  21. ^ Филип Резник. Четыре революции. Языковой журнал, 5 февраля 2011 г.
  22. ^ Сочер, Ричард. «Учебное пособие по глубокому обучению для NLP-ACL 2012» . www.socher.org . Проверено 17 августа 2020 г. Это было первое руководство по глубокому обучению на ACL 2012, которое вызвало как интерес, так и (на тот момент) скептицизм со стороны большинства участников. До этого нейронное обучение в основном отвергалось из-за отсутствия статистической интерпретируемости. До 2015 года глубокое обучение превратилось в основную основу НЛП. [Ссылка не работает, попробуйте http://web.stanford.edu/class/cs224n/ ]
  23. ^ Сегев, Элад (2022). Семантический сетевой анализ в социальных науках . Лондон: Рутледж. ISBN  9780367636524 . Архивировано из оригинала 5 декабря 2021 года . Проверено 5 декабря 2021 г.
  24. ^ Йи, Чукай; Тянь, Инли (2012), «Вспомогательное чтение текста на сложном фоне для слепых», Анализ и распознавание документов с помощью камеры , Конспекты лекций по информатике, том. 7139, Springer Berlin Heidelberg, стр. 15–28, CiteSeerX   10.1.1.668.869 , doi : 10.1007/978-3-642-29364-1_2 , ISBN  9783642293634
  25. ^ Перейти обратно: а б «Обработка естественного языка (НЛП) — полное руководство» . www.deeplearning.ai . 11 января 2023 г. Проверено 5 мая 2024 г.
  26. ^ «Что такое обработка естественного языка? Введение в НЛП в машинном обучении» . ГьянСету! . 06.12.2020 . Проверено 9 января 2021 г.
  27. ^ Кишорджит, Н.; Видья, Радж РК.; Нирмал, Ю.; Шиваджи, Б. (2012). «Идентификация морфемы манипури» (PDF) . Материалы 3-го семинара по обработке естественного языка Южной и Юго-Восточной Азии (SANLP) . COLING 2012, Мумбаи, декабрь 2012 г.: 95–108. {{cite journal}}: CS1 maint: местоположение ( ссылка )
  28. ^ Кляйн, Дэн; Мэннинг, Кристофер Д. (2002). «Индукция грамматики естественного языка с использованием модели составляющего контекста» (PDF) . Достижения в области нейронных систем обработки информации .
  29. ^ Кариампужа, Уильям; Алия, Джоконда; Цюй, Сью; Санджак, Джалеал; Мате, Эви; Сид, Эрик; Шатлен, Хейли; Ядо, Арджун; Сюй, Яньцзи; Чжу, Цянь (2023). «Точное извлечение информации для масштабной эпидемиологии редких заболеваний» . Журнал трансляционной медицины . 21 (1): 157. doi : 10.1186/s12967-023-04011-y . ПМЦ   9972634 . ПМИД   36855134 .
  30. ^ PASCAL Распознавание текстовых проблем (RTE-7) https://tac.nist.gov//2011/RTE/
  31. ^ Липпи, Марко; Торрони, Паоло (20 апреля 2016 г.). «Анализ аргументации: современное состояние и новые тенденции» . Транзакции ACM по Интернет-технологиям . 16 (2): 1–25. дои : 10.1145/2850417 . hdl : 11585/523460 . ISSN   1533-5399 . S2CID   9561587 .
  32. ^ «Анализ аргументов – Учебное пособие по IJCAI2016» . www.i3s.unice.fr . Проверено 9 марта 2021 г.
  33. ^ «Подходы НЛП к вычислительной аргументации – ACL 2016, Берлин» . Проверено 9 марта 2021 г.
  34. ^ Администрация. «Центр языковых технологий (CLT)» . Университет Маккуори . Проверено 11 января 2021 г.
  35. ^ «Общая задача: исправление грамматических ошибок» . www.comp.nus.edu.sg. ​Проверено 11 января 2021 г.
  36. ^ «Общая задача: исправление грамматических ошибок» . www.comp.nus.edu.sg. ​Проверено 11 января 2021 г.
  37. ^ Дуань, Юконг; Круз, Кристоф (2011). «Формализация семантики естественного языка посредством концептуализации из существования» . Международный журнал инноваций, менеджмента и технологий . 2 (1): 37–42. Архивировано из оригинала 9 октября 2011 г.
  38. ^ "UBUWEB::Рактер" . www.ubu.com . Проверено 17 августа 2020 г.
  39. ^ Писатель, Бета (2019). Литий-ионные аккумуляторы . дои : 10.1007/978-3-030-16800-1 . ISBN  978-3-030-16799-8 . S2CID   155818532 .
  40. ^ «Документ, посвященный искусственному интеллекту, в Google Cloud (Cloud Next '19) – YouTube» . www.youtube.com . 11 апреля 2019 г. Архивировано из оригинала 30 октября 2021 г. Проверено 11 января 2021 г.
  41. ^ Робертсон, Ади (6 апреля 2022 г.). «Генератор изображений OpenAI DALL-E AI теперь также может редактировать изображения» . Грань . Проверено 7 июня 2022 г.
  42. ^ «Стэнфордская группа обработки естественного языка» . nlp.stanford.edu . Проверено 7 июня 2022 г.
  43. ^ Койн, Боб; Спроат, Ричард (1 августа 2001 г.). «СловаГлаз» . Материалы 28-й ежегодной конференции «Компьютерная графика и интерактивные технологии» . СИГРАФ '01. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 487–496. дои : 10.1145/383259.383316 . ISBN  978-1-58113-374-5 . S2CID   3842372 .
  44. ^ «Google объявляет о достижениях искусственного интеллекта в области преобразования текста в видео, языкового перевода и многого другого» . ВенчурБит . 02.11.2022 . Проверено 9 ноября 2022 г.
  45. ^ Винсент, Джеймс (29 сентября 2022 г.). «Новый ИИ-генератор Meta для преобразования текста в видео похож на DALL-E для видео» . Грань . Проверено 9 ноября 2022 г.
  46. ^ «Предыдущие общие задачи | CoNLL» . www.conll.org . Проверено 11 января 2021 г.
  47. ^ «Познание» . Лексико . Издательство Оксфордского университета и словарь.com . Архивировано из оригинала 15 июля 2020 года . Проверено 6 мая 2020 г.
  48. ^ «Спросите когнитивиста» . Американская федерация учителей . 8 августа 2014 г. Когнитивная наука — это междисциплинарная область исследований лингвистики, психологии, нейробиологии, философии, информатики и антропологии, которые стремятся понять разум.
  49. ^ Робинсон, Питер (2008). Справочник по когнитивной лингвистике и овладению вторым языком . Рутледж. стр. 3–8. ISBN  978-0-805-85352-0 .
  50. ^ Лакофф, Джордж (1999). Философия во плоти: воплощенный разум и его вызов западной философии; Приложение: Нейронная теория языковой парадигмы . Основные книги Нью-Йорка. стр. 569–583. ISBN  978-0-465-05674-3 .
  51. ^ Штраус, Клаудия (1999). Когнитивная теория культурного значения . Издательство Кембриджского университета. стр. 156–164. ISBN  978-0-521-59541-4 .
  52. ^ Патент США 9269353.  
  53. ^ «Универсальная концептуальная когнитивная аннотация (UCCA)» . Универсальная концептуальная когнитивная аннотация (UCCA) . Проверено 11 января 2021 г.
  54. ^ Родригес, ФК, и Майрал-Усон, Р. (2016). Построение вычислительной грамматики RRG . Ономазеин , (34), 86–117.
  55. ^ «Грамматика гибкого построения — полностью работоспособная система обработки строительных грамматик» . Проверено 11 января 2021 г.
  56. ^ «Портал для членов ACL | Портал для членов Ассоциации компьютерной лингвистики» . www.aclweb.org . Проверено 11 января 2021 г.
  57. ^ «Чанки и правила» . W3C . Проверено 11 января 2021 г.
  58. ^ Сошер, Ричард; Карпаты, Андрей; Ле, Куок В.; Мэннинг, Кристофер Д.; Нг, Эндрю Ю. (2014). «Обоснованная композиционная семантика для поиска и описания изображений с помощью предложений» . Труды Ассоциации компьютерной лингвистики . 2 : 207–218. дои : 10.1162/tacl_a_00177 . S2CID   2317858 .
  59. ^ Дасгупта, Ишита; Лампинен, Эндрю К.; Чан, Стефани Сай; Кресвелл, Антония; Кумаран, Дхаршан; Макклелланд, Джеймс Л.; Хилл, Феликс (2022). «Языковые модели демонстрируют влияние человеческого содержания на мышление, Дасгупта, Лампинен и др.». arXiv : 2207.07051 [ cs.CL ].
  60. ^ Фристон, Карл Дж. (2022). Активный вывод: принцип свободной энергии в разуме, мозге и поведении; Глава 4. Генеративные модели активного вывода . Массачусетский технологический институт Пресс. ISBN  978-0-262-36997-8 .

Дальнейшее чтение

[ редактировать ]
  • Бейтс, М. (1995). «Модели понимания естественного языка» . Труды Национальной академии наук Соединенных Штатов Америки . 92 (22): 9977–9982. Бибкод : 1995PNAS...92.9977B . дои : 10.1073/pnas.92.22.9977 . ПМК   40721 . ПМИД   7479812 .
  • Стивен Берд, Юэн Кляйн и Эдвард Лопер (2009). Обработка естественного языка с помощью Python . О'Рейли Медиа. ISBN   978-0-596-51649-9 .
  • Кенна Хьюз-Каслберри , «Загадка-загадка убийства: литературная загадка « Челюсть Каина» , которая десятилетиями ставила людей в тупик, раскрывает ограничения алгоритмов обработки естественного языка», Scientific American , vol. 329, нет. 4 (ноябрь 2023 г.), стр. 81–82. «Это соревнование по расследованию убийств показало, что, хотя модели НЛП ( обработки естественного языка ) способны на невероятные подвиги, их способности очень сильно ограничены объемом контекста , который они получают. Это [...] может вызвать [трудности] для исследователей». которые надеются использовать их для таких задач, как анализ древних языков . В некоторых случаях существует мало исторических записей о давно исчезнувших цивилизациях , которые могли бы служить учебными данными для этой цели». (стр. 82.)
  • Дэниел Джурафски и Джеймс Х. Мартин (2008). Обработка речи и языка , 2-е издание. Пирсон Прентис Холл. ISBN   978-0-13-187321-6 .
  • Мохамед Закария Курди (2016). Обработка естественного языка и компьютерная лингвистика: речь, морфология и синтаксис , Том 1. ISTE-Wiley. ISBN   978-1848218482 .
  • Мохамед Закария Курди (2017). Обработка естественного языка и компьютерная лингвистика: семантика, дискурс и приложения , Том 2. ISTE-Wiley. ISBN   978-1848219212 .
  • Кристофер Д. Мэннинг, Прабхакар Рагхаван и Хинрих Шютце (2008). Введение в поиск информации . Издательство Кембриджского университета. ISBN   978-0-521-86571-5 . Официальные версии в формате html и pdf доступны бесплатно.
  • Кристофер Д. Мэннинг и Хинрих Шютце (1999). Основы статистической обработки естественного языка . Массачусетский технологический институт Пресс. ISBN   978-0-262-13360-9 .
  • Дэвид М.В. Пауэрс и Кристофер Ч.Р. Терк (1989). Машинное обучение естественного языка . Спрингер-Верлаг. ISBN   978-0-387-19557-5 .
[ редактировать ]
Retrieved from "https://en.wikipedia.org/w/index.php?title=Natural_language_processing&oldid=1231789510#Statistical_natural_language_processing_(SNLP)"
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 50efa50789effd73f68fd6756a98deb2__1719724440
URL1:https://arc.ask3.ru/arc/aa/50/b2/50efa50789effd73f68fd6756a98deb2.html
Заголовок, (Title) документа по адресу, URL1:
Natural language processing - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)