Семантический анализ
Семантический синтаксический анализ — это задача преобразования на естественном языке высказывания в логическую форму : понятное машине представление его значения. [1] Таким образом, семантический анализ можно понимать как извлечение точного значения высказывания. Приложения семантического анализа включают машинный перевод , [2] ответ на вопрос , [1] [3] индукция онтологий , [4] автоматизированное рассуждение , [5] и генерация кода . [6] [7] Эта фраза была впервые использована в 1970-х годах Йориком Уилксом в качестве основы для программ машинного перевода, работающих только с семантическими представлениями. [8] Семантический анализ — одна из важных задач компьютерной лингвистики и обработки естественного языка.

Семантический анализ преобразует текст в формальное значение.представления. Это контрастирует с семантической рольюмаркировка и прочееформы поверхностной семантической обработки, которыене стремятся создавать полные формальные значения. [9] В компьютерном зрении семантический анализ — это процесс сегментации трехмерных объектов. [10] [11]

История и предыстория [ править ]
Ранние исследования семантического анализа включали генерацию грамматики вручную. [12] а также использование логики прикладного программирования. [13] В 2000-е годы большая часть работы в этой области заключалась в создании/изучении и использовании различных грамматик и лексиконов для выполнения контролируемых задач. [14] [15] особенно общие грамматики, такие как SCFG. [16] Это улучшило ручные грамматики прежде всего потому, что онииспользовали синтаксическую природу предложения, но все равно не могли охватить достаточное количество вариаций.и не были достаточно надежными для использования в реальном мире. Однако, следуя за развитиемпередовых методов нейронных сетей, особенно модели Seq2Seq, [17] и доступности мощных вычислительных ресурсов начал появляться нейронный семантический анализ. Он не только обеспечивал конкурентоспособные результаты на существующих наборах данных, но и был устойчив к шуму и не требовал больших усилий.надзор и ручное вмешательство.Нынешний переход от традиционного анализа к нейронно-семантическому анализу не был идеальным.хотя. Нейросемантический анализ, даже несмотря на свои преимущества, все еще не может решить проблему в кратчайшие сроки.более глубокий уровень. Нейронные модели, такие как Seq2Seq, рассматривают проблему синтаксического анализа как задачу последовательного перевода, и модель изучает шаблоны методом «черного ящика», что означает, что мы не можемдействительно предсказать, действительно ли модель решает проблему. Были предприняты промежуточные усилия и модификации Seq2Seq для включения синтаксиса и семантического значения. [18] [19] с заметным улучшениемв результатах, но остается много неясностей, о которых нужно позаботиться.
Типы [ править ]
Поверхностный семантический анализ [ править ]
Поверхностный семантический анализ связан с идентификацией сущностей в высказывании и присвоением им ярлыков с указанием ролей, которые они играют. Неглубокий семантический анализ иногда называют заполнением слотов или семантическим анализом фрейма, поскольку его теоретическая основа исходит из семантики фрейма , где слово вызывает фрейм связанных понятий и ролей. Системы заполнения слотов широко используются в виртуальных помощниках совместно с классификаторами намерений, которые можно рассматривать как механизмы идентификации фрейма, вызванного высказыванием. [20] [21] Популярные архитектуры заполнения слотов в основном представляют собой варианты модели кодера-декодера, в которой две рекуррентные нейронные сети (RNN) обучаются совместно кодировать высказывание в вектор и декодировать этот вектор в последовательность меток слотов. [22] Этот тип модели используется в системе распознавания разговорного языка Amazon Alexa . [20] Этот синтаксический анализ основан на методах обучения без присмотра.
Глубокий семантический анализ [ править ]
Глубокий семантический анализ, также известный как композиционный семантический анализ, занимается созданием точных смысловых представлений высказываний, которые могут содержать значительную композиционность . [23] Неглубокие семантические анализаторы могут анализировать такие высказывания, как «покажи мне рейсы из Бостона в Даллас», классифицируя намерение как «список рейсов» и заполняя слоты «источник» и «пункт назначения» словами «Бостон» и «Даллас» соответственно. Однако поверхностный семантический анализ не может проанализировать произвольные композиционные высказывания, такие как «покажите мне рейсы из Бостона в любое место, где есть рейсы в Джуно». Глубокий семантический анализ пытается проанализировать такие высказывания, обычно путем преобразования их в формальный язык представления значения. В настоящее время композиционный семантический анализ использует модели большого языка для решения задач искусственного композиционного обобщения, таких как SCAN. [24]
Нейронно-семантический анализ [ править ]
Семантические анализаторы играют решающую роль в системах понимания естественного языка, поскольку они преобразуют высказывания естественного языка в машинно-исполняемые логические структуры или программы. Хорошо зарекомендовавшая себя область исследований, семантический анализ находит применение в голосовых помощниках, ответах на вопросы, выполнении инструкций и генерации кода. Поскольку нейронные подходы были доступны в течение двух лет, многие предположения, лежащие в основе семантического анализа, были переосмыслены, что привело к существенным изменениям в моделях, используемых для семантического анализа. Хотя семантическая нейронная сеть и нейронно-семантический анализ [25] оба имеют дело с обработкой естественного языка (НЛП) и семантикой, они не одинаковы.Модели и исполняемые формализмы, используемые в исследованиях семантического анализа, традиционно сильно зависели от концепций формальной семантики в лингвистике, таких как λ-исчисление, создаваемое синтаксическим анализатором CCG. Тем не менее, более доступные формализмы, такие как традиционные языки программирования и модели в стиле NMT, которые значительно более доступны для более широкой аудитории НЛП, стали возможными благодаря недавним работам с семантическим анализаторами нейронного кодировщика-декодера. Мы дадим краткий обзор современных нейронных подходов к семантическому анализу и обсудим, как они повлияли на понимание семантического анализа в этой области.
Языки представления [ править ]
Ранние семантические парсеры использовали языки представления значений, сильно специфичные для предметной области. [26] в более поздних системах используются более расширяемые языки, такие как Пролог , [27] лямбда-исчисление , [28] композиционная семантика на основе лямбда-зависимостей (λ-DCS), [29] SQL , [30] [31] Питон , [32] Ява , [33] язык представления значений Alexa, [20] и представление абстрактного значения (AMR). В некоторых работах использовались более экзотические представления значений, такие как графы запросов, [34] семантические графы, [35] или векторные представления. [36]
Модели [ править ]
Большинство современных моделей глубокого семантического анализа либо основаны на определении формальной грамматики для анализатора диаграмм , либо на использовании RNN для прямого перевода с естественного языка на язык представления значения. Примерами систем, построенных на формальных грамматиках, являются Cornell Semantic Parsing Framework, [37] Стэнфордского университета (SEMPRE), Семантический анализ с выполнением [3] и семантический анализатор на основе выравнивания слов (WASP). [38]
Наборы данных [ править ]
Наборы данных, используемые для обучения моделей статистического семантического анализа, делятся на два основных класса в зависимости от приложения: те, которые используются для ответов на вопросы посредством запросов к базе знаний , и те, которые используются для генерации кода.
Ответ на вопрос [ править ]

Стандартным набором данных для ответов на вопросы посредством семантического анализа является набор данных Air Travel Information System (ATIS), который содержит вопросы и команды о предстоящих рейсах, а также соответствующий SQL. [30] Еще один эталонный набор данных — это набор данных GeoQuery, который содержит вопросы о географии США в сочетании с соответствующим Прологом. [27] Набор данных Overnight используется для проверки того, насколько хорошо семантические анализаторы адаптируются к нескольким доменам; он содержит запросы на естественном языке о 8 различных доменах в сочетании с соответствующими выражениями λ-DCS. [39] В последнее время семантический парсинг приобретает значительную популярность в результате новых исследовательских работ и многие крупные компании, а именно Google , Microsoft , Amazon в этом направлении работают и т.д. Одна из последних работ по семантическому анализу ответов на вопросы прикреплена здесь. [40] На этом рисунке показан пример разговора из SPICE. В левом столбце показаны ходы диалога (Т1–Т3) с пользователем (U) исистема (С) высказываний. В среднем столбце показаны аннотации, представленные в CSQA. Синие коробки на правом шоупоследовательность действий (AS) и соответствующий семантический анализ SPARQL (SP).
Генерация кода [ править ]
Популярные наборы данных для генерации кода включают два набора данных коллекционных карточек , которые связывают текст, отображаемый на карточках, с кодом, который точно представляет эти карточки. Один из них был построен путем связывания текстов карточек Magic: The Gathering с фрагментами Java; другой — связывая тексты карт Hearthstone с фрагментами Python. [33] Набор IFTTT данных [41] использует специализированный предметно-ориентированный язык с короткими условными командами. Набор Джанго данных [42] объединяет фрагменты Python с английским и японским псевдокодом, описывающим их. Набор RoboCup данных [43] объединяет английские правила с их представлениями на предметно-ориентированном языке, который могут понять виртуальные роботы, играющие в футбол.
Области применения [ править ]
В области обработки естественного языка (НЛП) семантический анализ занимается преобразованием человеческого языка в формат, который машинам легче понять и понять. Этот метод полезен в ряде случаев:
- Голосовые помощники и чат-боты. Семантический анализ повышает качество взаимодействия с пользователем на таких устройствах, как интеллектуальные колонки и чат-боты для обслуживания клиентов, поскольку он понимает запросы пользователей и отвечает на них на естественном языке.
- Поиск информации: улучшает понимание и обработку пользовательских запросов поисковыми системами и базами данных, что приводит к более точным и релевантным результатам поиска.
- Машинный перевод . Чтобы улучшить качество и контекст перевода, машинный перевод предполагает понимание семантики одного языка, чтобы точно перевести его на другой.
- Текстовая аналитика. Бизнес-аналитика и мониторинг социальных сетей извлекают выгоду из значимой информации, которую можно извлечь из текстовых данных посредством семантического анализа. Примеры такой информации включают анализ настроений , тематическое моделирование и анализ тенденций.
- ответов на вопросы Системы . Эти системы, присутствующие в таких системах, как IBM Watson, помогают понимать и анализировать запросы на естественном языке для получения точных ответов. Они особенно полезны в таких областях, как обслуживание клиентов и образовательные ресурсы.
- Системы управления и контроля: семантический анализ помогает точно интерпретировать голосовые или текстовые команды, используемые для управления системами в таких приложениях, как программные интерфейсы или умные дома.
- Категоризация контента: это полезный инструмент для онлайн-публикаций и управления цифровым контентом, поскольку он помогает классифицировать и организовывать огромные объемы текстового материала путем анализа его семантического содержания.
- Технологии, связанные с доступностью: помогает создавать инструменты для людей с ограниченными возможностями, такие как сурдоперевод и преобразование текста в речь .
- Юридическая и медицинская информатика. Семантический анализ позволяет извлекать и структурировать важную информацию из юридических документов и медицинских записей для поддержки исследований и принятия решений.
Семантический синтаксический анализ направлен на повышение эффективности и результативности различных приложений путем устранения разрыва между человеческим языком и машинной обработкой в каждой из этих областей.
Оценка [ править ]
Производительность семантических анализаторов также измеряется с использованием стандартных показателей оценки, таких как синтаксический анализ. Это можно оценить по соотношению точных совпадений (процент предложений, которые были полностью проанализированы), а также точности , полноты и F1-показателя, рассчитанных на основе правильных назначений групп или зависимостей при синтаксическом анализе относительно этого числа в ссылке и/или анализ гипотез. Последние также известны как метрики PARSEVAL. [44]
См. также [ править ]
- Автоматическое программирование
- Класс (философия)
- Формальная семантика (лингвистика)
- Извлечение информации
- Поиск информации
- Семантика минимальной рекурсии
- Философия процесса
- Ответ на вопрос
- Семантический анализ (лингвистика)
- Маркировка семантических ролей
- Статистическая семантика
- Синтаксис
- Различие типа и токена
Ссылки [ править ]
- ^ Jump up to: Перейти обратно: а б Цзя, Робин; Лян, Перси (11 июня 2016 г.). «Рекомбинация данных для нейронного семантического анализа». arXiv : 1606.03622 [ cs.CL ].
- ^ Андреас, Джейкоб, Андреас Влахос и Стивен Кларк. « Семантический синтаксический анализ как машинный перевод ». Материалы 51-го ежегодного собрания Ассоциации компьютерной лингвистики (Том 2: Короткие статьи). Том. 2. 2013.
- ^ Jump up to: Перейти обратно: а б Берант, Джонатан и др. «Семантический анализ Freebase на основе пар вопрос-ответ». ЭМНЛП. Том. 2. № 5. 2013.
- ^ Пун, Хойфунг и Педро Домингос. « Неконтролируемая индукция онтологии из текста ». Материалы 48-го ежегодного собрания Ассоциации компьютерной лингвистики. Ассоциация компьютерной лингвистики, 2010.
- ^ Калишик, Цезари, Йозеф Урбан и Иржи Выскочил. « Автоматизация формализации путем статистического и семантического анализа математических данных ». Международная конференция по интерактивному доказательству теорем. Спрингер, Чам, 2017.
- ^ Рабинович, Максим; Стерн, Митчелл; Кляйн, Дэн (25 апреля 2017 г.). «Абстрактные синтаксические сети для генерации кода и семантического анализа». arXiv : 1704.07535 [ cs.CL ].
- ^ Инь, Пэнчэн; Нойбиг, Грэм (5 апреля 2017 г.). «Синтаксическая нейронная модель для генерации кода общего назначения». arXiv : 1704.01696 [ cs.CL ].
- ^ Уилкс, Ю. и Фасс, Д. (1992) Семейство семантики предпочтений , в «Компьютерах и математике с приложениями», том 23, выпуски 2–5, страницы 205–221.
- ^ Хойфунг Пун, Педро Домингос Неконтролируемый семантический анализ , Материалы конференции 2009 г. по эмпирическим методам обработки естественного языка, 2009 г.
- ^ Армени, Иро и др. « 3D-семантический анализ масштабных внутренних пространств ». Материалы конференции IEEE по компьютерному зрению и распознаванию образов. 2016.
- ^ Ци, Чарльз Р. и др. « Сеть точек: глубокое обучение наборам точек для 3D-классификации и сегментации ». Материалы конференции IEEE по компьютерному зрению и распознаванию образов. 2017.
- ^ Уоррен, DHD и Перейра, FCN et al. « Эффективная, легко адаптируемая система для интерпретации запросов на естественном языке ». Вычислить. Лингвист., 8(3-4):110–122. 1982 год
- ^ Зелле, Дж. М. и Муни, Р. Дж. и др. « Научимся анализировать запросы к базе данных с использованием индуктивного логического программирования ». Материалы республиканской конференции поискусственный интеллект, страницы 1050–1055, 1996.
- ^ Зеттлмойер и Коллинз и др. « Учимся преобразовывать предложения в логическую форму: структурированная классификация с помощью вероятностных категориальных грамматик ». Материалы двадцать первой конференции по неопределенности в искусственном интеллекте, UAI'05, страницы 658–666, 2005 г.
- ^ Квятковски Т., Зеттлмойер Л., Голдуотер С. и Стидман М. и др. « Выведение вероятностных грамматик ccg из логической формы с унификацией высшего порядка ». Материалы конференции 2010 г. по эмпирическим методам обработки естественного языка.страницы 1223–1233, 2010 г.
- ^ Ва Вонг, Ю. и Дж. Муни, Р. и др. « Изучение синхронных грамматик для семантического анализа с помощью лямбда-исчисления ». Материалы 45-го ежегодного собрания Ассоциации компьютерной лингвистики,страницы 960–967, 2007.
- ^ Донг, Л. и Лапата, М. и др. « Преобразование языка в логическую форму с помощью нейронного внимания » . Материалы 54-го ежегодного собрания Ассоциации компьютерной лингвистики (Том 1: Длинные статьи),страницы 33–43, 2016 г.
- ^ Пэнчэн Инь, Грэм Нойбиг и др. « Синтаксическая нейронная модель для генерации кода общего назначения ». Материалы 55-го ежегодного собрания Ассоциации компьютерной лингвистики (Том 1: Длинные статьи),страницы 440–450, 2017.
- ^ Ши Т., Татвавади К., Чакрабарти К., Мао Ю., Полозов О. и Чен В. и др. « A Incsql: Обучение инкрементных анализаторов текста в SQL с помощью недетерминированных оракулов ». Опубликовано Microsoft Research, 2018 г.
- ^ Jump up to: Перейти обратно: а б с Кумар, Анжишну и др. «Просто СПРОСИТЕ: построение архитектуры для расширяемого самообслуживания и понимания разговорной речи». Препринт arXiv arXiv:1711.00549 (2017).
- ^ Бапна, Анкур и др. «На пути к семантическому анализу кадров с нулевым кадром для масштабирования домена». Препринт arXiv arXiv:1707.02363 (2017).
- ^ Лю, Бинг и Ян Лейн. «Модели рекуррентных нейронных сетей на основе внимания для совместного обнаружения намерений и заполнения слотов». Препринт arXiv arXiv:1609.01454 (2016).
- ^ Лян, Перси и Кристофер Поттс. «Объединение машинного обучения и композиционной семантики». Анну. Преподобный лингвист. 1.1 (2015): 355-376.
- ^ Эндрю Дроздов, Натаниэль Шерли, Экин Акюрек, Натан Скейлс, Синьин Сун, Синьюнь Чен, Оливье Буске, Денни Чжоу. «КОМПОЗИЦИОННЫЙ СЕМАНТИЧЕСКИЙ АНАЛИЗ С БОЛЬШИМИ ЯЗЫКОВЫМИ МОДЕЛЯМИ» , Корнельский университет, 30 сентября 2022 г.
- ^ Мэтт Гарднер, Прадип Дасиги, Сринивасан Айер, Алан Зур, Люк Зеттлмойер. «Нейронно-семантический анализ». Материалы 56-го ежегодного собрания Ассоциации компьютерной лингвистики: тезисы учебных пособий, июль 2018 г.
- ^ Вудс, Уильям А. Семантика вопросно-ответной системы . Том. 27. Паб «Гарланд», 1979.
- ^ Jump up to: Перейти обратно: а б Зелле, Джон М. и Рэймонд Дж. Муни. «Научимся анализировать запросы к базе данных с использованием индуктивного логического программирования». Материалы национальной конференции по искусственному интеллекту . 1996.
- ^ Вонг, Юк Ва и Рэймонд Муни. «Изучение синхронных грамматик для семантического анализа с помощью лямбда-исчисления». Материалы 45-го ежегодного собрания Ассоциации компьютерной лингвистики . 2007.
- ^ Лян, Перси. «Композиционная семантика на основе лямбда-зависимостей». Препринт arXiv arXiv:1309.4408 (2013).
- ^ Jump up to: Перейти обратно: а б Хемфилл, Чарльз Т., Джон Дж. Годфри и Джордж Р. Доддингтон. «Пилотный корпус систем разговорной речи ATIS». Речь и естественный язык: материалы семинара, состоявшегося в Хидден-Вэлли, штат Пенсильвания, 24–27 июня 1990 г. 1990.
- ^ Айер, Шринивасан и др. «Изучение нейронного семантического анализатора на основе отзывов пользователей». Препринт arXiv arXiv:1704.08760 (2017).
- ^ Инь, Пэнчэн и Грэм Нойбиг. «Синтаксическая нейронная модель для генерации кода общего назначения». Препринт arXiv arXiv:1704.01696 (2017).
- ^ Jump up to: Перейти обратно: а б Линг, Ван и др. «Скрытые сети предсказателей для генерации кода». Препринт arXiv arXiv:1603.06744 (2016).
- ^ Йих, Скотт Вен-тау и др. «Семантический анализ посредством поэтапной генерации графа запросов: ответы на вопросы с помощью базы знаний». (2015).
- ^ Редди, Шива, Мирелла Лапата и Марк Стидман. « Масштабный семантический парсинг без пар вопрос-ответ ». Труды Ассоциации компьютерной лингвистики 2.1 (2014): 377-392.
- ^ Гуу, Кельвин, Джон Миллер и Перси Лян. «Обход графов знаний в векторном пространстве». Препринт arXiv arXiv:1506.01094 (2015).
- ^ Арци, Йоав. «Cornell SPF: Корнеллская система семантического анализа». Препринт arXiv arXiv:1311.3011 (2013).
- ^ Вонг, Юк Ва; Муни, Рэймонд Дж. (4 июня 2006 г.). Обучение семантическому анализу со статистическим машинным переводом . Материалы основной конференции по технологиям человеческого языка Североамериканского отделения Ассоциации компьютерной лингвистики. Ассоциация компьютерной лингвистики. стр. 439–446. CiteSeerX 10.1.1.135.7209 . дои : 10.3115/1220835.1220891 .
- ^ Ван, Юши, Джонатан Берант и Перси Лян. «Создание семантического парсера за одну ночь». Материалы 53-го ежегодного собрания Ассоциации компьютерной лингвистики и 7-й Международной совместной конференции по обработке естественного языка (Том 1: Длинные статьи) . Том. 1. 2015.
- ^ Лаура Перес-Бельтрачини, Параг Джайн, Эмилио Монти, Мирелла Лапата. Семантический синтаксический анализ для ответов на разговорные вопросы по графам знаний «Материалы по EACL 2023». 28 января 2023 г.
- ^ Квирк, Крис, Рэймонд Муни и Мишель Галлей. «Язык для кодирования: изучение семантических анализаторов рецептов «если это, то то». Материалы 53-го ежегодного собрания Ассоциации компьютерной лингвистики и 7-й Международной совместной конференции по обработке естественного языка (Том 1: Длинные статьи) . Том. 1. 2015.
- ^ Ода, Юсуке и др. «Научимся генерировать псевдокод из исходного кода с помощью статистического машинного перевода (т)». Автоматизированная разработка программного обеспечения (ASE), 30-я Международная конференция IEEE/ACM, 2015 г., посвященная . ИИЭР, 2015.
- ^ Кульманн, Грегори и др. «Руководство учащемуся с подкреплением с помощью советов на естественном языке: первые результаты в футболе RoboCup». Семинар AAAI-2004 по диспетчерскому управлению обучающимися и адаптивными системами . 2004.
- ^ Блэк, Э.; Эбни, С.; Фликенджер, Д.; Гданец, К.; Гришман, Р.; Харрисон, П.; Хиндл, Д.; Ингрия, Р.; Елинек, Ф.; Клаванс, Дж.; Либерман, М.; Маркус, М.; Рукос, С.; Санторини, Б.; Стшалковски, Т. (1991). Процедура количественного сравнения синтаксического охвата грамматик английского языка . Речь и естественный язык: материалы семинара, состоявшегося в Пасифик-Гроув, Калифорния, 19–22 февраля 1991 г.