✖


Jump to content

Семантический анализ

    Add links
    (Перенаправлено из семантических парсеров )

    Семантический синтаксический анализ — это задача преобразования на естественном языке высказывания в логическую форму : понятное машине представление его значения. [1] Таким образом, семантический анализ можно понимать как извлечение точного значения высказывания. Приложения семантического анализа включают машинный перевод , [2] ответ на вопрос , [1] [3] индукция онтологий , [4] автоматизированное рассуждение , [5] и генерация кода . [6] [7] Эта фраза была впервые использована в 1970-х годах Йориком Уилксом в качестве основы для программ машинного перевода, работающих только с семантическими представлениями. [8] Семантический анализ — одна из важных задач компьютерной лингвистики и обработки естественного языка.

    Архитектура системы семантического анализа

    Семантический анализ преобразует текст в формальное значение.представления. Это контрастирует с семантической рольюмаркировка и прочееформы поверхностной семантической обработки, которыене стремятся создавать полные формальные значения. [9] В компьютерном зрении семантический анализ — это процесс сегментации трехмерных объектов. [10] [11]

    Основные уровни языковой структуры

    История и предыстория

    [ редактировать ]

    Ранние исследования семантического анализа включали генерацию грамматики вручную. [12] а также использование логики прикладного программирования. [13] В 2000-е годы большая часть работы в этой области заключалась в создании/изучении и использовании различных грамматик и лексиконов для выполнения контролируемых задач. [14] [15] особенно общие грамматики, такие как SCFG. [16] Это улучшило ручные грамматики прежде всего потому, что онииспользовали синтаксическую природу предложения, но все равно не могли охватить достаточное количество вариаций.и не были достаточно надежными для использования в реальном мире. Однако, следуя за развитиемпередовых методов нейронных сетей, особенно модели Seq2Seq, [17] и доступности мощных вычислительных ресурсов начал появляться нейронный семантический анализ. Он не только обеспечивал конкурентоспособные результаты на существующих наборах данных, но и был устойчив к шуму и не требовал больших усилий.надзор и ручное вмешательство.Нынешний переход от традиционного анализа к нейронно-семантическому анализу не был идеальным.хотя. Нейросемантический анализ, даже несмотря на свои преимущества, все еще не может решить проблему в кратчайшие сроки.более глубокий уровень. Нейронные модели, такие как Seq2Seq, рассматривают проблему синтаксического анализа как задачу последовательного перевода, и модель изучает шаблоны методом «черного ящика», что означает, что мы не можемдействительно предсказать, действительно ли модель решает проблему. Были предприняты промежуточные усилия и модификации Seq2Seq для включения синтаксиса и семантического значения. [18] [19] с заметным улучшениемв результатах, но остается много неясностей, о которых нужно позаботиться.

    Типы

    [ редактировать ]

    Неглубокий семантический анализ

    [ редактировать ]
    Основная статья: Маркировка семантических ролей

    Поверхностный семантический анализ связан с идентификацией сущностей в высказывании и присвоением им ярлыков с указанием ролей, которые они играют. Неглубокий семантический анализ иногда называют заполнением слотов или семантическим анализом фрейма, поскольку его теоретическая основа исходит из семантики фрейма , где слово вызывает фрейм связанных понятий и ролей. Системы заполнения слотов широко используются в виртуальных помощниках совместно с классификаторами намерений, которые можно рассматривать как механизмы идентификации фрейма, вызванного высказыванием. [20] [21] Популярные архитектуры заполнения слотов в основном представляют собой варианты модели кодера-декодера, в которой две рекуррентные нейронные сети (RNN) обучаются совместно кодировать высказывание в вектор и декодировать этот вектор в последовательность меток слотов. [22] Этот тип модели используется в системе распознавания разговорного языка Amazon Alexa . [20] Этот синтаксический анализ основан на методах обучения без присмотра.

    Глубокий семантический анализ

    [ редактировать ]

    Глубокий семантический анализ, также известный как композиционный семантический анализ, занимается созданием точных смысловых представлений высказываний, которые могут содержать значительную композиционность . [23] Неглубокие семантические анализаторы могут анализировать такие высказывания, как «покажи мне рейсы из Бостона в Даллас», классифицируя намерение как «список рейсов» и заполняя слоты «источник» и «пункт назначения» словами «Бостон» и «Даллас» соответственно. Однако поверхностный семантический анализ не может проанализировать произвольные композиционные высказывания, такие как «покажите мне рейсы из Бостона в любое место, где есть рейсы в Джуно». Глубокий семантический анализ пытается проанализировать такие высказывания, обычно путем преобразования их в формальный язык представления значения. В настоящее время композиционный семантический анализ использует модели большого языка для решения задач искусственного композиционного обобщения, таких как SCAN. [24]

    Нейронно-семантический анализ

    [ редактировать ]

    Семантические анализаторы играют решающую роль в системах понимания естественного языка, поскольку они преобразуют высказывания естественного языка в машинно-исполняемые логические структуры или программы. Хорошо зарекомендовавшая себя область исследований, семантический анализ находит применение в голосовых помощниках, ответах на вопросы, выполнении инструкций и генерации кода. Поскольку нейронные подходы были доступны в течение двух лет, многие предположения, лежащие в основе семантического анализа, были переосмыслены, что привело к существенным изменениям в моделях, используемых для семантического анализа. Хотя семантическая нейронная сеть и нейронно-семантический анализ [25] оба имеют дело с обработкой естественного языка (НЛП) и семантикой, они не одинаковы.Модели и исполняемые формализмы, используемые в исследованиях семантического анализа, традиционно сильно зависели от концепций формальной семантики в лингвистике, таких как λ-исчисление, создаваемое синтаксическим анализатором CCG. Тем не менее, более доступные формализмы, такие как традиционные языки программирования и модели в стиле NMT, которые значительно более доступны для более широкой аудитории НЛП, стали возможными благодаря недавним работам с семантическим анализаторами нейронного кодировщика-декодера. Мы дадим краткий обзор современных нейронных подходов к семантическому анализу и обсудим, как они повлияли на понимание семантического анализа в этой области.

    Языки представления

    [ редактировать ]

    Ранние семантические парсеры использовали языки представления значений, сильно специфичные для предметной области. [26] в более поздних системах используются более расширяемые языки, такие как Пролог , [27] лямбда-исчисление , [28] композиционная семантика на основе лямбда-зависимостей (λ-DCS), [29] SQL , [30] [31] Питон , [32] Ява , [33] язык представления значений Alexa, [20] и представление абстрактного значения (AMR). В некоторых работах использовались более экзотические представления значений, такие как графы запросов, [34] семантические графы, [35] или векторные представления. [36]

    Модели

    [ редактировать ]

    Большинство современных моделей глубокого семантического анализа либо основаны на определении формальной грамматики для анализатора диаграмм , либо на использовании RNN для прямого перевода с естественного языка на язык представления значения. Примерами систем, построенных на формальных грамматиках, являются Cornell Semantic Parsing Framework, [37] Стэнфордского университета (SEMPRE), Семантический анализ с выполнением [3] и семантический анализатор на основе выравнивания слов (WASP). [38]

    Наборы данных

    [ редактировать ]

    Наборы данных, используемые для обучения моделей статистического семантического анализа, делятся на два основных класса в зависимости от приложения: те, которые используются для ответов на вопросы посредством запросов к базе знаний , и те, которые используются для генерации кода.

    Ответ на вопрос

    [ редактировать ]
    Семантический анализ для ответа на разговорные вопросы

    Стандартным набором данных для ответов на вопросы посредством семантического анализа является набор данных Air Travel Information System (ATIS), который содержит вопросы и команды о предстоящих рейсах, а также соответствующий SQL. [30] Еще один эталонный набор данных — это набор данных GeoQuery, который содержит вопросы о географии США в сочетании с соответствующим Прологом. [27] Набор данных Overnight используется для проверки того, насколько хорошо семантические анализаторы адаптируются к нескольким доменам; он содержит запросы на естественном языке о 8 различных доменах в сочетании с соответствующими выражениями λ-DCS. [39] В последнее время семантический парсинг приобретает значительную популярность в результате новых исследовательских работ и многие крупные компании, а именно Google , Microsoft , Amazon в этом направлении работают и т.д. Одна из последних работ по семантическому анализу ответов на вопросы прикреплена здесь. [40] На этом рисунке показан пример разговора из SPICE. В левом столбце показаны ходы диалога (Т1–Т3) с пользователем (U) исистема (С) высказываний. В среднем столбце показаны аннотации, представленные в CSQA. Синие коробки на правом шоупоследовательность действий (AS) и соответствующий семантический анализ SPARQL (SP).

    Генерация кода

    [ редактировать ]

    Популярные наборы данных для генерации кода включают два набора данных коллекционных карточек , которые связывают текст, отображаемый на карточках, с кодом, который точно представляет эти карточки. Один из них был построен путем связывания текстов карточек Magic: The Gathering с фрагментами Java; другой — связывая тексты карт Hearthstone с фрагментами Python. [33] Набор IFTTT данных [41] использует специализированный предметно-ориентированный язык с короткими условными командами. Набор Джанго данных [42] объединяет фрагменты Python с английским и японским псевдокодом, описывающим их. Набор RoboCup данных [43] объединяет английские правила с их представлениями на предметно-ориентированном языке, который могут понять виртуальные роботы, играющие в футбол.

    Области применения

    [ редактировать ]

    В области обработки естественного языка (НЛП) семантический анализ занимается преобразованием человеческого языка в формат, который машинам легче понять и понять. Этот метод полезен в ряде случаев:

    • Голосовые помощники и чат-боты. Семантический анализ повышает качество взаимодействия с пользователем на таких устройствах, как интеллектуальные колонки и чат-боты для обслуживания клиентов, поскольку он понимает запросы пользователей и отвечает на них на естественном языке.
    • Поиск информации: улучшает понимание и обработку пользовательских запросов поисковыми системами и базами данных, что приводит к более точным и релевантным результатам поиска.
    • Машинный перевод . Чтобы улучшить качество и контекст перевода, машинный перевод предполагает понимание семантики одного языка, чтобы точно перевести его на другой.
    • Текстовая аналитика. Бизнес-аналитика и мониторинг социальных сетей извлекают выгоду из значимой информации, которую можно извлечь из текстовых данных посредством семантического анализа. Примеры такой информации включают анализ настроений , тематическое моделирование и анализ тенденций.
    • ответов на вопросы Системы . Эти системы, присутствующие в таких системах, как IBM Watson, помогают понимать и анализировать запросы на естественном языке для получения точных ответов. Они особенно полезны в таких областях, как обслуживание клиентов и образовательные ресурсы.
    • Системы управления и контроля: семантический анализ помогает точно интерпретировать голосовые или текстовые команды, используемые для управления системами в таких приложениях, как программные интерфейсы или умные дома.
    • Категоризация контента: это полезный инструмент для онлайн-публикаций и управления цифровым контентом, поскольку он помогает классифицировать и организовывать огромные объемы текстового материала путем анализа его семантического содержания.
    • Технологии, связанные с доступностью: помогает создавать инструменты для людей с ограниченными возможностями, такие как сурдоперевод и преобразование текста в речь .
    • Юридическая и медицинская информатика. Семантический анализ позволяет извлекать и структурировать важную информацию из юридических документов и медицинских записей для поддержки исследований и принятия решений.

    Семантический синтаксический анализ направлен на повышение эффективности и результативности различных приложений путем устранения разрыва между человеческим языком и машинной обработкой в ​​каждой из этих областей.

    Оценка

    [ редактировать ]

    Производительность семантических анализаторов также измеряется с использованием стандартных показателей оценки, таких как синтаксический анализ. Это можно оценить по соотношению точных совпадений (процент предложений, которые были полностью проанализированы), а также точности , полноты и F1-показателя, рассчитанных на основе правильных назначений групп или зависимостей при синтаксическом анализе относительно этого числа в ссылке и/или анализ гипотез. Последние также известны как метрики PARSEVAL. [44]

    См. также

    [ редактировать ]

    Ссылки

    [ редактировать ]
    1. ^ Перейти обратно: а б Цзя, Робин; Лян, Перси (11 июня 2016 г.). «Рекомбинация данных для нейронного семантического анализа». arXiv : 1606.03622 [ cs.CL ].
    2. ^ Андреас, Джейкоб, Андреас Влахос и Стивен Кларк. « Семантический синтаксический анализ как машинный перевод ». Материалы 51-го ежегодного собрания Ассоциации компьютерной лингвистики (Том 2: Короткие статьи). Том. 2. 2013.
    3. ^ Перейти обратно: а б Берант, Джонатан и др. «Семантический анализ Freebase на основе пар вопрос-ответ». ЭМНЛП. Том. 2. № 5. 2013.
    4. ^ Пун, Хойфунг и Педро Домингос. « Неконтролируемая индукция онтологии из текста ». Материалы 48-го ежегодного собрания Ассоциации компьютерной лингвистики. Ассоциация компьютерной лингвистики, 2010.
    5. ^ Калишик, Цезари, Йозеф Урбан и Иржи Выскочил. « Автоматизация формализации путем статистического и семантического анализа математических данных ». Международная конференция по интерактивному доказательству теорем. Спрингер, Чам, 2017.
    6. ^ Рабинович, Максим; Стерн, Митчелл; Кляйн, Дэн (25 апреля 2017 г.). «Абстрактные синтаксические сети для генерации кода и семантического анализа». arXiv : 1704.07535 [ cs.CL ].
    7. ^ Инь, Пэнчэн; Нойбиг, Грэм (5 апреля 2017 г.). «Синтаксическая нейронная модель для генерации кода общего назначения». arXiv : 1704.01696 [ cs.CL ].
    8. ^ Уилкс, Ю. и Фасс, Д. (1992) Семейство семантики предпочтений , в «Компьютерах и математике с приложениями», том 23, выпуски 2–5, страницы 205–221.
    9. ^ Хойфунг Пун, Педро Домингос Неконтролируемый семантический анализ , Материалы конференции 2009 г. по эмпирическим методам обработки естественного языка, 2009 г.
    10. ^ Армени, Иро и др. « 3D-семантический анализ масштабных внутренних пространств ». Материалы конференции IEEE по компьютерному зрению и распознаванию образов. 2016.
    11. ^ Ци, Чарльз Р. и др. « Сеть точек: глубокое обучение наборам точек для 3D-классификации и сегментации ». Материалы конференции IEEE по компьютерному зрению и распознаванию образов. 2017.
    12. ^ Уоррен, DHD и Перейра, FCN et al. « Эффективная, легко адаптируемая система для интерпретации запросов на естественном языке ». Вычислить. Лингвист., 8(3-4):110–122. 1982 год
    13. ^ Зелле, Дж. М. и Муни, Р. Дж. и др. « Научимся анализировать запросы к базе данных с использованием индуктивного логического программирования ». Материалы республиканской конференции поискусственный интеллект, страницы 1050–1055, 1996.
    14. ^ Зеттлмойер и Коллинз и др. « Учимся преобразовывать предложения в логическую форму: структурированная классификация с помощью вероятностных категориальных грамматик ». Материалы двадцать первой конференции по неопределенности в искусственном интеллекте, UAI'05, страницы 658–666, 2005 г.
    15. ^ Квятковски Т., Зеттлмойер Л., Голдуотер С. и Стидман М. и др. « Выведение вероятностных грамматик ccg из логической формы с унификацией высшего порядка ». Материалы конференции 2010 г. по эмпирическим методам обработки естественного языка.страницы 1223–1233, 2010 г.
    16. ^ Ва Вонг, Ю. и Дж. Муни, Р. и др. « Изучение синхронных грамматик для семантического анализа с помощью лямбда-исчисления ». Материалы 45-го ежегодного собрания Ассоциации компьютерной лингвистики,страницы 960–967, 2007.
    17. ^ Донг, Л. и Лапата, М. и др. « Преобразование языка в логическую форму с помощью нейронного внимания » . Материалы 54-го ежегодного собрания Ассоциации компьютерной лингвистики (Том 1: Длинные статьи),страницы 33–43, 2016 г.
    18. ^ Пэнчэн Инь, Грэм Нойбиг и др. « Синтаксическая нейронная модель для генерации кода общего назначения ». Материалы 55-го ежегодного собрания Ассоциации компьютерной лингвистики (Том 1: Длинные статьи),страницы 440–450, 2017.
    19. ^ Ши Т., Татвавади К., Чакрабарти К., Мао Ю., Полозов О. и Чен В. и др. « A Incsql: Обучение инкрементных анализаторов текста в SQL с помощью недетерминированных оракулов ». Опубликовано Microsoft Research, 2018 г.
    20. ^ Перейти обратно: а б с Кумар, Анжишну и др. «Просто СПРОСИТЕ: построение архитектуры для расширяемого самообслуживания и понимания разговорной речи». Препринт arXiv arXiv:1711.00549 (2017).
    21. ^ Бапна, Анкур и др. «На пути к семантическому анализу кадров с нулевым кадром для масштабирования домена». Препринт arXiv arXiv:1707.02363 (2017).
    22. ^ Лю, Бинг и Ян Лейн. «Модели рекуррентных нейронных сетей на основе внимания для совместного обнаружения намерений и заполнения слотов». Препринт arXiv arXiv:1609.01454 (2016).
    23. ^ Лян, Перси и Кристофер Поттс. «Объединение машинного обучения и композиционной семантики». Анну. Преподобный лингвист. 1.1 (2015): 355-376.
    24. ^ Эндрю Дроздов, Натаниэль Шерли, Экин Акюрек, Натан Скейлс, Синьин Сун, Синьюнь Чен, Оливье Буске, Денни Чжоу. «КОМПОЗИЦИОННЫЙ СЕМАНТИЧЕСКИЙ АНАЛИЗ С БОЛЬШИМИ ЯЗЫКОВЫМИ МОДЕЛЯМИ» , Корнельский университет, 30 сентября 2022 г.
    25. ^ Мэтт Гарднер, Прадип Дасиги, Сринивасан Айер, Алан Зур, Люк Зеттлмойер. «Нейронно-семантический анализ». Материалы 56-го ежегодного собрания Ассоциации компьютерной лингвистики: тезисы учебных пособий, июль 2018 г.
    26. ^ Вудс, Уильям А. Семантика вопросно-ответной системы . Том. 27. Паб «Гарланд», 1979.
    27. ^ Перейти обратно: а б Зелле, Джон М. и Рэймонд Дж. Муни. «Научимся анализировать запросы к базе данных с использованием индуктивного логического программирования». Материалы национальной конференции по искусственному интеллекту . 1996.
    28. ^ Вонг, Юк Ва и Рэймонд Муни. «Изучение синхронных грамматик для семантического анализа с помощью лямбда-исчисления». Материалы 45-го ежегодного собрания Ассоциации компьютерной лингвистики . 2007.
    29. ^ Лян, Перси. «Композиционная семантика на основе лямбда-зависимостей». Препринт arXiv arXiv:1309.4408 (2013).
    30. ^ Перейти обратно: а б Хемфилл, Чарльз Т., Джон Дж. Годфри и Джордж Р. Доддингтон. «Пилотный корпус систем разговорной речи ATIS». Речь и естественный язык: материалы семинара, состоявшегося в Хидден-Вэлли, штат Пенсильвания, 24–27 июня 1990 г. 1990.
    31. ^ Айер, Шринивасан и др. «Изучение нейронного семантического анализатора на основе отзывов пользователей». Препринт arXiv arXiv:1704.08760 (2017).
    32. ^ Инь, Пэнчэн и Грэм Нойбиг. «Синтаксическая нейронная модель для генерации кода общего назначения». Препринт arXiv arXiv:1704.01696 (2017).
    33. ^ Перейти обратно: а б Линг, Ван и др. «Скрытые сети предсказателей для генерации кода». Препринт arXiv arXiv:1603.06744 (2016).
    34. ^ Йих, Скотт Вен-тау и др. «Семантический анализ посредством поэтапной генерации графа запросов: ответы на вопросы с помощью базы знаний». (2015).
    35. ^ Редди, Шива, Мирелла Лапата и Марк Стидман. « Масштабный семантический парсинг без пар вопрос-ответ ». Труды Ассоциации компьютерной лингвистики 2.1 (2014): 377-392.
    36. ^ Гуу, Кельвин, Джон Миллер и Перси Лян. «Обход графов знаний в векторном пространстве». Препринт arXiv arXiv:1506.01094 (2015).
    37. ^ Арци, Йоав. «Cornell SPF: Корнеллская система семантического анализа». Препринт arXiv arXiv:1311.3011 (2013).
    38. ^ Вонг, Юк Ва; Муни, Рэймонд Дж. (4 июня 2006 г.). Обучение семантическому анализу со статистическим машинным переводом . Материалы основной конференции по технологиям человеческого языка Североамериканского отделения Ассоциации компьютерной лингвистики. Ассоциация компьютерной лингвистики. стр. 439–446. CiteSeerX   10.1.1.135.7209 . дои : 10.3115/1220835.1220891 .
    39. ^ Ван, Юши, Джонатан Берант и Перси Лян. «Создание семантического парсера за одну ночь». Материалы 53-го ежегодного собрания Ассоциации компьютерной лингвистики и 7-й Международной совместной конференции по обработке естественного языка (Том 1: Длинные статьи) . Том. 1. 2015.
    40. ^ Лаура Перес-Бельтрачини, Параг Джайн, Эмилио Монти, Мирелла Лапата. Семантический синтаксический анализ для ответов на разговорные вопросы по графам знаний «Материалы по EACL 2023». 28 января 2023 г.
    41. ^ Квирк, Крис, Рэймонд Муни и Мишель Галлей. «Язык для кодирования: изучение семантических анализаторов рецептов «если это, то то». Материалы 53-го ежегодного собрания Ассоциации компьютерной лингвистики и 7-й Международной совместной конференции по обработке естественного языка (Том 1: Длинные статьи) . Том. 1. 2015.
    42. ^ Ода, Юсуке и др. «Научимся генерировать псевдокод из исходного кода с помощью статистического машинного перевода (т)». Автоматизированная разработка программного обеспечения (ASE), 30-я Международная конференция IEEE/ACM, 2015 г., посвященная . ИИЭР, 2015.
    43. ^ Кульманн, Грегори и др. «Руководство учащемуся с подкреплением с помощью советов на естественном языке: первые результаты в футболе RoboCup». Семинар AAAI-2004 по диспетчерскому управлению обучающимися и адаптивными системами . 2004.
    44. ^ Блэк, Э.; Эбни, С.; Фликенджер, Д.; Гданец, К.; Гришман, Р.; Харрисон, П.; Хиндл, Д.; Ингрия, Р.; Елинек, Ф.; Клаванс, Дж.; Либерман, М.; Маркус, М.; Рукос, С.; Санторини, Б.; Стшалковски, Т. (1991). Процедура количественного сравнения синтаксического охвата грамматик английского языка . Речь и естественный язык: материалы семинара, состоявшегося в Пасифик-Гроув, Калифорния, 19–22 февраля 1991 г.
    Retrieved from "https://en.wikipedia.org/w/index.php?title=Semantic_parsing&oldid=1220612743"
    Arc.Ask3.Ru: конец переведенного документа.
    Arc.Ask3.Ru
    Номер скриншота №: 3275230bc1f916e690594e765b730ab3__1713983220
    URL1:https://arc.ask3.ru/arc/aa/32/b3/3275230bc1f916e690594e765b730ab3.html
    Заголовок, (Title) документа по адресу, URL1:
    Semantic parsing - Wikipedia
    Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)