Грамматика ссылок
Грамматика связей (LG) — это теория синтаксиса Дэви Темперли и Дэниела Слиатора , которая строит отношения между парами слов, а не строит составляющие в иерархии структуры фразы . Грамматика ссылок аналогична грамматике зависимостей , но грамматика зависимостей включает в себя отношения, зависящие от заголовка, тогда как грамматика ссылок делает отношения, зависящие от заголовка, необязательными (ссылки не обязательно должны указывать направление). [1] Цветная многопланарная грамматика связей (CMLG) — это расширение LG, позволяющее пересекать отношения между парами слов. [2] Отношения между словами обозначаются типами ссылок , что делает грамматику ссылок тесно связанной с определенными категориальными грамматиками .
Например, в языке субъект-глагол-объект, таком как английский, глагол будет смотреть влево, чтобы сформировать субъектную ссылку, и вправо, чтобы сформировать объектную ссылку. Существительные будут выглядеть вправо, чтобы завершить ссылку на предмет, или влево, чтобы завершить ссылку на объект.
В субъект-объект-глагол, языке таком как персидский , глагол будет смотреть влево, чтобы сформировать объектную ссылку, и более далеко влево, чтобы сформировать субъектную ссылку. Существительные будут смотреть вправо как по субъектным, так и по объектным ссылкам.
Обзор
[ редактировать ]Грамматика ссылок соединяет слова в предложении ссылками, похожими по форме на катену . В отличие от катены или традиционной грамматики зависимостей , маркировка связи, зависящей от головы, необязательна для большинства языков и становится обязательной только в языках со свободным порядком слов (таких как турецкий , [3] [ нужен лучший источник ] финский , венгерский ). То есть в английском языке связь подлежащего и глагола «очевидна», поскольку подлежащее почти всегда находится слева от глагола, и поэтому не требуется никаких конкретных указаний на зависимость. В случае инверсии субъект-глагол используется отдельный тип связи. Для языков со свободным порядком слов это больше не применимо, и связь между подлежащим и глаголом должна содержать явную стрелку, указывающую, какое из двух слов является каким.
Грамматика связей также отличается от традиционных грамматик зависимостей тем, что допускает циклические отношения между словами. Так, например, могут быть связи, указывающие как на главный глагол предложения, на главное подлежащее предложения, так и на связь между подлежащим и глаголом. Таким образом, эти три звена образуют цикл (в данном случае треугольник). Циклы полезны для ограничения того, что в противном случае могло бы быть неоднозначным анализом; циклы помогают «уплотнить» набор допустимых анализов предложения.
Например, при разборе
+---->ЗП--->+ +--Wd--+-Ss-+--Pa--+ | | | |ЛЕВАЯ СТЕНА, он быстро бегает
ЛЕВАЯ СТЕНА указывает на начало предложения или корневой узел. Направленная ссылка WV (со стрелками) указывает на главный глагол предложения; это связь «Стена-Глагол». [4] Ссылка Wd (нарисованная здесь без стрелок) указывает на главное существительное (подлежащее) предложения. Тип связи Wd указывает как на то, что она соединяется со стеной (W), так и на то, что предложение является повествовательным предложением (подтип «d» в нижнем регистре). [5] Ссылка Ss указывает на связь подлежащего и глагола; строчная буква «s» указывает на то, что субъект в единственном числе. [6] Обратите внимание, что WV, Wd и Ss являются ссылками на цикл. Ссылка Pa соединяет глагол с дополнением; строчная буква «а» указывает на то, что в данном случае это предикативное прилагательное . [7]
Алгоритм парсинга
[ редактировать ]Разбор производится по аналогии со сборкой пазла (представляющего разбираемое предложение) из частей пазла (представляющих отдельные слова). [8] [9] Язык представлен посредством словаря или лексики , которая состоит из слов и набора разрешенных «форм пазлов», которые может иметь каждое слово. Форма обозначается «соединителем», который представляет собой звено, и указателем направления + или –, указывающим направо или налево. Так, например, переходный глагол может иметь соединители S- и O+, указывающие, что глагол может образовывать соединение субъекта (« S ») слева (« - ») и соединение объекта (« O ») справа ( « + »). Точно так же нарицательное существительное может иметь соединители D- и S+, что указывает на то, что оно может соединяться с определителем слева (« D- ») и действовать как подлежащее при соединении с глаголом справа (« S+ »). Затем процесс синтаксического анализа заключается в определении того, что соединитель S+ может быть присоединен к соединителю S- , образуя связь " S " между двумя словами. Анализ завершается, когда все разъемы подключены.
Данное слово может иметь десятки или даже сотни разрешенных форм головоломки (называемых «дизъюнктами»): например, многие глаголы могут быть необязательно переходными, что делает соединитель O + необязательным; такие глаголы также могут иметь наречия ( соединители E ), которые по своей сути не являются обязательными. Более сложные глаголы могут иметь дополнительные соединители для косвенных объектов, частиц или предлогов . Таким образом, часть синтаксического анализа также включает в себя выбор одного уникального дизъюнкта для слова; окончательный синтаксический анализ должен удовлетворить (соединить) все соединители для этого дизъюнкта. [10]
Зависимость
[ редактировать ], зависящие от головы Соединители также могут включать в себя индикаторы h и d . В этом случае разъем, содержащий индикатор головки, разрешается подключать только к разъему, содержащему зависимый индикатор (или к разъему без каких-либо индикаторов hd). При использовании этих индикаторов ссылка украшается стрелками, указывающими направление ссылки. [9]
Недавнее расширение упрощает спецификацию соединителей для языков, которые практически не имеют ограничений на порядок слов, таких как литовский . Существуют также расширения, упрощающие поддержку языков с конкатенативной морфологией .
Планарность
[ редактировать ]Алгоритм синтаксического анализа также требует, чтобы конечный граф был плоским , т. е. чтобы никакие ссылки не пересекались. [9] Это ограничение основано на эмпирических психолингвистических данных о том, что действительно для большинства языков почти во всех ситуациях связи зависимости действительно не пересекаются. [11] [12] Есть редкие исключения, например, в финском и даже английском языках; их можно проанализировать с помощью грамматики ссылок только путем введения более сложных и выборочных типов соединителей для учета таких ситуаций.
Стоимость и выбор
[ редактировать ]Соединители могут иметь дополнительную надбавку стоимости с плавающей запятой , так что некоторые из них «дешевле» в использовании, чем другие, что дает предпочтение одним анализам перед другими. [9] То есть общая стоимость синтаксического анализа представляет собой сумму отдельных затрат на использованные разъемы; самый дешевый анализ указывает на наиболее вероятный анализ. Это используется для ранжирования нескольких неоднозначных анализов. Тот факт, что затраты являются локальными для соединителей и не являются глобальным свойством алгоритма, делает их по существу марковскими по своей природе. [13] [14] [15] [16] [17] [18]
Присвоение логарифмического правдоподобия связям позволяет грамматике связей реализовать семантический выбор отношений предикат-аргумент. То есть определенные конструкции, хотя и синтаксически допустимы, крайне маловероятны. Таким образом, грамматика ссылок воплощает в себе некоторые идеи, присутствующие в грамматике операторов .
Поскольку затраты аддитивны, они ведут себя как логарифм вероятности (поскольку логарифмические вероятности аддитивны) или, что то же самое, как энтропия ( поскольку энтропии аддитивны). Это делает грамматику ссылок совместимой с методами машинного обучения, такими как скрытые модели Маркова и алгоритм Витерби , поскольку стоимость ссылок соответствует весам ссылок в марковских или байесовских сетях .
Теория типов
[ редактировать ]Типы ссылок грамматики ссылок можно понимать как типы в смысле теории типов . [9] [19] По сути, грамматика связей может использоваться для моделирования внутреннего языка определенных (несимметричных) компактных закрытых категорий , таких как грамматики предгрупп . В этом смысле грамматика ссылок оказывается изоморфной или гомоморфной некоторым категориальным грамматикам . Так, например, в категориальной грамматике именное словосочетание « плохой мальчик » может быть записано как
тогда как соответствующие дизъюнкты в грамматике ссылок будут
: D+;плохо: А+;мальчик: Д-&А-;
Правила сокращения (правила вывода) исчисления Ламбека можно сопоставить с соединением соединителей в грамматике ссылок. Индикаторы направления + и - соответствуют прямой и обратной косой черте категориальной грамматики. Наконец, однобуквенные имена A и D можно понимать как метки или «легко читаемые» мнемонические имена для гораздо более многословных типов NP/N и т. д.
Основное различие здесь заключается в том, что категориальные грамматики имеют два конструктора типов : прямую и обратную косую черту, которые можно использовать для создания новых типов (таких как NP/N ) из базовых типов (таких как NP и N ). Грамматика ссылок не использует конструкторы типов, предпочитая вместо этого определять гораздо больший набор базовых типов с компактной, легко запоминающейся мнемоникой.
Примеры
[ редактировать ]Пример 1
[ редактировать ]Базовый файл правил для языка SVO может выглядеть так:
<определитель> D+;<существительное-субъект> {D−} & S+;<существительное-объект> {D−} & O−;<глагол> S− & {O+}; Таким образом, английское предложение «Мальчик нарисовал картину» будет звучать так:
+-----О-----+ +-Д-+--С--+ +--Д--+ | | | | |Мальчик нарисовал картину
Аналогичный анализ применим и к китайскому языку. [20]
Пример 2
[ редактировать ]И наоборот, файл правил для языка SOV с нулевым субъектом может состоять из следующих ссылок:
<существительное-субъект> S+;<существительное-объект> O+;<глагол> {O-} и {S-}; А простое персидское предложение man nAn xordam (من نان خوردم) «Я ел хлеб» будет выглядеть так: [21] [22] [23]
+-----С-----+ | +--О--+ | | |мужчина нАн хордам
Также может быть выполнен заказ VSO, например, для арабского языка. [24]
Пример 3 (морфология)
[ редактировать ]Во многих языках с конкатенативной морфологией основа не играет грамматической роли; грамматика определяется суффиксами. Таким образом, в русском языке предложение «вверху плыли редкие облачка» могло бы иметь следующий разбор: [25] [26]
+------------Wd-----------+---------------SIp---------------+ | +-------EI------+ +--------Api-------+ | | +--LLCZD-+ +-LLAQZ+ +--LLCAO-+ | | | | | | | |LEFT-WALL вверху.e плы.= =ли.vnndpp ре.= =дкие.api облачк.= =а.ndnpi
Индексы, такие как «.vnndpp», используются для обозначения грамматической категории. Первичные звенья: Wd, EI, SIp и Api соединяют между собой суффиксы, так как в принципе здесь могли бы появиться и другие основы, не меняя при этом структуру предложения. Ссылка API указывает прилагательное; SIp обозначает инверсию субъект-глагол; EI является модификатором. Ссылка Wd используется для обозначения главного существительного; в этом предложении не указан главный глагол. Ссылки LLXXX служат только для присоединения основ к суффиксам.
Пример 4 (фонология)
[ редактировать ]Грамматика связи может также указывать на фонологическое согласие между соседними словами. Например:
+---------Ост--------+ +------>WV------>+ +------Ds**x-----+ +----Wd---+-Ss*b-+ +--PHv-+----A----+ | | | | | |ЛЕВАЯ СТЕНА that.jp — это абстрактная концепция.n
Здесь соединитель «PH» используется для ограничения определителей, которые могут появляться перед словом «абстрактный». Он эффективно блокирует (делает дорогостоящим) использование определителя «а» в этом предложении, в то время как ссылка на «ан» становится дешевой. Остальные связи примерно такие же, как в предыдущих примерах: S обозначает субъект, O обозначает объект, D обозначает определитель. Ссылка «WV» указывает на главный глагол, а ссылка «W» указывает на главное существительное. Строчные буквы, следующие за прописными типами ссылок, служат для уточнения типа; так, например, Ds может соединяться только с существительным в единственном числе; Ss только к единственному субъекту, Os к единственному объекту. Строчная буква v в PHv означает «гласную»; строчная буква d в Wd обозначает повествовательное предложение.
Пример 5 (вьетнамский)
[ редактировать ]Предложение на вьетнамском языке «Вчерашняя вечеринка имела большой успех» — «Вчерашняя вечеринка имела большой успех» можно разобрать следующим образом: [27]
Реализации
[ редактировать ]| Разработчик(и) | OpenCog |
|---|---|
| Первоначальный выпуск | октябрь 1991 года [1] |
| Стабильная версия | 5.8.1 / 8 января 2021 г [28] |
| Репозиторий | |
| Написано в | С++ ; первоначально C |
| Операционная система | Кросс-платформенный |
| Платформа | ГНУ |
| Тип | НЛП |
| Лицензия | LGPLv2 |
| Веб-сайт | www |
синтаксиса грамматики ссылок Анализатор — это библиотека для обработки естественного языка, на C. написанная Он доступен по лицензии LGPL . Парсер [29] это действующий проект. Последние версии включают улучшенный охват предложений, поддержку русского, персидского и арабского языков, прототипы для немецкого, иврита, литовского, вьетнамского и турецкого языков, а также API-интерфейсы программирования для Python , Java , Common LISP , AutoIt и OCaml со сторонними привязками для Perl . [30] Руби [31] и JavaScript node.js. [32]
В настоящее время крупным проектом является проект по изучению грамматики и морфологии новых языков с использованием алгоритмов обучения без учителя. [33] [34]
Программу анализатора ссылок вместе с правилами и списками слов для английского языка можно найти в стандартных дистрибутивах Linux , например, в виде пакета Debian , хотя многие из них уже давно устарели. [35]
Приложения
[ редактировать ]
АбиВорд , [29] бесплатный , использующий грамматику ссылок текстовый процессор для оперативной проверки грамматики. Слова, которые нельзя никуда связать, подчеркнуты зеленым.
Экстрактор семантических отношений RelEx, [36] наложенный поверх библиотеки грамматики ссылок, генерирует выходные данные грамматики зависимостей , явно определяя семантические отношения между словами в предложении. Его результаты можно классифицировать как находящиеся на уровне между результатами SSyntR и DSyntR теории значения текста . Он также обеспечивает кадрирование/обоснование, разрешение анафоры , идентификацию главного слова, лексическое разбиение на фрагменты , идентификацию части речи и маркировку, включая теги сущности, даты, денег, пола и т. д. Он включает режим совместимости для генерации выходных данных зависимостей, совместимых со Стэнфордским парсером . [37] и Пенн Трибэнк [38] -совместимая маркировка POS .
Грамматика ссылок также использовалась для извлечения информации из биомедицинские тексты [39] [40] и события, описанные в новостных статьях, [41] а также экспериментальные системы машинного перевода с английского на немецкий, турецкий, индонезийский. [42] и персидский . [43] [44]
Словарь ссылок грамматики ссылок используется для создания и проверки синтаксической правильности трех различных систем генерации естественного языка : NLGen, [45] НЛГен2 [46] и микропланер/сюрреалистический. [47] Он также используется как часть конвейера НЛП в проекте OpenCog AI.
Примечания
[ редактировать ] |
- ^ Jump up to: Перейти обратно: а б Дэниел Слиатор (8 сентября 2004 г.). «Ссылка на грамматическую библиографию» . cmu.edu . Проверено 28 августа 2023 г.
- ^ Ансси Юли-Юря и Матти Нюканен (2004). «Иерархия грамматик умеренно контекстно-зависимых зависимостей» (PDF) . В GP Герхард Ягер, Паола Моначези и С. Винтнер (ред.). Материалы 9-й конференции по формальной грамматике 2004 г. "FGNancy". Предварительное разбирательство . стр. 151–165.
- ^ Озлем Истек (2006). Грамматика ссылок для турецкого языка (PDF) (магистерская диссертация). Анкара, Турция: Университет Билкент . Проверено 23 августа 2023 г.
- ^ Тип ссылки WV
- ^ Тип ссылки W
- ^ Тип ссылки S
- ^ Тип связи P
- ^ Дэниел Д.К. Слейтор; Дэви Темперли (1991). «Разбор английского языка с помощью грамматики ссылок». arXiv : cmp-lg/9508004 .
- ^ Jump up to: Перейти обратно: а б с д и Введение в анализатор грамматики ссылок
- ^ Деннис Гринберг; Джон Лафферти; Дэниел Слитор (1995). Надежный алгоритм синтаксического анализа грамматики ссылок (PDF) . Материалы Четвертого международного семинара по технологиям синтаксического анализа, Прага . Проверено 28 августа 2023 г.
- ^ Дж. Гавелка (2007). За пределами проективности: многоязычная оценка ограничений и мер непроективных структур . Материалы 45-го ежегодного собрания Ассоциации компьютерной лингвистики. Прага, Чехия: Ассоциация компьютерной лингвистики. стр. 608–615.
- ^ Р. Феррер и Канчо (2006). «Почему синтаксические ссылки не пересекаются?». ЭПЛ . 76 (6): 1228–1234. Бибкод : 2006EL.....76.1228C . дои : 10.1209/epl/i2006-10406-0 . hdl : 2117/180367 .
- ^ Джон Лафферти; Дэниел Слитор; Дэйви Темперли (1992). Грамматические триграммы: вероятностная модель грамматики связей (PDF) . Материалы конференции AAAI по вероятностным подходам к естественному языку.
- ^ _ Рамон Феррер-и-Канчо (2013). «Губность, длина, пересечения и их отношения в деревьях зависимостей». arXiv : 1304.4086 [ cs.CL ].
- ^ Д. Темперли (2008). «Минимизация длины зависимостей в естественных и искусственных языках». Журнал количественной лингвистики . 15 (3): 256–282. дои : 10.1080/09296170802159512 .
- ^ Э. Гибсон (2000). «Теория локальности зависимости: теория лингвистической сложности, основанная на расстоянии». В Маранц, А.; Мияшита, Ю.; О'Нил, В. (ред.). Изображение, язык, мозг: материалы первого симпозиума проекта «Артикуляция разума» . Кембридж, Массачусетс: MIT Press.
- ^ Хайтао Лю (2008). «Расстояние зависимости как показатель сложности понимания языка» (PDF) . Журнал когнитивной науки . 9 (2): 159–191. дои : 10.17791/jcs.2008.9.2.159 .
- ^ Ричард Фатрелл; Кайл Маховальд; Эдвард Гибсон (2015). «Крупномасштабные доказательства минимизации длины зависимостей на 37 языках» . ПНАС . 112 (33): 10336–10341. Бибкод : 2015PNAS..11210336F . дои : 10.1073/pnas.1502134112 . ПМЦ 4547262 . ПМИД 26240370 .
- ^ Дэниел Слитор; Дэйви Темперли (1993). Анализ английского языка с помощью грамматики ссылок (PDF) . Третий международный семинар по технологиям парсинга. (См. раздел 6 о категориальной грамматике).
- ^ Кэрол Лю (2001). «К грамматике ссылок для китайского языка» . Компьютерная обработка китайского и восточных языков . Компьютерное общество китайского языка.
- ^ Джон Дехдари; Дерил Лонсдейл (2005). «Грамматика связи для персидского языка» (PDF) . Огайо-state.edu . Архивировано из оригинала (PDF) 3 декабря 2008 г.
- ^ Армин Саджади; А. Абдоллахзаде (2006). «Синтаксический анализ фарси с использованием грамматики ссылок» (PDF) . Письмо Исследовательского центра интеллектуальной обработки сигналов (на персидском языке). 1 (9): 25–37. Архивировано из оригинала (PDF) 1 апреля 2014 г.
- ^ А. Саджади; М. Хомаюнпур (2006). «Представление морфологических знаний фарси с использованием грамматики ссылок». Письмо Исследовательского центра интеллектуальной обработки сигналов (на персидском языке). 1 (9): 41–55.
- ^ Уоррен Касбир; Джон Дехдари; Дерил Лонсдейл (март 2006 г.). Анализатор грамматики ссылок для арабского языка (PDF) . Перспективы арабской лингвистики: материалы ежегодного симпозиума по арабской лингвистике. Том. ХХ. Каламазу, Мичиган. Архивировано из оригинала (PDF) 12 мая 2014 г.
- ^ Документация по связям и по классам слов доступна.
- ^ Грамматика связей (Link Grammar)
- ^ Нгуен Тхи Тху Хуонг, Нгуен Тхук Хай, Нгуен Тхань Тхуй « Разбор сложных сложных предложений с расширением вьетнамского парсера ссылок в сочетании с сегментатором дискурса » Журнал компьютерных наук и кибернетики , Том 28 , № 4 (2012)
- ^ www
.abisource .с /загрузки /ссылка-грамматика / - ^ Jump up to: Перейти обратно: а б AbiWord — анализатор грамматики ссылок
- ^ Lingua-LinkParser (интерфейсы Perl)
- ^ «Интерфейсы Ruby Link Parser» . Архивировано из оригинала 4 марта 2016 г. Проверено 1 февраля 2019 г.
- ^ Библиотека javaScript node.js
- ^ Изучение языка OpenCog
- ^ Изучение языка на основе большого (неаннотированного) корпуса
- ^ Debian — Результаты поиска пакетов — link-grammar
- ^ «Экстрактор отношений зависимости RelEx» . Архивировано из оригинала 28 июля 2009 г. Проверено 21 ноября 2013 г.
- ^ Стэнфордский парсер: статистический анализатор
- ^ Проект Penn Treebank. Архивировано 9 ноября 2013 г. в Wayback Machine.
- ^ Цзин Дин; Дэниел Берлеант; Цзюнь Сюй; Энди В. Фулмер (ноябрь 2003 г.). «Извлечение биохимических взаимодействий из MEDLINE с помощью анализатора грамматики ссылок» (PDF) . Материалы пятнадцатой конференции IEEE по инструментам с искусственным интеллектом (ICTAI), 2003 г. стр. 467–471. ISBN 0-7695-2038-3 . Архивировано из оригинала (PDF) 31 марта 2011 г. Проверено 27 августа 2023 г.
- ^ Сампо Пийсало, Тапио Салакоски, Софи Обен и Аделина Назаренко, « Лексическая адаптация грамматики связи к биомедицинскому подъязыку: сравнительная оценка трех подходов », BMC Bioinformatics 7 (Приложение 3): S2 (2006).
- ^ Харша В. Мадхьястха; Н. Балакришнан; КР Рамакришнан (2003). «Извлечение информации о событии с использованием грамматики ссылок». 13-й международный семинар по проблемам исследования данных: многоязычный информационный менеджмент (RIDE'03) . п. 16. дои : 10.1109/RIDE.2003.1249841 .
- ^ Тегух Бхарата Аджи; Бахарум Бахарудин; Норшухани Замин (2008). «Применение формализма грамматики связей при разработке англо-индонезийской системы машинного перевода». Интеллектуальная компьютерная математика, 9-я Международная конференция, AISC 2008, 15-й симпозиум, Calculemus 2008, 7-я Международная конференция, Бирмингем, Великобритания, Труды . стр. 17–23. дои : 10.1007/978-3-540-85110-3_3 .
- ^ А.Саджади и М.Р. Боруджерди, «Машинный перевод с использованием грамматики ссылок», отправленов журнал компьютерной лингвистики , MIT Press (февраль 2009 г.)
- ^ Саджади, А., Боруджерди, М. «Машинный перевод на основе грамматики связей унификации» Журнал обзора искусственного интеллекта . DOI=10.1007/s10462-011-9261-7, страницы 109–132, 2013.
- ^ Руитинг Лиан и др ., «Генерация предложений для искусственного мозга: подход к сопоставлению глокального сходства», Neurocomputing (Elsevier) (2009, представлено для публикации).
- ^ Блейк Лемуан, NLGen2: Лингвистически правдоподобная система генерации естественного языка общего назначения (2009)
- ^ Микропланировщик и реализация поверхности (SuReal)
Внешние ссылки
[ редактировать ]
- Исходная домашняя страница Link Grammar (которая была заменена текущим проектом .)
- Онлайн-демонстрация английского языка (для более старой, устаревшей версии; с момента выхода этой версии исправлено множество ошибок).
- BioLG , модификация анализатора грамматики ссылок, адаптированная для биомедицинской области (многие, но не все, улучшения BioLG были включены обратно в основной дистрибутив грамматики ссылок).
- Разбор предложений с помощью Link Grammar и Python , автор Джефф Элмор на PyCon 2012.