ДискоКат

DisCoCat (Категорическое композиционное распределение) — это математическая основа для обработки естественного языка , которая использует теорию категорий для объединения семантики распределения с принципом композиционности . Грамматические выводы в категориальной грамматике (обычно предгрупповой грамматике ) интерпретируются как линейные карты, действующие на тензорное произведение векторов слов для определения значения предложения или фрагмента текста. Строковые диаграммы используются для визуализации потока информации и анализа семантики естественного языка .

История

Эту структуру впервые представили Боб Коке , Мехрнуш Садрзаде и Стивен Кларк. как приложение категориальной квантовой механики к обработке естественного языка . Все началось с наблюдения, что предгрупповые грамматики и квантовые процессы имеют общую математическую структуру: они оба образуют жесткую категорию (также известную как несимметричная компактная замкнутая категория ). Таким образом, они оба извлекают выгоду из графического исчисления, которое позволяет проводить чисто схематические рассуждения. Хотя аналогия с квантовой механикой поначалу оставалась неформальной, в конечном итоге она привела к развитию квантовой обработки естественного языка .

Определение

В литературе существует несколько определений DisCoCat, в зависимости от выбора композиционного аспекта модели. Однако общий знаменатель между всеми существующими версиями всегда включает категорическое определение DisCoCat как сохраняющего структуру функтора из категории грамматики в категорию семантики, которая обычно кодирует гипотезу распределения .

Оригинальная бумага использовал категориальный продукт FinVect , с предгруппой рассматриваемой как посетальная категория . У этого подхода есть некоторые недостатки: все параллельные стрелки посетальной категории равны, а это означает, что прегруппы не могут различать разные грамматические производные одного и того же синтаксически неоднозначного предложения. Более интуитивный способ сказать то же самое состоит в том, что при описании грамматики мы работаем с диаграммами, а не с частичными порядками.

Эта проблема преодолевается, если рассматривать свободную жесткую категорию $\mathbf {G}$ генерируется грамматикой предгруппы. То есть, $\mathbf {G}$ имеет генерацию объектов для слов и основных типов грамматики, а также генерацию стрелок $w\to t$ для словарных статей, которые присваивают тип предварительной группы $t$ к слову $w$. Стрелки $f:w_{1}\dots w_{n}\to s$ являются грамматическими производными предложения $w_{1}\dots w_{n}$ которые можно представить в виде строковых диаграмм с чашками и шапочками, т.е. единицами присоединения и счетами .

При таком определении грамматик предгруппы как свободных жестких категорий модели DisCoCat можно определить как сильные моноидальные функторы. $F:\mathbf {G} \to \mathbf {FinVect}$. Подробно объясняя вещи, они назначают конечномерное векторное пространство. $F(x)$ к каждому базовому типу $x$ и вектор $F(w)\in F(t)=F(t_{1})\otimes \dots \otimes F(t_{n})$ в соответствующем пространстве тензорного произведения для каждой словарной статьи $w\to t$ где $t=t_{1}\dots t_{n}$ (объекты для слов отправляются в моноидальную единицу, т.е. $F(w)=1$). Смысл предложения $f:w_{1}\dots w_{n}\to s$ тогда задается вектором $F(f)\in F(s)$ которое можно вычислить как сжатие тензорной сети .

Причина выбора $\mathbf {FinVect}$ Поскольку категория семантики заключается в том, что векторные пространства являются обычной средой распределительного чтения в компьютерной лингвистике и обработке естественного языка . Основная идея гипотезы распределения «Слово характеризуется компанией, которую оно содержит» особенно актуальна при присвоении значения таким словам, как прилагательные или глаголы, семантическая коннотация которых сильно зависит от контекста.

Вариации

Были предложены варианты DisCoCat с другим выбором категории грамматики. Основная мотивация этого заключается в том, что доказано, что предгрупповые грамматики слабо эквивалентны контекстно-свободным грамматикам. Один из примеров вариации выбирает Комбинаторную категориальную грамматику в качестве категории грамматики.

Список языковых явлений

Платформа DisCoCat использовалась для изучения следующих лингвистических явлений .

• Логическое следствие
• Координация
• Гипонимия и гипернимия
• Неоднозначность с матрицами плотности
• Дискурс-анализ
• Анафора и многоточие
• Эволюция языка

Приложения в НЛП

Платформа DisCoCat была применена для решения следующих задач обработки естественного языка .

• Смысловая неоднозначность
• Семантическое сходство
• Ответ на вопрос
• Машинный перевод
• Разрешение анафоры

См. также

• Мягкое исчисление
• Предгрупповая грамматика
• Дистрибутивная семантика
• Принцип композиционности
• Струнная диаграмма
• Категорическая квантовая механика
• Квантовая обработка естественного языка

Внешние ссылки

• DisCoPy , набор инструментов Python для вычислений с помощью строковых диаграмм.
• Ламбек , библиотека Python для квантовой обработки естественного языка.