Создание ссылающегося выражения

Генерация ссылающихся выражений ( REG ) — это подзадача генерации естественного языка (NLG), которая привлекла наибольшее внимание ученых. В то время как NLG занимается преобразованием нелингвистической информации в естественный язык, REG фокусируется только на создании ссылающихся выражений (именных фраз), которые идентифицируют конкретные объекты, называемые целями .

Эту задачу можно разделить на два раздела. Часть выбора контента определяет, какой набор свойств отличает намеченную цель, а часть лингвистической реализации определяет, как эти свойства переводятся на естественный язык. В сообществе NLG было разработано множество алгоритмов для генерации различных типов ссылающихся выражений.

Типы ссылающихся выражений

( Референтное выражение RE) в лингвистике — это любое именное словосочетание или его суррогат, функция которого в дискурсе заключается в идентификации некоторого отдельного объекта (вещи, существа, события...). Техническая терминология идентификации . сильно различается переходить из одной лингвистической школы в другую. Самый распространенный термин, вероятно, — это референт , а идентифицируемая вещь — это референт , как, например, в работе Джона Лайонса . В лингвистике изучение референтных отношений относится к прагматике , изучению использования языка, хотя оно также представляет большой интерес для философов, особенно тех, кто желает понять природу знания , восприятия и познания в более общем плане.

Для референции могут использоваться различные средства: определители , местоимения , имена собственные ... Референтные отношения могут быть различного рода; референты могут находиться в «реальном» или воображаемом мире, в самом дискурсе, и они могут быть единичными, множественными или собирательными.

Местоимения

Простейшим типом референтных выражений являются такие местоимения , как он и оно . Сообщества лингвистов и специалистов по обработке естественного языка разработали различные модели для прогнозирования референтов анафоры, такие как теория центрирования, и в идеале генерация ссылающихся выражений должна основываться на таких моделях. Однако большинство систем NLG используют гораздо более простые алгоритмы, например, используют местоимение, если референт был упомянут в предыдущем предложении (или предложении), и в этом предложении не было упомянуто никакое другое существо того же пола.

Определенные существительные

Было проведено значительное количество исследований по созданию определенных именных групп, таких как большая красная книга . Во многом это основано на модели, предложенной Дейлом и Рейтером. Это расширялось различными способами, например, Krahmer et al. представить теоретико-графовую модель определенного поколения NP со многими приятными свойствами. В последние годы на мероприятии с совместными задачами сравнивались различные алгоритмы генерации определенных NP с использованием TUNA. корпус.

Пространственная и временная привязка

Недавно было проведено больше исследований по созданию референтных выражений для времени и пространства. Такие ссылки, как правило, неточны (каково точное значение слова «сегодня вечером» ?), а также разные люди интерпретируют их по-разному. Следовательно, может возникнуть необходимость явно рассуждать о компромиссах между ложноположительным и ложноотрицательным и даже рассчитать полезность различных возможных ссылающихся выражений в конкретном контексте задачи.

Критерии хороших выражений

В идеале хорошее ссылающееся выражение должно удовлетворять ряду критериев:

• Референтный успех : он должен однозначно идентифицировать референт для читателя.
• Легкость понимания : читатель должен иметь возможность быстро прочитать и понять текст.
• Вычислительная сложность : алгоритм генерации должен быть быстрым.
• Никаких ложных выводов : выражение не должно смущать или вводить читателя в заблуждение, предлагая ложные подразумеваемые выводы или другие прагматические выводы. Например, читатель может смутиться, если ему скажут «Сядьте у коричневого деревянного стола» в контексте, где есть только один стол.

История

Эпоха до 2000 года

REG восходит к первым дням существования NLG. Один из первых подходов был сделан Виноградом. в 1972 году он разработал « инкрементальный » алгоритм REG для своей программы SHRDLU . Впоследствии в 1980-х годах исследователи начали моделировать человеческие способности создавать референтные выражения. На этот новый подход к теме повлияли исследователи Аппельт и Кронфельд, создавшие программы KAMP и BERTRAND. и рассматривал речевые выражения как части более крупных речевых актов.

Некоторые из их наиболее интересных открытий заключались в том, что референтные выражения могут использоваться для добавления информации помимо идентификации референта. а также влияние коммуникативного контекста и максим Грайса на референтные выражения. Более того, его скептицизм относительно естественности минимальных описаний сделал исследование Аппельта и Кронфельда основой более поздних работ по REG.

Поиск простых, четко определенных задач изменил направление исследований в начале 1990-х годов. Этот новый подход был предложен Дейлом и Рейтером, которые подчеркнули, что идентификация референта является главной целью. Нравится они обсуждают связь между максимами Грайса и относящимися к ним выражениями в своей кульминационной статье. в котором они также предлагают формальное определение проблемы . Кроме того, Рейтер и Дейл обсуждают алгоритмы полной краткости и жадной эвристики , а также их инкрементный алгоритм (IA), который стал одним из наиболее важных алгоритмов в REG.

Более поздние события

После 2000 года исследования начали снимать некоторые упрощающие предположения, которые были сделаны в ранних исследованиях REG, чтобы создать более простые алгоритмы. Различные исследовательские группы сосредоточились на разных ограничениях, создав несколько расширенных алгоритмов. Часто они расширяют ВА в одной перспективе, например, в отношении:

• Отсылка к таким наборам , как «носители футболок» или «зеленые яблоки и банан слева».
• Реляционные описания , такие как «чашка на столе» или «женщина, у которой трое детей».
• Зависимость от контекста , неясность и возможность уклона включают такие утверждения, как «пожилой мужчина» или «машина слева», которые часто неясны без контекста.
• Выраженность и генерация местоимений во многом зависят от дискурса, например, «она» относится к «(наиболее заметному) человеку женского пола».

Многие упрощающие предположения все еще действуют или над ними только начали работать. Кроме того, еще предстоит осуществить комбинацию различных расширений, которую Крамер и ван Деемтер называют «нетривиальным предприятием».

Еще одним важным изменением после 2000 года стало более широкое использование эмпирических исследований для оценки алгоритмов. Такое развитие произошло благодаря появлению прозрачных корпусов . Хотя до сих пор ведутся дискуссии о том, какие метрики оценки являются лучшими, использование экспериментальной оценки уже привело к лучшей сопоставимости алгоритмов, обсуждению целей REG и более целенаправленным исследованиям.

Кроме того, исследования расширили свой диапазон до смежных тем, таких как выбор структур представления знаний (KR) . В этой области основной вопрос, какая структура КР наиболее подходит для использования в РЭГ, остается открытым. Ответ на этот вопрос зависит от того, насколько хорошо можно выразить или найти описания. Большая часть потенциала КР до сих пор остается неиспользованной.

Некоторые из различных подходов заключаются в использовании:

• Поиск по графу , который рассматривает отношения между целями так же, как и свойства.
• Удовлетворение ограничений , которое позволяет разделить спецификацию проблемы и реализацию.
• Современное представление знаний , которое предлагает логический вывод , например, в виде логики описания или концептуальных графиков .

Определение проблемы

Дейл и Рейтер (1995) рассматривают референтные выражения как отличительные описания.

Они определяют:

• Референт описать как сущность, которую следует
• Контекст , заданный как набор существенных сущностей
• Контрастный набор или потенциальные отвлекающие факторы как все элементы контекстного набора, кроме референта.
• Свойство . как ссылка на одну пару атрибут-значение

как набор пар атрибут-значение. Каждую сущность в домене можно охарактеризовать , например, $\langle$тип, собака $\rangle$, $\langle$пол, женский $\rangle$ или $\langle$возраст, 10 лет $\rangle$.

Тогда проблема определяется следующим образом:

Позволять $r$ быть предполагаемым референтом, и $C$ быть контрастным набором. Затем набор $L$ пар атрибут-значение будет представлять собой отличительное описание, если выполняются следующие два условия:

1. Каждая пара атрибут-значение в $L$ относится к $r$: то есть каждый элемент $L$ указывает значение атрибута, которое $r$ обладает.
2. Для каждого члена $c$ из $C$, существует хотя бы один элемент $l$ из $L$ это не относится к $c$: то есть есть $l$ в $L$ который определяет значение атрибута, которое $c$ не обладает. $l$ говорят, что исключает $c$.

Другими словами, чтобы сгенерировать референтное выражение, нужно найти набор свойств, которые применимы к референту, но не к дистракторам.

Проблему можно легко решить, объединив все свойства референта, что часто приводит к длинным описаниям, нарушающим вторую максиму количества Грайса . Другой подход — найти кратчайшее отличительное описание, как это делает алгоритм полной краткости . Однако на практике чаще всего вместо этого включают условие, согласно которому ссылающиеся выражения, созданные алгоритмом, должны быть как можно более похожими на выражения, созданные человеком, хотя это часто не упоминается явно.

Основные алгоритмы

Полная краткость

Алгоритм полной краткости всегда находит минимальное отличительное описание, что означает, что более короткого отличительного описания в отношении используемых свойств не существует.

Поэтому он повторяет $n=1,2,3,4,...$ и проверяет каждое описание длины $n$ свойства до тех пор, пока не будет найдено отличительное описание.

При таком способе создания ссылающихся выражений возникают две проблемы. Во-первых, алгоритм имеет высокую сложность, то есть он NP-сложный , что делает его непрактичным в использовании. Во-вторых, говорящие люди во многих ситуациях производят описания, которые не являются минимальными.

Жадная эвристика

Алгоритм жадной эвристики аппроксимирует алгоритм полной краткости, итеративно добавляя к описанию наиболее отличительное свойство. Наиболее отличительное свойство означает свойство, исключающее большинство остальных отвлекающих факторов. Алгоритм жадной эвристики более эффективен, чем алгоритм полной краткости.

Дейл и Райтер (1995) представьте следующий алгоритм жадной эвристики:

Позволять $L$ быть набором свойств, которые должны быть реализованы в нашем описании; позволять $P$ быть набором свойств, которые, как известно, являются истинными для нашего предполагаемого референта $r$ (мы предполагаем, что $P$ непусто); и пусть $C$ быть набором дистракторов (контрастным набором). Таким образом, начальные условия таковы:

$C=\{\langle$all distractors$\rangle \}$;
$P=\{\langle$all properties true of $r\rangle \}$;
$L=\{\}$

Чтобы описать предполагаемый референт $r$ относительно контрастного набора $C$, мы делаем следующий:

1. Check Success:
   if $|C|=0$ then return $L$ as a distinguishing description
   elseif $P=\emptyset$ then fail
   else goto Step 2.
2. Choose Property:
   for each $p_{i}\in P$ do: $C_{i}\leftarrow C\cap \{x|p_{i}(x)\}$
   Chosen property is $p_{j}$ , where $C_{j}$ is the smallest set.
   goto Step 3.
3. Extend Description (wrt the chosen $p_{j}$):
   $L\leftarrow L\cup \{p_{j}\}$
   $C\leftarrow C_{j}$
   $P\leftarrow P-\{p_{j}\}$
   goto Step 1.

Инкрементный алгоритм

Инкрементный алгоритм (IA) Дейла и Райтера был самым влиятельным алгоритмом до 2000 года. Он основан на идее предпочтительного порядка атрибутов или свойств, которыми руководствуются говорящие. Таким образом, чтобы запустить инкрементальный алгоритм, сначала необходимо задать порядок предпочтения атрибутов. Теперь алгоритм следует этому порядку и добавляет в описание те свойства, которые исключают оставшиеся отвлекающие факторы. Кроме того, Дейл и Райтер подчеркните тип атрибута, который всегда включается в их описания, даже если это не исключает каких-либо отвлекающих факторов.

Кроме того, значения типов являются частью иерархии подразделов, включающей некоторые значения базового уровня . Например, в домашних животных категории чихуахуа относится к собаке , а собака к животному . Поскольку собака определяется как базовый уровень, собаке алгоритмы отдают предпочтение , если чихуахуа не исключает каких-либо отвлекающих факторов.

Инкрементальный алгоритм прост в реализации, а также эффективен в вычислительном отношении и работает за полиномиальное время . Описание, созданное IA, может содержать избыточные свойства, которые являются излишними из-за добавленных позже свойств. Создатели считают это не слабостью, а скорее стремлением сделать выражения менее «психолингвистически неправдоподобными».

Следующий алгоритм представляет собой упрощенную версию пошагового алгоритма Дейла и Рейтера. Крамер и ван Деемтер который принимает в качестве входных данных референт r , D содержащий коллекцию объектов предметной области и упорядоченный список Pref предпочтительных атрибутов, специфичный для предметной области. В обозначении L — это описание, C — контекстный набор дистракторов, а функция RulesOut( ⟨A _i , V⟩ ) возвращает набор объектов, которые имеют значение, отличное от V для атрибута A _i .

IncrementalAlgorithm ({r}, D, Pref)
    L ← ∅
    C ← D - {r}
    for each Ai in list Pref do
        V = Value(r, Ai)
        if C ∩ RulesOut(⟨Ai, V⟩) ≠ ∅
        then L ← L ∪ {⟨Ai, V⟩}
            C ← C - RulesOut(⟨Ai, V⟩)
        endif
        if C = ∅
        then return L
        endif
    return failure

Оценка систем REG

До 2000 года оценка систем РЭГ носила теоретический характер, как и та, что была проведена Дейлом и Райтером. В последнее время стали популярными эмпирические исследования, которые в основном основаны на предположении, что сгенерированные выражения должны быть похожи на выражения, созданные человеком. Корпусная оценка в REG началась довольно поздно из-за отсутствия подходящих наборов данных. По-прежнему наиболее доминирующим методом на данный момент является корпусная оценка, хотя существует также оценка, основанная на человеческом суждении.

Корпусная оценка

различие между текстовыми корпусами Прежде всего необходимо провести и экспериментальными корпусами. Текстовые корпуса, такие как корпус GNOME может содержать тексты из всех типов доменов. В REG они используются для оценки реализации алгоритмов. REG С другой стороны, для части выбора контента требуется корпус, содержащий свойства всех объектов предметной области, а также свойства, используемые в ссылках. Обычно это полностью «семантически прозрачные» создан в экспериментах с использованием простых и контролируемых настроек.

Эти экспериментальные корпуса снова можно разделить на корпуса общего назначения , которые были собраны для другой цели, но были проанализированы на предмет ссылающихся выражений, и выделенные корпуса , которые сосредоточены конкретно на ссылающихся выражениях. Примерами корпораций общего назначения являются «Грушевые истории», корпус задач карты или корпус кокоса в то время как корпус епископа, корпус ящика и корпус ТУНА засчитывайтесь в Выделенную Корпору. Корпус TUNA, содержащий собранные в Интернете данные о двух областях: мебели и людях, уже использовался в трех общих задачах REG.

Метрики оценки

Для измерения соответствия между корпусами и результатами алгоритмов REG было разработано несколько метрик.

Для измерения выбора контента части используется коэффициент Дайса. или MASI (Соглашение об измерениях объектов с фиксированной стоимостью) используются метрики. Они измеряют перекрытие свойств в двух описаниях. При оценке оценки обычно усредняются по ссылкам, сделанным разными участниками корпуса. Также иногда используется показатель, называемый процентом идеального запоминания (PRP). или Точность используется, который вычисляет процент идеальных совпадений между ссылкой, созданной алгоритмом, и ссылкой, созданной человеком.

Для части лингвистической реализации REG перекрытие между строками измерялось с использованием таких показателей, как BLEU. или НИСТ . Проблема, возникающая при использовании строковых показателей, заключается в том, что, например, «Маленькая обезьянка» измеряется ближе к «Маленькому ослу», чем к «Маленькой обезьянке».

Более трудоемкий способ оценки алгоритмов REG — предоставить людям возможность оценить адекватность ( насколько ясно описание?) и беглость (данно ли описание на хорошем и понятном английском языке?) сгенерированного выражения. Также Белз и Гатт оценивали ссылающиеся выражения, используя экспериментальную установку. Участники получают сгенерированное описание, а затем должны нажать на цель. Здесь можно оценить время чтения внешних метрик, время идентификации и частоту ошибок.