Перефразирование (компьютерная лингвистика)

Эта статья об автоматизированной генерации и распознавании парафразов. Чтобы узнать о других значениях, см. Парафраз (значения) .

Перефраз или перефразирование в компьютерной лингвистике — это задача обработки естественного языка, заключающаяся в обнаружении и создании перефразов . Применение перефразирования разнообразно, включая поиск информации, ответы на вопросы , обобщение текста и обнаружение плагиата . Перефразирование также полезно при оценке машинного перевода . а также семантический анализ и поколение новых образцов для расширения существующих корпусов .

Генерация парафраза

Множественное выравнивание последовательностей

Барзилай и Ли предложил метод создания перефразирования за счет использования одноязычных параллельных корпусов , а именно новостных статей, освещающих одно и то же событие в один и тот же день. Обучение заключается в использовании многопоследовательного выравнивания для создания перефразов на уровне предложений из неаннотированного корпуса. Это делается

• поиск повторяющихся закономерностей в каждом отдельном корпусе, т.е. « X (раненые/раненые) Y человек, Z серьезно», где X, Y, Z — переменные
• нахождение пар между такими шаблонами представляет собой парафразы, то есть « X (раненые/раненые) Y людей, Z серьезно» и « Y были (ранены/ранены) X , среди них Z находились в тяжелом состоянии»

Это достигается путем группировки похожих предложений вместе с использованием перекрытия n-грамм . Повторяющиеся шаблоны обнаруживаются внутри кластеров с помощью многопоследовательного выравнивания. Затем положение слов-аргументов определяется путем поиска областей высокой вариативности внутри каждого кластера, то есть между словами, общими для более чем 50% предложений кластера. Затем пары между шаблонами находятся путем сравнения аналогичных переменных слов в разных корпусах. Наконец, новые парафразы могут быть созданы путем выбора подходящего кластера для исходного предложения, а затем подстановки аргумента исходного предложения в любое количество шаблонов в кластере.

Машинный перевод на основе фраз

Перефраз также можно создать с помощью фразового перевода, как это предложили Баннард и Каллисон-Берч. Основная концепция состоит в выравнивании фраз на основном языке для создания потенциальных перефразов на языке оригинала. Например, фраза «под контролем» в английском предложении совпадает с фразой «под контролем» в немецком аналоге. Фраза «unter kontrolle» затем встречается в другом немецком предложении с соответствующей английской фразой «под контролем», что является парафразом слова «под контролем».

Распределение вероятностей можно смоделировать как $\Pr(e_{2}|e_{1})$, вероятностная фраза $e_{2}$ это перефраз $e_{1}$, что эквивалентно $\Pr(e_{2}|f)\Pr(f|e_{1})$ суммировано по всем $f$, потенциальный перевод фразы на основной язык. Кроме того, приговор $e_{1}$ добавляется перед добавлением контекста в перефраз. Таким образом, оптимальный парафраз, ${\hat {e_{2}}}$ можно смоделировать как:

${\hat {e_{2}}}={\text{arg}}\max _{e_{2}\neq e_{1}}\Pr(e_{2}|e_{1},S)={\text{arg}}\max _{e_{2}\neq e_{1}}\sum _{f}\Pr(e_{2}|f,S)\Pr(f|e_{1},S)$

$\Pr(e_{2}|f)$ и $\Pr(f|e_{1})$ можно аппроксимировать, просто взяв их частоты. Добавление $S$ априор моделируется путем расчета вероятности формирования $S$ когда $e_{1}$ заменяется на $e_{2}$.

Длинная кратковременная память

Был достигнут успех в использовании моделей долговременной кратковременной памяти (LSTM) для создания парафразов. Короче говоря, модель состоит из компонента кодера и декодера, оба реализованы с использованием вариантов сложенного остаточного LSTM. Во-первых, кодирование LSTM принимает в качестве входных данных горячее кодирование всех слов в предложении и создает окончательный скрытый вектор, который может представлять входное предложение. Декодирование LSTM принимает скрытый вектор в качестве входных данных и генерирует новое предложение, заканчивающееся токеном конца предложения. Кодер и декодер обучаются брать фразу и воспроизводить прямое распределение соответствующего парафраза, минимизируя недоумение с помощью простого стохастического градиентного спуска . Новые парафразы генерируются путем ввода новой фразы в кодер и передачи вывода в декодер.

Трансформеры

С появлением моделей Transformer подходы к созданию парафразов улучшили свою способность генерировать текст за счет масштабирования параметров нейронной сети и интенсивного распараллеливания обучения через слои прямой связи . Эти модели настолько свободно генерируют текст, что эксперты-люди не могут определить, был ли пример написан человеком или сгенерирован машиной. Генерация перефразирования на основе преобразователя основана на методах автокодирования , авторегрессии или последовательности-последовательности . Модели автоэнкодера предсказывают кандидатов на замену слов с горячим распределением по словарю, в то время как модели авторегрессии и модели seq2seq генерируют новый текст на основе источника, предсказывающего по одному слову за раз. Существуют также более продвинутые попытки сделать перефразирование управляемым в соответствии с заранее определенными параметрами качества, такими как сохранение семантики или лексическое разнообразие. Многие методы генерации парафразов на основе Transformer полагаются на обучение без учителя, позволяющее использовать большие объемы обучающих данных и масштабировать свои методы.

Распознавание перефраза

Рекурсивные автоэнкодеры

Распознавание парафраза было предпринято Socher et al. за счет использования рекурсивных автокодировщиков . Основная концепция заключается в создании векторного представления предложения и его компонентов путем рекурсивного использования автокодировщика. Векторные представления парафраз должны иметь схожие векторные представления; они обрабатываются, а затем подаются в качестве входных данных в нейронную сеть для классификации.

Учитывая предложение $W$ с $m$ Другими словами, автоэнкодер рассчитан на 2 $n$-мерные вложения слов в качестве входных данных и создают $n$-мерный вектор в качестве вывода. Один и тот же автокодировщик применяется к каждой паре слов в $S$ производить $\lfloor m/2\rfloor$ векторы. Затем автоэнкодер рекурсивно применяется с новыми векторами в качестве входных данных, пока не будет создан единственный вектор. Учитывая нечетное количество входных данных, первый вектор пересылается как есть на следующий уровень рекурсии. Автоэнкодер обучен воспроизводить каждый вектор в полном рекурсивном дереве, включая начальные вложения слов.

Учитывая два предложения $W_{1}$ и $W_{2}$ длиной 4 и 3 соответственно, автокодеры будут создавать 7 и 5 векторных представлений, включая исходные вложения слов. Затем между каждой комбинацией векторов в $W_{1}$ и $W_{2}$ создать матрицу сходства $S\in \mathbb {R} ^{7\times 5}$. $S$ затем подвергается динамическому слою минимального пула для получения фиксированного размера. $n_{p}\times n_{p}$ матрица. С $S$ не являются одинаковыми по размеру среди всех потенциальных предложений, $S$ разделен на $n_{p}$ примерно ровные участки. Затем выходные данные нормализуются, чтобы иметь среднее значение 0 и стандартное отклонение 1, и подаются в полностью связный слой с выходным сигналом softmax . Динамическое объединение в модель softmax обучается с использованием пар известных парафраз.

Векторы пропуска мыслей

Векторы пропуска мысли — это попытка создать векторное представление семантического значения предложения, аналогично модели пропуска грамм . Векторы пропуска мысли создаются с помощью модели пропуска мысли, которая состоит из трех ключевых компонентов: кодера и двух декодеров. Учитывая корпус документов, модель пропуска мысли обучается принимать предложение в качестве входных данных и кодировать его в вектор пропуска мысли. Вектор пропуска мысли используется в качестве входных данных для обоих декодеров; один пытается воспроизвести предыдущее предложение, а другой — следующее предложение целиком. Кодер и декодер могут быть реализованы с помощью рекурсивной нейронной сети (RNN) или LSTM .

Поскольку парафразы несут одно и то же семантическое значение между собой, они должны иметь схожие векторы пропуска мысли. Таким образом, простую логистическую регрессию можно обучить до хорошей производительности, используя в качестве входных данных абсолютную разницу и покомпонентное произведение двух векторов пропуска мысли.

Трансформеры

Подобно тому, как модели Transformer повлияли на создание парафразов, их применение для идентификации парафразов показало большой успех. Такие модели, как BERT, можно адаптировать с помощью уровня двоичной классификации и сквозного обучения задачам идентификации. Трансформаторы достигают хороших результатов при переходе между доменами и методах перефразирования по сравнению с более традиционными методами машинного обучения, такими как логистическая регрессия . Другие успешные методы, основанные на архитектуре Transformer, включают использование состязательного обучения и метаобучения .

Оценка

Для оценки перефразов можно использовать несколько методов. Поскольку распознавание перефраза можно рассматривать как проблему классификации, большинство стандартных показателей оценки, таких как точность , показатель f1 или кривая ROC , работают относительно хорошо. Однако подсчет f1-оценок затруднен из-за проблем с составлением полного списка перефразирований для данной фразы и того факта, что хорошие перефразирования зависят от контекста. Метрикой, предназначенной для решения этих проблем, является ParaMetric. Целью ParaMetric является расчет точности и запоминаемости системы автоматического перефразирования путем сравнения автоматического выравнивания перефразирования с выравниванием похожих фраз вручную. Поскольку ParaMetric просто оценивает качество выравнивания фраз, его можно использовать для оценки систем генерации парафразов, при условии, что выравнивание фраз используется как часть процесса генерации. Заметным недостатком ParaMetric является большой и исчерпывающий набор ручных корректировок, которые необходимо изначально создать, прежде чем можно будет составить рейтинг.

Оценка создания перефраза имеет те же трудности, что и оценка машинного перевода . Качество пересказа зависит от его контекста, от того, используется ли он в качестве краткого изложения и от того, как оно создается, а также от других факторов. Кроме того, хороший перефраз обычно лексически отличается от исходной фразы. Самый простой метод, используемый для оценки создания парафраза, — это использование судей-людей. К сожалению, оценка, проводимая судьями-людьми, обычно занимает много времени. Автоматизированные подходы к оценке оказываются сложной задачей, поскольку по сути это такая же сложная задача, как и распознавание перефразирования. Изначально программа двуязычной оценки ( BLEU ) использовалась для оценки машинных переводов, а также успешно использовалась для оценки моделей генерации парафразов. Однако перефразы часто имеют несколько лексически разных, но одинаково допустимых решений, что вредит BLEU и другим аналогичным показателям оценки.

Метрики, специально разработанные для оценки создания парафраза, включают парафраз в изменении n-граммы (PINC). и метрика оценки перефразирования (PEM) наряду с вышеупомянутым ParaMetric. PINC предназначен для использования с BLEU и помогает устранить его недостатки. Поскольку BLEU испытывает трудности с измерением лексического несходства, PINC является измерением отсутствия перекрытия n-грамм между исходным предложением и возможным перефразом. По сути, это расстояние Жаккара между предложениями, за исключением n-грамм, которые появляются в исходном предложении для поддержания некоторой семантической эквивалентности. PEM, с другой стороны, пытается оценить «адекватность, беглость и лексическое несходство» перефразов, возвращая эвристику одного значения, рассчитанную с использованием перекрытия N-грамм на опорном языке. Однако большим недостатком PEM является то, что его необходимо обучать с использованием больших параллельных корпусов внутри предметной области и судей-людей. Это эквивалентно обучению распознавания перефраза для оценки системы генерации перефраза.

Набор данных пар вопросов Quora, содержащий сотни тысяч повторяющихся вопросов, стал общим набором данных для оценки детекторов перефразирования. Для стабильно надежного обнаружения перефразирования использовалась архитектура Transformer, и все они полагались на большой объем предварительной подготовки с использованием более общих данных перед точной настройкой с помощью пар вопросов.

См. также

• Перевод туда и обратно
• Упрощение текста
• Нормализация текста

Внешние ссылки

• Microsoft Research Paraphrase Corpus — набор данных, состоящий из 5800 пар предложений, извлеченных из новостных статей с аннотациями, позволяющими определить, отражает ли пара семантическую эквивалентность.
• База данных парафразов (PPDB) — база данных с возможностью поиска, содержащая миллионы парафразов на 16 разных языках.