Явный семантический анализ

В обработке естественного языка и информации поиске явный семантический анализ ( ESA ) представляет собой векторное представление текста (отдельных слов или целых документов), которое использует корпус документов в качестве базы знаний . В частности, в ESA слово представлено как вектор-столбец в матрице tf-idf текстового корпуса, а документ (строка слов) представлен как центроид векторов, представляющих его слова. Обычно текстовый корпус представляет собой английскую Википедию другие корпуса, включая проект Open Directory . , хотя использовались и

ESA был разработан Евгением Габриловичем и Шаулем Марковичем как средство улучшения категоризации текста. и использовался этой парой исследователей для вычисления того, что они называют « семантическим родством» посредством косинусного сходства между вышеупомянутыми векторами, которые коллективно интерпретируются как пространство «понятий, явно определенных и описанных людьми», где статьи Википедии ( или записи ODP или иные названия документов в корпусе базы знаний) приравниваются к понятиям. Название «явный семантический анализ» контрастирует со скрытым семантическим анализом (LSA), поскольку использование базы знаний позволяет присваивать удобочитаемые ярлыки понятиям, составляющим векторное пространство.

Модель

Чтобы выполнить базовый вариант ESA, нужно начать с набора текстов, скажем, всех статей Википедии; пусть количество документов в коллекции N. равно Все они превращаются в « мешки слов », то есть гистограммы частот терминов, хранящиеся в инвертированном индексе . Используя этот инвертированный индекс, для любого слова можно найти множество статей Википедии, содержащих это слово; в словаре Эгози, Марковича и Габриловича «каждое слово, появляющееся в корпусе Википедии, можно рассматривать как запускающее каждую из концепций, на которые оно указывает в инвертированном указателе».

Результатом инвертированного индекса для запроса из одного слова является список проиндексированных документов (статей Википедии), каждому из которых присваивается оценка в зависимости от того, как часто в них встречается рассматриваемое слово (взвешенное по общему количеству слов в документе). Математически этот список представляет собой N -мерный вектор оценок слова-документа, где документ, не содержащий запрашиваемого слова, имеет нулевую оценку. Чтобы вычислить родство двух слов, сравниваются векторы (скажем, u и v ), вычисляя косинусное сходство:

${\mathsf {sim}}(\mathbf {u} ,\mathbf {v} )={\frac {\mathbf {u} \cdot \mathbf {v} }{\|\mathbf {u} \|\|\mathbf {v} \|}}={\frac {\sum _{i=1}^{N}u_{i}v_{i}}{{\sqrt {\sum _{i=1}^{N}u_{i}^{2}}}{\sqrt {\sum _{i=1}^{N}v_{i}^{2}}}}}$

и это дает числовую оценку семантической связи слов. Схема расширяется от отдельных слов до текстов, состоящих из нескольких слов, путем простого суммирования векторов всех слов в тексте.

Анализ

ESA, как первоначально предполагалось Габриловичем и Марковичем, действует исходя из предположения, что база знаний содержит тематически ортогональные концепции. Однако позже Андерка и Стайн показали, что ESA также повышает производительность систем поиска информации , когда оно основано не на Википедии, а на корпусе статей новостей Reuters , который не удовлетворяет свойству ортогональности; В своих экспериментах Андерка и Штейн использовали новостные ленты в качестве «концепций». Чтобы объяснить это наблюдение, были показаны связи между ESA и моделью обобщенного векторного пространства . Габрилович и Маркович ответили Андерке и Штейну, указав, что их экспериментальный результат был достигнут с использованием «единственного применения ESA (сходство текста)» и «всего лишь одной, чрезвычайно маленькой и однородной тестовой коллекции из 50 новостных документов».

Приложения

Родство слов

ESA рассматривается его авторами как мера семантического родства (в отличие от семантического сходства ). В наборах данных, используемых для оценки родства слов, ESA превосходит другие алгоритмы, включая меры семантического сходства WordNet и языковую модель нейронной сети с пропуском грамм ( Word2vec ).

Связь документов

ESA используется в коммерческих пакетах программного обеспечения для вычисления связанности документов. Ограничения модели ESA, специфичные для предметной области, иногда используются для обеспечения более надежного сопоставления документов.

Расширения

Межъязыковой явный семантический анализ (CL-ESA) представляет собой многоязычное обобщение ESA. CL-ESA использует согласованную с документом многоязычную справочную коллекцию (например, Википедию) для представления документа как независимого от языка вектора понятий. Родственность двух документов на разных языках оценивается по косинусному сходству между соответствующими векторными представлениями.

См. также

• Тематическая модель

Внешние ссылки

• Явный семантический анализ на домашней странице Евгения Габриловича; есть ссылки на реализации