Алгоритм Леска

Алгоритм Леска — это классический алгоритм устранения смысловой неоднозначности слов, предложенный Майклом Э. Леском в 1986 году. Он основан на предпосылке, что слова в данном контексте, вероятно, имеют общее значение. Этот алгоритм сравнивает словарные определения неоднозначного слова со словами в окружающем его контексте, чтобы определить наиболее подходящий смысл. Варианты, такие как упрощенный алгоритм Леска, продемонстрировали повышенную точность и эффективность. Однако алгоритм Леска подвергся критике за его чувствительность к формулировкам определений и зависимость от кратких толкований. Исследователи стремились повысить его точность за счет включения дополнительных ресурсов, таких как тезаурусы и синтаксические модели.

Обзор

Алгоритм Леска основан на предположении, что слова в данном «районе» (разделе текста) имеют тенденцию иметь общую тему. Упрощенная версия алгоритма Леска заключается в сравнении словарного определения неоднозначного слова с терминами, содержащимися в его окрестностях. Версии адаптированы для использования WordNet . Реализация может выглядеть так:

1. для каждого значения слова, которое устраняется неоднозначность, следует подсчитать количество слов, которые находятся как по соседству с этим словом, так и в словарном определении этого значения.
2. смысл, который следует выбрать, - это смысл, имеющий наибольшее число этих значений.

Часто используемый пример, иллюстрирующий этот алгоритм, касается контекста «сосновая шишка». Используются следующие словарные определения:

PINE 
1. kinds of evergreen tree with needle-shaped leaves
2. waste away through sorrow or illness

CONE 
1. solid body which narrows to a point
2. something of this shape whether solid or hollow
3. fruit of certain evergreen trees

Как видно, лучшее пересечение — это Сосна №1 ⋂ Конус №3 = 2.

Упрощенный алгоритм Леска

В упрощенном алгоритме Леска правильное значение каждого слова в данном контексте определяется индивидуально путем определения смысла, который больше всего перекрывается между его словарным определением и данным контекстом. Вместо одновременного определения значений всех слов в данном контексте этот подход рассматривает каждое слово индивидуально, независимо от значения других слов, встречающихся в том же контексте.

«Сравнительная оценка, проведенная Василеску и др. (2004 г.) показал, что упрощенный алгоритм Леска может значительно превосходить исходное определение алгоритма как с точки зрения точности, так и эффективности. Оценивая алгоритмы устранения неоднозначности на данных всех слов английского языка Senseval-2, они измеряют точность 58% при использовании упрощенного алгоритма Леска по сравнению с только 42% при использовании исходного алгоритма.

Примечание: Василеску и др. реализация учитывает стратегию отката для слов, не охватываемых алгоритмом, состоящих из наиболее часто встречающихся значений, определенных в WordNet. Это означает, что слова, все их возможные значения которых не перекрываются с текущим контекстом или с другими определениями слов, по умолчанию имеют смысл номер один в WordNet».

Упрощенный алгоритм LESK с интеллектуальным определением слов по умолчанию (Vasilescu et al., 2004).

функция УПРОЩЕННЫЙ ЛЕСК( слово,предложение ) возвращает лучший смысл слова лучший смысл <- наиболее часто встречающийся смысл слова максимальное перекрытие <- 0 контекст <- набор слов в предложении для каждого смысла в смыслах слова делать подпись <- набор слов в глянце и примеры по смыслу перекрытие <- COMPUTEOVERLAP ( подпись,контекст ) если перекрытие > максимальное перекрытие, то максимальное перекрытие <- перекрытие здравый смысл <- смысл конец возврата ( здравый смысл )

Функция COMPUTEOVERLAP возвращает количество общих слов в двух наборах, игнорируя функциональные слова или другие слова в стоп-листе. Исходный алгоритм Леска определяет контекст более сложным образом.

Критика

К сожалению, подход Леска очень чувствителен к точным формулировкам определений, поэтому отсутствие определенного слова может радикально изменить результаты. Далее алгоритм определяет совпадения только среди толкований рассматриваемых смыслов. Это существенное ограничение, поскольку словарные толкования, как правило, довольно кратки и не содержат достаточного словарного запаса для передачи тонких смысловых различий.

Появилось много работ, предлагающих различные модификации этого алгоритма. В этих работах используются другие ресурсы для анализа (тезаурусы, словари синонимов или морфологические и синтаксические модели): например, может использоваться такая информация, как синонимы, различные производные или слова из определений слов из определений.

Lesk variants

• Оригинальный Леск (Леск, 1986)
• Адаптированный/расширенный леск (Банерджи и Педерсон, 2002/2003): В алгоритме адаптивного леска создается вектор слов, соответствующий каждому слову контента в глоссе wordnet. Объединение толкований связанных понятий в WordNet можно использовать для расширения этого вектора. Вектор содержит количество совпадений слов, встречающихся одновременно с w в большом корпусе. Добавление всех векторов слов для всех слов содержания в его глоссе создает вектор глосса g для понятия. Родственность определяется путем сравнения вектора блеска с использованием косинусной меры сходства .

Существует множество исследований, касающихся Lesk и его расширений:

• Уилкс и Стивенсон, 1998, 1999 гг.;
• Махеш и др., 1997;
• Коуи и др., 1992;
• Яровский, 1992;
• Пук и Кэтлетт, 1988 г.;
• Килгаррифф и Розенсвейг, 2000 г.;
• Квонг, 2001 г.;
• Нэстасе и Шпакович, 2001 г.;
• Gelbukh and Sidorov, 2004.

См. также

• Смысловая неоднозначность