Семантическое пространство
Семантические пространства [примечание 1] [1] в области естественного языка стремятся создать представления естественного языка, способные передавать смысл. Первоначальная мотивация создания семантических пространств проистекает из двух основных проблем естественного языка: словарного несоответствия (тот факт, что одно и то же значение может быть выражено разными способами) и двусмысленности естественного языка (тот факт, что один и тот же термин может иметь несколько значений).
Применение семантических пространств в обработке естественного языка (НЛП) направлено на преодоление ограничений подходов, основанных на правилах или моделях, действующих на уровне ключевых слов . Основным недостатком этих подходов является их хрупкость и большие ручные усилия, необходимые для создания либо основанных на правилах систем НЛП, либо обучающих корпусов для обучения моделям. [2] [3] Модели, основанные на правилах и машинном обучении, фиксируются на уровне ключевых слов и разрушаются, если словарь отличается от словаря, определенного в правилах или от обучающего материала, используемого для статистических моделей.
Исследования семантических пространств насчитывают более 20 лет. В 1996 году были опубликованы две статьи, привлекшие большое внимание к общей идее создания семантических пространств: латентно-семантический анализ. [4] и гиперпространственный аналог языка . [5] Однако их внедрение было ограничено большими вычислительными усилиями, необходимыми для построения и использования этих семантических пространств. Прорыв в точности моделирования ассоциативных отношений между словами (например, «паутина», «зажигалка», в отличие от синонимических отношений типа «кит-дельфин», «космонавт-водитель») был достигнут путем явного семантический анализ (ESA) [6] в 2007 году. ESA представляло собой новый подход, основанный на немашинном обучении, который представлял слова в виде векторов со 100 000 измерений (где каждое измерение представляет собой статью в Википедии ). Однако практическое применение подхода ограничено из-за большого количества требуемых размерностей векторов.
Совсем недавно достижения в области нейронных сетей в сочетании с другими новыми подходами ( тензорами ) привели к множеству новых разработок: Word2vec. [7] от Google , GloVe [8] из Стэнфордского университета и fastText [9] из лаборатории Facebook AI Research (FAIR).
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ также называется распределенным семантическим пространством или распределенной семантической памятью.
- ^ Барони, Марко; Ленчи, Алессандро (2010). «Распределительная память: общая основа корпусной семантики». Компьютерная лингвистика . 36 (4): 673–721. CiteSeerX 10.1.1.331.3769 . дои : 10.1162/coli_a_00016 . S2CID 5584134 .
- ^ Скотт К. Дирвестер; Сьюзан Т. Дюмэ; Томас К. Ландауэр; Джордж В. Фурнас; Ричард А. Харшен (1990). «Индексирование с помощью скрытого семантического анализа» (PDF) . Журнал Американского общества информатики .
- ^ Син Вэй; В. Брюс Крофт (2007). «Исследование производительности поиска с помощью тематических моделей, созданных вручную» . Proceeding RIAO '07 Крупномасштабный семантический доступ к контенту (тексту, изображению, видео и звуку) . Риао '07: 333–349.
- ^ «LSA: Решение проблемы Платона» . lsa.colorado.edu . Проверено 19 апреля 2016 г.
- ^ Лунд, Кевин; Берджесс, Курт (1 июня 1996 г.). «Создание многомерных семантических пространств на основе лексического совпадения» . Методы, инструменты и компьютеры исследования поведения . 28 (2): 203–208. дои : 10.3758/BF03204766 . ISSN 0743-3808 .
- ^ Евгений Габрилович и Шауль Маркович (2007). «Вычисление семантической связанности с использованием явного семантического анализа на основе Википедии» (PDF) . Учеб. 20-я Международная совместная конференция. Об искусственном интеллекте (IJCAI). Стр. 1606–1611 .
- ^ Томаш Миколов; Илья Суцкевер; Кай Чен; Грег Коррадо; Джеффри Дин (2013). «Распределенные представления слов и фраз и их композиционность». arXiv : 1310.4546 [ cs.CL ].
- ^ Джеффри Пеннингтон; Ричард Сочер; Кристофер Д. Мэннинг (2014). «GloVe: глобальные векторы для представления слов» (PDF) .
- ^ Маннес, Джон (2 мая 2017 г.). «Библиотека fastText Facebook теперь оптимизирована для мобильных устройств» . ТехКранч . Проверено 12 января 2018 г.