Семантическая складчатость
Теория семантической свёртки описывает процедуру кодирования семантики текста естественного языка в семантически обоснованное двоичное представление . Этот подход обеспечивает основу для моделирования того, как языковые данные обрабатываются неокортексом . [1]
Теория
[ редактировать ]Теория семантических складок черпает вдохновение из книги Дугласа Р. Хофштадтера « Аналогия как основа познания» , которая предполагает, что мозг обретает смысл в мире, определяя и применяя аналогии . [2] Теория предполагает, что семантические данные должны быть введены в неокортекс в такой форме, чтобы можно было применить меру сходства , и предлагает в качестве решения разреженный бинарный вектор, использующий двумерное топографическое семантическое пространство в качестве системы отсчета распределения. . Теория основывается на вычислительной теории коры головного мозга человека, известной как иерархическая временная память (HTM), и позиционирует себя как дополнительная теория представления языковой семантики.
Особая сила этого подхода заключается в том, что полученное двоичное представление позволяет выполнять сложные семантические операции просто и эффективно на самом базовом вычислительном уровне.
Двумерное семантическое пространство
[ редактировать ]Аналогично структуре неокортекса, теория семантического сворачивания постулирует реализацию семантического пространства в виде двумерной сетки. Эта сетка заполнена векторами контекста. [примечание 1] таким образом, чтобы разместить схожие контекстные векторы ближе друг к другу, например, используя принципы конкурентного обучения. Эта модель векторного пространства представлена в теории как эквивалент хорошо известной модели пространства слов. [3] описано в информационно-поисковой литературе.
Учитывая семантическое пространство (реализованное, как описано выше), вектор слова [примечание 2] может быть получено для любого данного слова Y, используя следующий алгоритм :
For each position X in the semantic map (where X represents cartesian coordinates) if the word Y is contained in the context-vector at position X then add 1 to the corresponding position in the word-vector for Y else add 0 to the corresponding position in the word-vector for Y
Результатом этого процесса будет вектор слова, содержащий все контексты, в которых появляется слово Y, и, следовательно, будет представлять семантику этого слова в семантическом пространстве. Можно видеть, что результирующий вектор слова также имеет формат разреженного распределенного представления (SDR) [Schütze, 1993] и [Sahlgreen, 2006]. [3] [4] Некоторые свойства слов-SDR, которые представляют особый интерес с точки зрения вычислительной семантики : [5]
- высокая устойчивость к шуму : в результате того, что схожие контексты расположены ближе друг к другу на базовой карте, словесные SDR очень устойчивы к ложным или смещенным «битам».
- Булева логика: можно осмысленно манипулировать словесными SDR, используя логические (ИЛИ, И, исключающее ИЛИ) и/или арифметические (SUBtract) функции.
- субвыборка: Word-SDR могут быть подвергнуты субвыборке в высокой степени без какой-либо заметной потери семантической информации.
- топологическое двумерное представление: представление SDR поддерживает топологическое распределение базовой карты, поэтому слова со схожим значением будут иметь схожие векторы слов. можно применять различные меры Это говорит о том, что для расчета семантического сходства , от простого перекрытия векторных элементов до ряда мер расстояния, таких как: Евклидово расстояние , расстояние Хэмминга , расстояние Жаккара , косинусное сходство , расстояние Левенштейна , расстояние Сёренсена. - Индекс кубика и т. д.
Семантические пространства
[ редактировать ]Семантические пространства [примечание 3] [6] в области естественного языка стремятся создать представления естественного языка, способные передавать смысл. Первоначальная мотивация создания семантических пространств проистекает из двух основных проблем естественного языка: словарного несоответствия (тот факт, что одно и то же значение может быть выражено разными способами) и двусмысленности естественного языка (тот факт, что один и тот же термин может иметь несколько значений).
Применение семантических пространств в обработке естественного языка (НЛП) направлено на преодоление ограничений подходов, основанных на правилах или моделях, действующих на уровне ключевых слов . Основным недостатком этих подходов является их хрупкость и большие ручные усилия, необходимые для создания либо основанных на правилах систем НЛП, либо обучающих корпусов для обучения моделям. [7] [8] Модели, основанные на правилах и машинном обучении , фиксируются на уровне ключевых слов и разрушаются, если словарь отличается от словаря, определенного в правилах или от обучающего материала, используемого для статистических моделей.
Исследования семантических пространств насчитывают более 20 лет. В 1996 году были опубликованы две статьи, привлекшие большое внимание к общей идее создания семантических пространств: латентно-семантический анализ. [9] от Microsoft и гиперпространственного аналога к языку [10] из Калифорнийского университета . Однако их внедрение было ограничено большими вычислительными усилиями, необходимыми для построения и использования этих семантических пространств. Прорыв в точности моделирования ассоциативных отношений между словами (например, «паутина», «зажигалка», в отличие от синонимических отношений типа «кит-дельфин», «космонавт-водитель») был достигнут путем явного семантический анализ (ESA) [11] в 2007 году. ESA представляло собой новый подход, основанный на немашинном обучении, который представлял слова в виде векторов со 100 000 измерений (где каждое измерение представляет собой статью в Википедии ). Однако практическое применение подхода ограничено из-за большого количества требуемых размерностей векторов.
Совсем недавно достижения в области нейронных сетей в сочетании с другими новыми подходами ( тензорами ) привели к множеству новых разработок: Word2vec. [12] от Google и GloVe [13] из Стэнфордского университета .
Семантическое сворачивание представляет собой новый, биологически вдохновленный подход к семантическим пространствам, где каждое слово представлено как разреженный бинарный вектор с 16 000 измерений (семантический отпечаток пальца) на двумерной семантической карте (семантическая вселенная). Разреженное двоичное представление выгодно с точки зрения вычислительной эффективности и позволяет хранить очень большое количество возможных шаблонов. [5]
Визуализация
[ редактировать ]
Топологическое распределение по двумерной сетке (описанное выше) позволяет растрового изображения визуализировать семантику любого слова или текста в виде , где каждый активный семантический признак может отображаться, например, как пиксель . Как видно на изображениях, представленных здесь, такое представление позволяет напрямую визуально сравнивать семантику двух (или более) лингвистических элементов.
Изображение 1 ясно демонстрирует, что два разных термина «собака» и «автомобиль», как и ожидалось, имеют совершенно разную семантику.
На изображении 2 показано, что только один из смысловых контекстов слова «ягуар», а именно автомобиль «Ягуар», пересекается со значением «Порше» (указывая на частичное сходство). Другие смысловые контексты слова «ягуар», например «ягуар» (животное), явно имеют разные непересекающиеся контексты. Визуализация семантического сходства с использованием Semantic Folding очень похожа на изображения фМРТ , полученные в исследовании, проведенном AG Huth et al., [14] [15] где утверждается, что слова группируются в мозгу по значению. Было обнаружено, что вокселы , небольшие объемные сегменты мозга, следуют шаблону, в котором семантическая информация представлена вдоль границы зрительной коры, а визуальные и лингвистические категории представлены на задней и передней стороне соответственно. [16] [17] [18]
Примечания
[ редактировать ]- ^ Контекстный вектор определяется как вектор, содержащий все слова в определенном контексте.
- ^ Вектор слова или слово-SDR в теории семантического сворачивания называется семантическим отпечатком пальца.
- ^ также называется распределенным семантическим пространством или распределенной семантической памятью.
Ссылки
[ редактировать ]- ^ Де Соуза Уэббер, Франциско (2015). «Теория семантической складки и ее применение в семантической дактилоскопии». Библиотека Корнеллского университета . arXiv : 1511.08855 . Бибкод : 2015arXiv151108855D .
- ^ Аналоговый разум . Книга Брэдфорда. 2 марта 2001 г. ISBN . 9780262072069 . Проверено 18 апреля 2016 г.
{{cite book}}:|website=игнорируется ( помогите ) - ^ Jump up to: а б Салгрин, Магнус (2006). «Модель словесного пространства» .
- ^ Шютце, Хинрих (1993). «Пространство слов»: 895–902. CiteSeerX 10.1.1.41.8856 .
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) - ^ Jump up to: а б Субутай Ахмад; Джефф Хокинс (2015). «Свойства разреженных распределенных представлений и их применение к иерархической временной памяти». arXiv : 1503.07469 [ q-bio.NC ].
- ^ Барони, Марко; Ленчи, Алессандро (2010). «Распределительная память: общая основа корпусной семантики». Компьютерная лингвистика . 36 (4): 673–721. CiteSeerX 10.1.1.331.3769 . дои : 10.1162/coli_a_00016 . S2CID 5584134 .
- ^ Скотт К. Дирвестер; Сьюзан Т. Дюмэ; Томас К. Ландауэр; Джордж В. Фурнас; Ричард А. Харшен (1990). «Индексирование с помощью скрытого семантического анализа» (PDF) . Журнал Американского общества информатики .
- ^ Син Вэй; В. Брюс Крофт (2007). «Исследование производительности поиска с помощью тематических моделей, созданных вручную» . Proceeding RIAO '07 Крупномасштабный семантический доступ к контенту (тексту, изображению, видео и звуку) . Риао '07: 333–349.
- ^ «LSA: Решение проблемы Платона» . lsa.colorado.edu . Проверено 19 апреля 2016 г.
- ^ Лунд, Кевин; Берджесс, Курт (1 июня 1996 г.). «Создание многомерных семантических пространств на основе лексического совпадения» . Методы, инструменты и компьютеры исследования поведения . 28 (2): 203–208. дои : 10.3758/BF03204766 . ISSN 0743-3808 .
- ^ Евгений Габрилович и Шауль Маркович (2007). «Вычисление семантической связанности с использованием явного семантического анализа на основе Википедии» (PDF) . Учеб. 20-я Международная совместная конференция. Об искусственном интеллекте (IJCAI). Стр. 1606–1611 .
- ^ Томаш Миколов; Илья Суцкевер; Кай Чен; Грег Коррадо; Джеффри Дин (2013). «Распределенные представления слов и фраз и их композиционность». arXiv : 1310.4546 [ cs.CL ].
- ^ Джеффри Пеннингтон; Ричард Сочер; Кристофер Д. Мэннинг (2014). «GloVe: глобальные векторы для представления слов» (PDF) .
- ^ Хут, Александр (27 апреля 2016 г.). «Естественная речь раскрывает семантические карты, покрывающие кору головного мозга человека» . Природа . 532 (7600): 453–458. Бибкод : 2016Natur.532..453H . дои : 10.1038/nature17637 . ПМЦ 4852309 . ПМИД 27121839 .
- ^ "Мозг" . Gallantlab.org . Проверено 16 февраля 2022 г.
- ^ Пофэм, Сара Ф.; Хут, Александр Г.; Биленко Наталья Юрьевна; Дениз, Фатма; Гао, Джеймс С.; Нуньес-Элисальде, Анвар О.; Галлант, Джек Л. (11 августа 2021 г.). «Визуальные и лингвистические семантические представления выровнены на границе зрительной коры человека» . Природная неврология . 24 (11): 1628–1636. дои : 10.1038/s41593-021-00921-6 . ISSN 1097-6256 . ПМИД 34711960 . S2CID 240152854 .
- ^ Сталь, Адам; Биллингс, Мадлен М.; Силсон, Эдвард Х.; Робертсон, Кэролайн Э. (11 мая 2021 г.). «Сеть, связывающая восприятие сцены и системы пространственной памяти в задней коре головного мозга» . Природные коммуникации . 12 (1): 2632. Бибкод : 2021NatCo..12.2632S . дои : 10.1038/s41467-021-22848-z . ISSN 2041-1723 . ПМЦ 8113503 . ПМИД 33976141 .
- ^ Цепелевич, Джордана (08 февраля 2022 г.). «Новая карта значений в мозге меняет представления о памяти» . Журнал Кванта . Проверено 16 февраля 2022 г.