Встраивание слов

В обработке естественного языка (NLP) встраивание слова — это представление слова. Встраивание используется при анализе текста. Обычно представление представляет собой вектор с действительным знаком , который кодирует значение слова таким образом, что ожидается, что слова, находящиеся ближе в векторном пространстве, будут схожи по значению. ^{[ 1 ]} Встраивание слов можно получить с помощью языкового моделирования и методов обучения функциям , при которых слова или фразы из словаря сопоставляются с векторами действительных чисел .

Методы создания этого отображения включают нейронные сети , ^{[ 2 ]} уменьшение размерности слов матрицы совпадения , ^{[ 3 ]}^{[ 4 ]}^{[ 5 ]} вероятностные модели, ^{[ 6 ]} объяснимый метод базы знаний, ^{[ 7 ]} и явное представление с точки зрения контекста, в котором появляются слова. ^{[ 8 ]}

Было показано, что встраивание слов и фраз при использовании в качестве основного представления входных данных повышает производительность в задачах НЛП, таких как синтаксический анализ. ^{[ 9 ]} и анализ настроений . ^{[ 10 ]}

Развитие и история подхода

В дистрибутивной семантике количественный методологический подход к пониманию значения наблюдаемого языка, встраивания слов или моделей семантического пространства признаков . в качестве представления знаний в течение некоторого времени использовался ^{[ 11 ]} Такие модели направлены на количественную оценку и классификацию семантических сходств между лингвистическими элементами на основе их свойств распределения в больших выборках языковых данных. Основная идея о том, что «слово характеризуется обществом, которое оно содержит», была предложена в статье 1957 года Джоном Рупертом Фертом : ^{[ 12 ]} но также имеет корни в современной работе над поисковыми системами. ^{[ 13 ]} и в когнитивной психологии. ^{[ 14 ]}

Понятие семантического пространства с лексическими элементами (словами или терминами из нескольких слов), представленными в виде векторов или вложений, основано на вычислительных задачах, связанных с фиксацией характеристик распределения и их использованием для практического применения для измерения сходства между словами, фразами или целыми документами. Первым поколением моделей семантического пространства является модель векторного пространства для поиска информации. ^{[ 15 ]}^{[ 16 ]}^{[ 17 ]} Такие модели векторного пространства для слов и данных их распределения, реализованные в простейшей форме, приводят к очень разреженному векторному пространству высокой размерности (см. «Проклятие размерности» ). Уменьшение количества измерений с использованием линейных алгебраических методов, таких как разложение по сингулярным значениям , затем привело к введению скрытого семантического анализа в конце 1980-х годов и подхода случайной индексации для сбора контекстов совместного появления слов. ^{[ 18 ]}^{[ 19 ]}^{[ 20 ]}^{[ 21 ]} В 2000 году Бенджио и др. представленные в серии статей под названием «Нейро-вероятностные языковые модели», чтобы уменьшить высокую размерность представлений слов в контекстах путем «изучения распределенного представления слов». ^{[ 22 ]}^{[ 23 ]}^{[ 24 ]}

Исследование, опубликованное в NeurIPS (NIPS) 2002, представило использование встраивания слов и документов с применением метода ядра CCA к двуязычным (и многоязычным) корпусам, а также представляет собой ранний пример самостоятельного изучения встраивания слов. ^{[ 25 ]}

Встраивание слов бывает двух разных стилей: в одном слова выражаются как векторы одновременно встречающихся слов, а в другом слова выражаются как векторы лингвистических контекстов, в которых эти слова встречаются; эти разные стили изучаются в работе Lavelli et al., 2004. ^{[ 26 ]} Роуэйс и Сол опубликовали в журнале Science, как использовать « локальное линейное встраивание » (LLE) для обнаружения представлений многомерных структур данных. ^{[ 27 ]} Большинство новых методов встраивания слов примерно после 2005 года основаны на архитектуре нейронной сети вместо более вероятностных и алгебраических моделей, после фундаментальной работы, проделанной Йошуа Бенджио. ^{[ 28 ]}^{[ циклическая ссылка ]} и коллеги. ^{[ 29 ]}^{[ 30 ]}

Этот подход был принят многими исследовательскими группами после того, как в 2010 году были достигнуты теоретические достижения в отношении качества векторов и скорости обучения модели, а также после того, как достижения в оборудовании позволили с пользой изучить более широкое пространство параметров. В 2013 году команда Google под руководством Томаса Миколова создала word2vec — набор инструментов для встраивания слов, который может обучать модели векторного пространства быстрее, чем предыдущие подходы. Подход word2vec широко использовался в экспериментах и сыграл важную роль в повышении интереса к встраиванию слов как технологии, выведя направление исследований из специализированных исследований в более широкое экспериментирование и, в конечном итоге, проложив путь для практического применения. ^{[ 31 ]}

Полисемия и омонимия

Исторически сложилось так, что одним из основных ограничений статических вложений слов или моделей векторного пространства слов является то, что слова с несколькими значениями объединяются в одно представление (один вектор в семантическом пространстве). Другими словами, полисемия и омонимия не обрабатываются должным образом. Например, в предложении «Клуб, который я пробовал вчера, был великолепен!» Неясно, связан ли термин « клуб » со значением слова «клубный сэндвич» , «клуб» , «клюшка для гольфа » или с любым другим значением, которое клуб может иметь . Необходимость размещения нескольких значений одного слова в разных векторах (многосмысловые вложения) является мотивацией для нескольких вкладов в НЛП в разделение односмысловых вложений на многосмысловые. ^{[ 32 ]}^{[ 33 ]}

Большинство подходов, которые создают многосмысловые встраивания, можно разделить на две основные категории по смысловому представлению слов: неконтролируемые и основанные на знаниях. ^{[ 34 ]} На основе пропуска-граммы word2vec , Multi-Sense Skip-Gram (MSSG). ^{[ 35 ]} одновременно выполняет распознавание смысла слова и встраивание, сокращая время обучения, предполагая при этом определенное количество смыслов для каждого слова. В непараметрической многозначной пропускной грамме (NP-MSSG) это число может варьироваться в зависимости от каждого слова. Сочетание предварительных знаний лексических баз данных (например, WordNet , ConceptNet , BabelNet ), встраивания слов и устранения неоднозначности смысла слов , наиболее подходящей смысловой аннотации (MSSA) ^{[ 36 ]} маркирует смыслы слов с помощью неконтролируемого подхода, основанного на знаниях, учитывая контекст слова в заранее определенном скользящем окне. Как только слова устранены, их можно использовать в стандартной технике встраивания слов, таким образом создаются многозначные встраивания. Архитектура MSSA позволяет периодически выполнять процесс устранения неоднозначности и аннотирования в режиме самоусовершенствования. ^{[ 37 ]}

Известно, что использование многозначных вложений повышает производительность при решении некоторых задач НЛП, таких как маркировка частей речи , идентификация семантических отношений, семантическая связанность , распознавание именованных объектов и анализ настроений. ^{[ 38 ]}^{[ 39 ]}

контекстуально значимые встраивания, такие как ELMo и BERT . По состоянию на конец 2010-х годов были разработаны ^{[ 40 ]} В отличие от статических внедрений слов, эти внедрения выполняются на уровне токена, поскольку каждое вхождение слова имеет свое собственное внедрение. Эти вложения лучше отражают многозначную природу слов, поскольку вхождения слова в схожих контекстах расположены в аналогичных областях пространства встраивания BERT. ^{[ 41 ]}^{[ 42 ]}

Для биологических последовательностей: BioVectors

Вложения слов для n- грамм в биологические последовательности (например, ДНК, РНК и белки) для приложений биоинформатики были предложены Асгари и Мофрадом. ^{[ 43 ]} Названные биовекторами (BioVec) для обозначения биологических последовательностей в целом, белковыми векторами (ProtVec) для белков (аминокислотные последовательности) и генными векторами (GeneVec) для генных последовательностей, это представление может широко использоваться в приложениях глубокого анализа. обучение протеомике и геномике . Результаты, представленные Асгари и Мофрадом ^{[ 43 ]} предполагают, что BioVectors могут характеризовать биологические последовательности с точки зрения биохимических и биофизических интерпретаций лежащих в их основе закономерностей.

Игровой дизайн

Встраивание слов с приложениями в игровом дизайне было предложено Рабии и Куком. ^{[ 44 ]} как способ обнаружить возникающий игровой процесс, используя журналы данных игрового процесса. Этот процесс требует расшифровки действий, происходящих во время игры, на формальном языке , а затем использования полученного текста для создания вложений слов. Результаты, представленные Рабии и Куком ^{[ 44 ]} предполагают, что полученные векторы могут отражать экспертные знания об играх, таких как шахматы , которые явно не указаны в правилах игры.

Вложения предложений

Идея была расширена до встраивания целых предложений или даже документов, например, в форме концепции векторов мысли . В 2015 году некоторые исследователи предложили «пропустить векторы мысли» как средство улучшения качества машинного перевода . ^{[ 45 ]} Более свежий и популярный подход для представления предложений — это Sentence-BERT или SentenceTransformers, который модифицирует предварительно обученный BERT с использованием сиамских и триплетных сетевых структур. ^{[ 46 ]}

Программное обеспечение

Программное обеспечение для обучения и использования встраивания слов включает в себя Томаша Миколова , Word2vec Стэнфордского университета GloVe , ^{[ 47 ]} GN-перчатка, ^{[ 48 ]} Чутье вложения, ^{[ 38 ]} из AllenNLP ELMo , ^{[ 49 ]} БЕРТ , ^{[ 50 ]} фасттекст , Генсим , ^{[ 51 ]} Индра, ^{[ 52 ]} и Deeplearning4j . Анализ главных компонентов (PCA) и T-распределенное стохастическое встраивание соседей (t-SNE) используются для уменьшения размерности пространств векторов слов и визуализации встраивания слов и кластеров . ^{[ 53 ]}

Примеры применения

Например, fastText также используется для расчета встраивания слов в корпуса текстов в Sketch Engine, которые доступны в Интернете. ^{[ 54 ]}

Этические последствия

Встраивание слов может содержать предубеждения и стереотипы, содержащиеся в обученном наборе данных, как утверждают Bolukbasi et al. отмечает в статье 2016 года «Мужчина для программиста, как женщина для домохозяйки?» Debiasing Word Embeddings», что общедоступное (и популярное) встраивание word2vec, обученное на текстах Google News (обычно используемый корпус данных), который состоит из текста, написанного профессиональными журналистами, по-прежнему показывает непропорциональные словесные ассоциации, отражающие гендерные и расовые предубеждения при извлечении словесных аналогий. . ^{[ 55 ]} Например, одна из аналогий, возникающих с использованием вышеупомянутого встраивания слов, звучит так: «мужчина для программиста, как женщина для домохозяйки». ^{[ 56 ]}^{[ 57 ]}

Исследование, проведенное Jieyu Zhou et al. показывает, что применение этих обученных вложений слов без тщательного контроля, вероятно, увековечивает существующую предвзятость в обществе, которая привносится через неизмененные данные обучения. Более того, встраивание слов может даже усилить эти предубеждения. ^{[ 58 ]}^{[ 59 ]}

См. также

Ссылки

^ Юрафский, Дэниел; Х. Джеймс, Мартин (2000). Обработка речи и языка: введение в обработку естественного языка, компьютерную лингвистику и распознавание речи . Река Аппер-Седл, Нью-Джерси: Прентис-Холл. ISBN 978-0-13-095069-7 .
^ Миколов, Томас; Суцкевер, Илья; Чен, Кай; Коррадо, Грег; Дин, Джеффри (2013). «Распределенные представления слов и фраз и их композиционность». arXiv : 1310.4546 [ cs.CL ].
^ Лебре, Реми; Коллоберт, Ронан (2013). «Word Emdeddings через Hellinger PCA». Конференция Европейского отделения Ассоциации компьютерной лингвистики (EACL) . Том. 2014. arXiv : 1312.5542 .
^ Леви, Омер; Гольдберг, Йоав (2014). Встраивание нейронных слов как неявная матричная факторизация (PDF) . НИПС.
^ Ли, Итан; Сюй, Линьли (2015). Еще раз о встраивании слов: новое обучение представлениям и перспектива явной матричной факторизации (PDF) . Международная J. Конф. по искусственному интеллекту (IJCAI).
^ Глоберсон, Амир (2007). «Евклидово встраивание данных о совместном возникновении» (PDF) . Журнал исследований машинного обучения .
^ Куреши, М. Атиф; Грин, Дерек (4 июня 2018 г.). «ЕВА: объяснимая техника векторного встраивания с использованием Википедии». Журнал интеллектуальных информационных систем . 53 : 137–165. arXiv : 1702.06891 . дои : 10.1007/s10844-018-0511-x . ISSN 0925-9902 . S2CID 10656055 .
^ Леви, Омер; Гольдберг, Йоав (2014). Лингвистические закономерности в редких и явных представлениях слов (PDF) . КонНЛЛ. стр. 171–180.
^ Сошер, Ричард; Бауэр, Джон; Мэннинг, Кристофер; Нг, Эндрю (2013). Анализ с помощью композиционных векторных грамматик (PDF) . Учеб. Конференция ACL. Архивировано из оригинала (PDF) 11 августа 2016 г. Проверено 14 августа 2014 г.
^ Сошер, Ричард; Перелыгин, Алексей; Ву, Джин; Чуанг, Джейсон; Мэннинг, Крис; Нг, Эндрю; Поттс, Крис (2013). Рекурсивные глубокие модели семантической композиционности в древовидном банке настроений (PDF) . ЭМНЛП.
^ Салгрен, Магнус. «Краткая история вложений слов» .
^ Ферт, младший (1957). «Краткий обзор лингвистической теории 1930–1955». Исследования по лингвистическому анализу : 1–32. Перепечатано в Ф. Р. Палмер, изд. (1968). Избранные статьи Дж. Р. Ферта 1952–1959 гг . Лондон: Лонгман.
^ Лун, HP (1953). «Новый метод записи и поиска информации». Американская документация . 4 : 14–16. дои : 10.1002/asi.5090040104 .
^ Осгуд, CE; Сучи, Дж.Дж.; Танненбаум, PH (1957). Измерение смысла . Издательство Университета Иллинойса.
^ Солтон, Джерард (1962). «Некоторые эксперименты по созданию ассоциаций слов и документов». Материалы осенней совместной компьютерной конференции AFIPS '62, состоявшейся 4–6 декабря 1962 г. (осень) . стр. 234–250. дои : 10.1145/1461518.1461544 . ISBN 9781450378796 . S2CID 9937095 .
^ Солтон, Джерард; Вонг, А; Ян, CS (1975). «Векторная пространственная модель для автоматического индексирования». Коммуникации АКМ . 18 (11): 613–620. дои : 10.1145/361219.361220 . hdl : 1813/6057 . S2CID 6473756 .
^ Дубин, Дэвид (2004). «Самая влиятельная статья Джерарда Солтона никогда не писалась» . Архивировано из оригинала 18 октября 2020 года . Проверено 18 октября 2020 г.
^ Канерва, Пентти, Кристоферсон, Ян и Холст, Андерс (2000): Случайное индексирование образцов текста для скрытого семантического анализа , Труды 22-й ежегодной конференции Общества когнитивных наук, стр. 1036. Махва, Нью-Джерси: Эрлбаум, 2000.
^ Карлгрен, Юсси; Салгрен, Магнус (2001). Уэсака, Ёсинори; Канерва, Пентти; Асо, Хидеки (ред.). «От слов к пониманию». Основы реального интеллекта . Публикации CSLI: 294–308.
^ Салгрен, Магнус (2005) Введение в случайное индексирование , Материалы семинара по методам и применениям семантического индексирования на 7-й Международной конференции по терминологии и инженерии знаний, TKE 2005, 16 августа, Копенгаген, Дания
^ Салгрен, Магнус, Холст, Андерс и Пентти Канерва (2008) Перестановки как средство кодирования порядка в пространстве слов , В материалах 30-й ежегодной конференции Общества когнитивных наук: 1300–1305.
^ Бенджио, Йошуа; Режан, Дюшарм; Паскаль, Винсент (2000). «Нейронно-вероятностная языковая модель» (PDF) . НейриПС .
^ Бенджио, Йошуа ; Дюшарм, Режан; Винсент, Паскаль; Жовен, Кристиан (2003). «Нейронно-вероятностная языковая модель» (PDF) . Журнал исследований машинного обучения . 3 : 1137–1155.
^ Бенджио, Йошуа; Швенк, Хольгер; Сенекаль, Жан-Себастьен; Морен, Фредерик; Говен, Жан-Люк (2006). «Нейронно-вероятностная языковая модель». Исследования нечеткости и мягких вычислений . Том. 194. Спрингер. стр. 137–186. дои : 10.1007/3-540-33486-6_6 . ISBN 978-3-540-30609-2 .
^ Винкуров, Алексей; Кристианини, Нелло; Шоу-Тейлор, Джон (2002). Определение семантического представления текста с помощью межъязыкового корреляционного анализа (PDF) . Достижения в области нейронных систем обработки информации. Том. 15.
^ Лавелли, Альберто; Себастьяни, Фабрицио; Заноли, Роберто (2004). Представления терминов распределения: экспериментальное сравнение . 13-я Международная конференция ACM по управлению информацией и знаниями. стр. 615–624. дои : 10.1145/1031171.1031284 .
^ Роуэйс, Сэм Т.; Сол, Лоуренс К. (2000). «Нелинейное уменьшение размерности путем локально линейного встраивания». Наука . 290 (5500): 2323–6. Бибкод : 2000Sci...290.2323R . CiteSeerX 10.1.1.111.3313 . дои : 10.1126/science.290.5500.2323 . ПМИД 11125150 . S2CID 5987139 .
^ он: Джошуа Бенджио
^ Морен, Фредрик; Бенджио, Йошуа (2005). «Иерархическая вероятностная языковая модель нейронной сети» (PDF) . В Коуэлле, Роберт Г.; Гахрамани, Зубин (ред.). Материалы Десятого международного семинара по искусственному интеллекту и статистике . Труды исследований машинного обучения. Том. Р5. стр. 246–252.
^ Мних, Андрей; Хинтон, Джеффри (2009). «Масштабируемая иерархическая распределенная языковая модель» . Достижения в области нейронных систем обработки информации . 21 (НИПС 2008). Curran Associates, Inc.: 1081–1088.
^ "word2vec" . Архив кода Google . Проверено 23 июля 2021 г.
^ Райзингер, Джозеф; Муни, Рэймонд Дж. (2010). Мультипрототипные векторно-пространственные модели значения слова . Том. Технологии человеческого языка: Ежегодная конференция Североамериканского отделения Ассоциации компьютерной лингвистики 2010 г. Лос-Анджелес, Калифорния: Ассоциация компьютерной лингвистики. стр. 109–117. ISBN 978-1-932432-65-7 . Проверено 25 октября 2019 г.
^ Хуанг, Эрик. (2012). Улучшение представления слов с помощью глобального контекста и нескольких прототипов слов . OCLC 857900050 .
^ Камачо-Колладос, Хосе; Пилевар, Мохаммад Тахер (2018). «От слова к смысловому вложению: обзор векторных представлений значения». arXiv : 1805.04032 [ cs.CL ].
^ Нилакантан, Арвинд; Шанкар, Дживан; Пассос, Александр; МакКаллум, Эндрю (2014). «Эффективная непараметрическая оценка нескольких вложений одного слова в векторном пространстве». Материалы конференции 2014 года по эмпирическим методам обработки естественного языка (EMNLP) . Страудсбург, Пенсильвания, США: Ассоциация компьютерной лингвистики. стр. 1059–1069. arXiv : 1504.06654 . дои : 10.3115/v1/d14-1113 . S2CID 15251438 .
^ Руас, Терри; Гроски, Уильям; Айзава, Акико (01 декабря 2019 г.). «Многозначное встраивание посредством процесса устранения неоднозначности смысла слова». Экспертные системы с приложениями . 136 : 288–303. arXiv : 2101.08700 . дои : 10.1016/j.eswa.2019.06.026 . hdl : 2027.42/145475 . ISSN 0957-4174 . S2CID 52225306 .
^ Согласен, Геннадий; Петров, Даниил; Кескинова, Симона (01 марта 2019 г.). «Word Sense Disambiguation Studio: гибкая система для извлечения функций WSD» . Информация . 10 (3): 97. дои : 10.3390/info10030097 . ISSN 2078-2489 .
^ Jump up to: ^а ^б Акбик, Алан; Блайт, Дункан; Воллграф, Роланд (2018). «Контекстные встраивания строк для маркировки последовательностей» . Материалы 27-й Международной конференции по компьютерной лингвистике . Санта-Фе, Нью-Мексико, США: Ассоциация компьютерной лингвистики: 1638–1649.
^ Ли, Дживэй; Юрафски, Дэн (2015). «Улучшают ли многозначные встраивания понимание естественного языка?». Материалы конференции 2015 года по эмпирическим методам обработки естественного языка . Страудсбург, Пенсильвания, США: Ассоциация компьютерной лингвистики. стр. 1722–1732. arXiv : 1506.01070 . дои : 10.18653/v1/d15-1200 . S2CID 6222768 .
^ Девлин, Джейкоб; Чанг, Мин-Вэй; Ли, Кентон; Тутанова, Кристина (июнь 2019 г.). «Материалы Конференции Севера 2019» . Материалы конференции Североамериканского отделения Ассоциации компьютерной лингвистики 2019 года: технологии человеческого языка, том 1 (длинные и короткие статьи) . Ассоциация компьютерной лингвистики: 4171–4186. дои : 10.18653/v1/N19-1423 . S2CID 52967399 .
^ Люси, Ли и Дэвид Бэмман. «Охарактеризация вариаций английского языка в социальных сетях с помощью BERT». Труды Ассоциации компьютерной лингвистики 9 (2021): 538-556.
^ Рейф, Эмили, Энн Юань, Мартин Ваттенберг, Фернанда Б. Вьегас, Энди Коэнен, Адам Пирс и Бин Ким. «Визуализация и измерение геометрии BERT». Достижения в области нейронных систем обработки информации 32 (2019).
^ Jump up to: ^а ^б Асгари, Эхсанеддин; Мофрад, Мохаммад РК (2015). «Непрерывное распределенное представление биологических последовательностей для глубокой протеомики и геномики» . ПЛОС ОДИН . 10 (11): e0141287. arXiv : 1503.05140 . Бибкод : 2015PLoSO..1041287A . дои : 10.1371/journal.pone.0141287 . ПМК 4640716 . ПМИД 26555596 .
^ Jump up to: ^а ^б Рабии, Юнес; Кук, Майкл (04 октября 2021 г.). «Выявление динамики игры с помощью встраивания данных игрового процесса в слова» . Материалы конференции AAAI по искусственному интеллекту и интерактивным цифровым развлечениям . 17 (1): 187–194. дои : 10.1609/aiide.v17i1.18907 . ISSN 2334-0924 . S2CID 248175634 .
^ Кирос, Райан; Чжу, Юкунь; Салахутдинов Руслан; Земель, Ричард С.; Торральба, Антонио; Уртасун, Ракель; Фидлер, Саня (2015). «векторы пропуска мысли». arXiv : 1506.06726 [ cs.CL ].
^ Реймерс, Нильс и Ирина Гуревич. «Предложение-BERT: встраивание предложений с использованием сиамских сетей BERT». В материалах конференции 2019 года по эмпирическим методам обработки естественного языка и 9-й Международной совместной конференции по обработке естественного языка (EMNLP-IJCNLP), стр. 3982-3992. 2019.
^ «Перчатка» .
^ Чжао, Цзеюй; и др. (2018) (2018). «Изучение гендерно-нейтральных вложений слов». arXiv : 1809.01496 [ cs.CL ].
^ «Элмо» .
^ Пирес, Тельмо; Шлингер, Ева; Гарретт, Дэн (04 июня 2019 г.). «Насколько многоязычен многоязычный BERT?». arXiv : 1906.01502 [ cs.CL ].
^ «Генсим» .
^ «Индра» . Гитхаб . 25 октября 2018 г.
^ Гассеми, Мохаммед; Марк, Роджер; Немати, Шамим (2015). «Визуализация развития клинических настроений с использованием векторного представления клинических записей» (PDF) . 2015 Конференция «Компьютерные технологии в кардиологии» (CinC) . Том. 2015. С. 629–632. дои : 10.1109/CIC.2015.7410989 . ISBN 978-1-5090-0685-4 . ПМК 5070922 . ПМИД 27774487 . {{cite book}}: |journal= игнорируется ( помогите )
^ «Встроенный просмотрщик» . Встроенная программа просмотра . Лексические вычисления. Архивировано из оригинала 8 февраля 2018 года . Проверено 7 февраля 2018 г.
^ Болукбаши, Толга; Чанг, Кай-Вэй; Цзоу, Джеймс; Салиграма, Венкатеш; Калай, Адам (2016). «Мужчина для программиста, как женщина для домохозяйки? Устранение искажений встраивания слов». arXiv : 1607.06520 [ cs.CL ].
^ Болукбаши, Толга; Чанг, Кай-Вэй; Цзоу, Джеймс; Салиграма, Венкатеш; Калаи, Адам (21 июля 2016 г.). «Мужчина для программиста, как женщина для домохозяйки? Устранение предвзятости встраивания слов». arXiv : 1607.06520 [ cs.CL ].
^ Диенг, Аджи Б.; Руис, Франсиско-младший; Блей, Дэвид М. (2020). «Тематическое моделирование в пространствах внедрения» . Труды Ассоциации компьютерной лингвистики . 8 : 439–453. arXiv : 1907.04907 . дои : 10.1162/tacl_a_00325 .
^ Чжао, Цзеюй; Ван, Тяньлу; Яцкар, Марк; Ордонес, Висенте; Чанг, Кай-Вэй (2017). «Мужчинам тоже нравится ходить по магазинам: уменьшение усиления гендерных предубеждений с помощью ограничений на уровне корпуса» . Материалы конференции 2017 года по эмпирическим методам обработки естественного языка . стр. 2979–2989. дои : 10.18653/v1/D17-1323 .
^ Петрески, Давор; Хашим, Ибрагим К. (26 мая 2022 г.). «Встраивание слов предвзято. Но чью предвзятость они отражают?» . ИИ и общество . 38 (2): 975–982. дои : 10.1007/s00146-022-01443-w . ISSN 1435-5655 . S2CID 249112516 .

[1] Юрафский, Дэниел; Х. Джеймс, Мартин (2000). Обработка речи и языка: введение в обработку естественного языка, компьютерную лингвистику и распознавание речи . Река Аппер-Седл, Нью-Джерси: Прентис-Холл. ISBN 978-0-13-095069-7 .

[2] Миколов, Томас; Суцкевер, Илья; Чен, Кай; Коррадо, Грег; Дин, Джеффри (2013). «Распределенные представления слов и фраз и их композиционность». arXiv : 1310.4546 [ cs.CL ].

[3] Лебре, Реми; Коллоберт, Ронан (2013). «Word Emdeddings через Hellinger PCA». Конференция Европейского отделения Ассоциации компьютерной лингвистики (EACL) . Том. 2014. arXiv : 1312.5542 .

[4] Леви, Омер; Гольдберг, Йоав (2014). Встраивание нейронных слов как неявная матричная факторизация (PDF) . НИПС.

[5] Ли, Итан; Сюй, Линьли (2015). Еще раз о встраивании слов: новое обучение представлениям и перспектива явной матричной факторизации (PDF) . Международная J. Конф. по искусственному интеллекту (IJCAI).

[6] Глоберсон, Амир (2007). «Евклидово встраивание данных о совместном возникновении» (PDF) . Журнал исследований машинного обучения .

[7] Куреши, М. Атиф; Грин, Дерек (4 июня 2018 г.). «ЕВА: объяснимая техника векторного встраивания с использованием Википедии». Журнал интеллектуальных информационных систем . 53 : 137–165. arXiv : 1702.06891 . дои : 10.1007/s10844-018-0511-x . ISSN 0925-9902 . S2CID 10656055 .

[8] Леви, Омер; Гольдберг, Йоав (2014). Лингвистические закономерности в редких и явных представлениях слов (PDF) . КонНЛЛ. стр. 171–180.

[9] Сошер, Ричард; Бауэр, Джон; Мэннинг, Кристофер; Нг, Эндрю (2013). Анализ с помощью композиционных векторных грамматик (PDF) . Учеб. Конференция ACL. Архивировано из оригинала (PDF) 11 августа 2016 г. Проверено 14 августа 2014 г.

[10] Сошер, Ричард; Перелыгин, Алексей; Ву, Джин; Чуанг, Джейсон; Мэннинг, Крис; Нг, Эндрю; Поттс, Крис (2013). Рекурсивные глубокие модели семантической композиционности в древовидном банке настроений (PDF) . ЭМНЛП.

[11] Салгрен, Магнус. «Краткая история вложений слов» .

[12] Ферт, младший (1957). «Краткий обзор лингвистической теории 1930–1955». Исследования по лингвистическому анализу : 1–32. Перепечатано в Ф. Р. Палмер, изд. (1968). Избранные статьи Дж. Р. Ферта 1952–1959 гг . Лондон: Лонгман.

[13] Лун, HP (1953). «Новый метод записи и поиска информации». Американская документация . 4 : 14–16. дои : 10.1002/asi.5090040104 .

[14] Осгуд, CE; Сучи, Дж.Дж.; Танненбаум, PH (1957). Измерение смысла . Издательство Университета Иллинойса.

[Salton_original-15] Солтон, Джерард (1962). «Некоторые эксперименты по созданию ассоциаций слов и документов». Материалы осенней совместной компьютерной конференции AFIPS '62, состоявшейся 4–6 декабря 1962 г. (осень) . стр. 234–250. дои : 10.1145/1461518.1461544 . ISBN 9781450378796 . S2CID 9937095 .

[SaltonEA_CACM-16] Солтон, Джерард; Вонг, А; Ян, CS (1975). «Векторная пространственная модель для автоматического индексирования». Коммуникации АКМ . 18 (11): 613–620. дои : 10.1145/361219.361220 . hdl : 1813/6057 . S2CID 6473756 .

[17] Дубин, Дэвид (2004). «Самая влиятельная статья Джерарда Солтона никогда не писалась» . Архивировано из оригинала 18 октября 2020 года . Проверено 18 октября 2020 г.

[18] Канерва, Пентти, Кристоферсон, Ян и Холст, Андерс (2000): Случайное индексирование образцов текста для скрытого семантического анализа , Труды 22-й ежегодной конференции Общества когнитивных наук, стр. 1036. Махва, Нью-Джерси: Эрлбаум, 2000.

[19] Карлгрен, Юсси; Салгрен, Магнус (2001). Уэсака, Ёсинори; Канерва, Пентти; Асо, Хидеки (ред.). «От слов к пониманию». Основы реального интеллекта . Публикации CSLI: 294–308.

[20] Салгрен, Магнус (2005) Введение в случайное индексирование , Материалы семинара по методам и применениям семантического индексирования на 7-й Международной конференции по терминологии и инженерии знаний, TKE 2005, 16 августа, Копенгаген, Дания

[21] Салгрен, Магнус, Холст, Андерс и Пентти Канерва (2008) Перестановки как средство кодирования порядка в пространстве слов , В материалах 30-й ежегодной конференции Общества когнитивных наук: 1300–1305.

[22] Бенджио, Йошуа; Режан, Дюшарм; Паскаль, Винсент (2000). «Нейронно-вероятностная языковая модель» (PDF) . НейриПС .

[23] Бенджио, Йошуа ; Дюшарм, Режан; Винсент, Паскаль; Жовен, Кристиан (2003). «Нейронно-вероятностная языковая модель» (PDF) . Журнал исследований машинного обучения . 3 : 1137–1155.

[24] Бенджио, Йошуа; Швенк, Хольгер; Сенекаль, Жан-Себастьен; Морен, Фредерик; Говен, Жан-Люк (2006). «Нейронно-вероятностная языковая модель». Исследования нечеткости и мягких вычислений . Том. 194. Спрингер. стр. 137–186. дои : 10.1007/3-540-33486-6_6 . ISBN 978-3-540-30609-2 .

[25] Винкуров, Алексей; Кристианини, Нелло; Шоу-Тейлор, Джон (2002). Определение семантического представления текста с помощью межъязыкового корреляционного анализа (PDF) . Достижения в области нейронных систем обработки информации. Том. 15.

[26] Лавелли, Альберто; Себастьяни, Фабрицио; Заноли, Роберто (2004). Представления терминов распределения: экспериментальное сравнение . 13-я Международная конференция ACM по управлению информацией и знаниями. стр. 615–624. дои : 10.1145/1031171.1031284 .

[27] Роуэйс, Сэм Т.; Сол, Лоуренс К. (2000). «Нелинейное уменьшение размерности путем локально линейного встраивания». Наука . 290 (5500): 2323–6. Бибкод : 2000Sci...290.2323R . CiteSeerX 10.1.1.111.3313 . дои : 10.1126/science.290.5500.2323 . ПМИД 11125150 . S2CID 5987139 .

[28] он: Джошуа Бенджио

[29] Морен, Фредрик; Бенджио, Йошуа (2005). «Иерархическая вероятностная языковая модель нейронной сети» (PDF) . В Коуэлле, Роберт Г.; Гахрамани, Зубин (ред.). Материалы Десятого международного семинара по искусственному интеллекту и статистике . Труды исследований машинного обучения. Том. Р5. стр. 246–252.

[30] Мних, Андрей; Хинтон, Джеффри (2009). «Масштабируемая иерархическая распределенная языковая модель» . Достижения в области нейронных систем обработки информации . 21 (НИПС 2008). Curran Associates, Inc.: 1081–1088.

[31] "word2vec" . Архив кода Google . Проверено 23 июля 2021 г.

[32] Райзингер, Джозеф; Муни, Рэймонд Дж. (2010). Мультипрототипные векторно-пространственные модели значения слова . Том. Технологии человеческого языка: Ежегодная конференция Североамериканского отделения Ассоциации компьютерной лингвистики 2010 г. Лос-Анджелес, Калифорния: Ассоциация компьютерной лингвистики. стр. 109–117. ISBN 978-1-932432-65-7 . Проверено 25 октября 2019 г.

[33] Хуанг, Эрик. (2012). Улучшение представления слов с помощью глобального контекста и нескольких прототипов слов . OCLC 857900050 .

[34] Камачо-Колладос, Хосе; Пилевар, Мохаммад Тахер (2018). «От слова к смысловому вложению: обзор векторных представлений значения». arXiv : 1805.04032 [ cs.CL ].

[35] Нилакантан, Арвинд; Шанкар, Дживан; Пассос, Александр; МакКаллум, Эндрю (2014). «Эффективная непараметрическая оценка нескольких вложений одного слова в векторном пространстве». Материалы конференции 2014 года по эмпирическим методам обработки естественного языка (EMNLP) . Страудсбург, Пенсильвания, США: Ассоциация компьютерной лингвистики. стр. 1059–1069. arXiv : 1504.06654 . дои : 10.3115/v1/d14-1113 . S2CID 15251438 .

[36] Руас, Терри; Гроски, Уильям; Айзава, Акико (01 декабря 2019 г.). «Многозначное встраивание посредством процесса устранения неоднозначности смысла слова». Экспертные системы с приложениями . 136 : 288–303. arXiv : 2101.08700 . дои : 10.1016/j.eswa.2019.06.026 . hdl : 2027.42/145475 . ISSN 0957-4174 . S2CID 52225306 .

[37] Согласен, Геннадий; Петров, Даниил; Кескинова, Симона (01 марта 2019 г.). «Word Sense Disambiguation Studio: гибкая система для извлечения функций WSD» . Информация . 10 (3): 97. дои : 10.3390/info10030097 . ISSN 2078-2489 .

[:1-38] Jump up to: ^а ^б Акбик, Алан; Блайт, Дункан; Воллграф, Роланд (2018). «Контекстные встраивания строк для маркировки последовательностей» . Материалы 27-й Международной конференции по компьютерной лингвистике . Санта-Фе, Нью-Мексико, США: Ассоциация компьютерной лингвистики: 1638–1649.

[39] Ли, Дживэй; Юрафски, Дэн (2015). «Улучшают ли многозначные встраивания понимание естественного языка?». Материалы конференции 2015 года по эмпирическим методам обработки естественного языка . Страудсбург, Пенсильвания, США: Ассоциация компьютерной лингвистики. стр. 1722–1732. arXiv : 1506.01070 . дои : 10.18653/v1/d15-1200 . S2CID 6222768 .

[40] Девлин, Джейкоб; Чанг, Мин-Вэй; Ли, Кентон; Тутанова, Кристина (июнь 2019 г.). «Материалы Конференции Севера 2019» . Материалы конференции Североамериканского отделения Ассоциации компьютерной лингвистики 2019 года: технологии человеческого языка, том 1 (длинные и короткие статьи) . Ассоциация компьютерной лингвистики: 4171–4186. дои : 10.18653/v1/N19-1423 . S2CID 52967399 .

[41] Люси, Ли и Дэвид Бэмман. «Охарактеризация вариаций английского языка в социальных сетях с помощью BERT». Труды Ассоциации компьютерной лингвистики 9 (2021): 538-556.

[42] Рейф, Эмили, Энн Юань, Мартин Ваттенберг, Фернанда Б. Вьегас, Энди Коэнен, Адам Пирс и Бин Ким. «Визуализация и измерение геометрии BERT». Достижения в области нейронных систем обработки информации 32 (2019).

[:0-43] Jump up to: ^а ^б Асгари, Эхсанеддин; Мофрад, Мохаммад РК (2015). «Непрерывное распределенное представление биологических последовательностей для глубокой протеомики и геномики» . ПЛОС ОДИН . 10 (11): e0141287. arXiv : 1503.05140 . Бибкод : 2015PLoSO..1041287A . дои : 10.1371/journal.pone.0141287 . ПМК 4640716 . ПМИД 26555596 .

[:2-44] Jump up to: ^а ^б Рабии, Юнес; Кук, Майкл (04 октября 2021 г.). «Выявление динамики игры с помощью встраивания данных игрового процесса в слова» . Материалы конференции AAAI по искусственному интеллекту и интерактивным цифровым развлечениям . 17 (1): 187–194. дои : 10.1609/aiide.v17i1.18907 . ISSN 2334-0924 . S2CID 248175634 .

[45] Кирос, Райан; Чжу, Юкунь; Салахутдинов Руслан; Земель, Ричард С.; Торральба, Антонио; Уртасун, Ракель; Фидлер, Саня (2015). «векторы пропуска мысли». arXiv : 1506.06726 [ cs.CL ].

[46] Реймерс, Нильс и Ирина Гуревич. «Предложение-BERT: встраивание предложений с использованием сиамских сетей BERT». В материалах конференции 2019 года по эмпирическим методам обработки естественного языка и 9-й Международной совместной конференции по обработке естественного языка (EMNLP-IJCNLP), стр. 3982-3992. 2019.

[47] «Перчатка» .

[gn-glove-48] Чжао, Цзеюй; и др. (2018) (2018). «Изучение гендерно-нейтральных вложений слов». arXiv : 1809.01496 [ cs.CL ].

[49] «Элмо» .

[50] Пирес, Тельмо; Шлингер, Ева; Гарретт, Дэн (04 июня 2019 г.). «Насколько многоязычен многоязычный BERT?». arXiv : 1906.01502 [ cs.CL ].

[51] «Генсим» .

[52] «Индра» . Гитхаб . 25 октября 2018 г.

[53] Гассеми, Мохаммед; Марк, Роджер; Немати, Шамим (2015). «Визуализация развития клинических настроений с использованием векторного представления клинических записей» (PDF) . 2015 Конференция «Компьютерные технологии в кардиологии» (CinC) . Том. 2015. С. 629–632. дои : 10.1109/CIC.2015.7410989 . ISBN 978-1-5090-0685-4 . ПМК 5070922 . ПМИД 27774487 . {{cite book}}: |journal= игнорируется ( помогите )

[54] «Встроенный просмотрщик» . Встроенная программа просмотра . Лексические вычисления. Архивировано из оригинала 8 февраля 2018 года . Проверено 7 февраля 2018 г.

[55] Болукбаши, Толга; Чанг, Кай-Вэй; Цзоу, Джеймс; Салиграма, Венкатеш; Калай, Адам (2016). «Мужчина для программиста, как женщина для домохозяйки? Устранение искажений встраивания слов». arXiv : 1607.06520 [ cs.CL ].

[56] Болукбаши, Толга; Чанг, Кай-Вэй; Цзоу, Джеймс; Салиграма, Венкатеш; Калаи, Адам (21 июля 2016 г.). «Мужчина для программиста, как женщина для домохозяйки? Устранение предвзятости встраивания слов». arXiv : 1607.06520 [ cs.CL ].

[57] Диенг, Аджи Б.; Руис, Франсиско-младший; Блей, Дэвид М. (2020). «Тематическое моделирование в пространствах внедрения» . Труды Ассоциации компьютерной лингвистики . 8 : 439–453. arXiv : 1907.04907 . дои : 10.1162/tacl_a_00325 .

[58] Чжао, Цзеюй; Ван, Тяньлу; Яцкар, Марк; Ордонес, Висенте; Чанг, Кай-Вэй (2017). «Мужчинам тоже нравится ходить по магазинам: уменьшение усиления гендерных предубеждений с помощью ограничений на уровне корпуса» . Материалы конференции 2017 года по эмпирическим методам обработки естественного языка . стр. 2979–2989. дои : 10.18653/v1/D17-1323 .

[59] Петрески, Давор; Хашим, Ибрагим К. (26 мая 2022 г.). «Встраивание слов предвзято. Но чью предвзятость они отражают?» . ИИ и общество . 38 (2): 975–982. дои : 10.1007/s00146-022-01443-w . ISSN 1435-5655 . S2CID 249112516 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

[ 24 ]

[ 25 ]

[ 26 ]

[ 27 ]

[ 28 ]

[ 29 ]

[ 30 ]

[ 31 ]

[ 32 ]

[ 33 ]

[ 34 ]

[ 35 ]

[ 36 ]

[ 37 ]

[ 38 ]

[ 39 ]

[ 40 ]

[ 41 ]

[ 42 ]

[ 43 ]

[ 44 ]

[ 45 ]

[ 46 ]

[ 47 ]

[ 48 ]

[ 49 ]

[ 50 ]

[ 51 ]

[ 52 ]

[ 53 ]

[ 54 ]

[ 55 ]

[ 56 ]

[ 57 ]

[ 58 ]

[ 59 ]