✖


Jump to content

Встраивание слов

(Перенаправлено из векторов Word )
Часть серии о
Машинное обучение
и интеллектуальный анализ данных
Парадигмы
Проблемы
Кластеризация
Уменьшение размерности
Структурированное предсказание
Обнаружение аномалий
Искусственная нейронная сеть
Обучение с подкреплением
Обучение с людьми
Диагностика модели
Математические основы
Журналы и конференции
Похожие статьи

В обработке естественного языка (NLP) встраивание слова — это представление слова. Встраивание используется при анализе текста. Обычно представление представляет собой вектор с действительным знаком , который кодирует значение слова таким образом, что ожидается, что слова, находящиеся ближе в векторном пространстве, будут схожи по значению. [1] Встраивание слов можно получить с помощью языкового моделирования и методов обучения функциям , при которых слова или фразы из словаря сопоставляются с векторами действительных чисел .

Методы создания этого отображения включают нейронные сети , [2] уменьшение размерности слов матрицы совпадения , [3] [4] [5] вероятностные модели, [6] объяснимый метод базы знаний, [7] и явное представление с точки зрения контекста, в котором появляются слова. [8]

Было показано, что встраивание слов и фраз при использовании в качестве основного представления входных данных повышает производительность в задачах НЛП, таких как синтаксический анализ. [9] и анализ настроений . [10]

Развитие и история подхода

[ редактировать ]

В дистрибутивной семантике количественный методологический подход к пониманию значения наблюдаемого языка, встраивания слов или моделей семантического пространства признаков . в качестве представления знаний в течение некоторого времени использовался [11] Такие модели направлены на количественную оценку и классификацию семантических сходств между лингвистическими элементами на основе их свойств распределения в больших выборках языковых данных. Основная идея о том, что «слово характеризуется обществом, которое оно содержит», была предложена в статье 1957 года Джоном Рупертом Фертом : [12] но также имеет корни в современной работе над поисковыми системами. [13] и в когнитивной психологии. [14]

Понятие семантического пространства с лексическими элементами (словами или терминами из нескольких слов), представленными в виде векторов или вложений, основано на вычислительных задачах, связанных с фиксацией характеристик распределения и их использованием для практического применения для измерения сходства между словами, фразами или целыми документами. Первым поколением моделей семантического пространства является модель векторного пространства для поиска информации. [15] [16] [17] Такие модели векторного пространства для слов и данных их распределения, реализованные в простейшей форме, приводят к очень разреженному векторному пространству высокой размерности (см. «Проклятие размерности» ). Уменьшение количества измерений с использованием линейных алгебраических методов, таких как разложение по сингулярным значениям , затем привело к введению скрытого семантического анализа в конце 1980-х годов и подхода случайной индексации для сбора контекстов совместного появления слов. [18] [19] [20] [21] В 2000 году Бенджио и др. представленные в серии статей под названием «Нейро-вероятностные модели языка», чтобы уменьшить высокую размерность представлений слов в контекстах путем «изучения распределенного представления слов». [22] [23] [24]

В исследовании, опубликованном в журнале NeurIPS (NIPS) 2002, было представлено использование встраивания слов и документов с применением метода ядра CCA к двуязычным (и многоязычным) корпусам, что также представляет собой ранний пример самостоятельного изучения встраивания слов. [25]

Встраивание слов бывает двух разных стилей: в одном слова выражаются как векторы одновременно встречающихся слов, а в другом слова выражаются как векторы лингвистических контекстов, в которых эти слова встречаются; эти разные стили изучаются в работе Lavelli et al., 2004. [26] Роуэйс и Сол опубликовали в журнале Science, как использовать « локальное линейное встраивание » (LLE) для обнаружения представлений многомерных структур данных. [27] Большинство новых методов встраивания слов примерно после 2005 года основаны на архитектуре нейронной сети вместо более вероятностных и алгебраических моделей, после фундаментальной работы, проделанной Йошуа Бенджио. [28] [ циклическая ссылка ] и коллеги. [29] [30]

Этот подход был принят многими исследовательскими группами после того, как в 2010 году были достигнуты теоретические достижения в отношении качества векторов и скорости обучения модели, а также после того, как достижения в области аппаратного обеспечения позволили с пользой изучить более широкое пространство параметров. В 2013 году команда Google под руководством Томаса Миколова создала word2vec — набор инструментов для встраивания слов, который может обучать модели векторного пространства быстрее, чем предыдущие подходы. Подход word2vec широко использовался в экспериментах и ​​сыграл важную роль в повышении интереса к встраиванию слов как технологии, выведя направление исследований из специализированных исследований в более широкое экспериментирование и, в конечном итоге, проложив путь для практического применения. [31]

Полисемия и омонимия

[ редактировать ]

Исторически сложилось так, что одним из основных ограничений статических вложений слов или моделей векторного пространства слов является то, что слова с несколькими значениями объединяются в одно представление (один вектор в семантическом пространстве). Другими словами, полисемия и омонимия не обрабатываются должным образом. Например, в предложении «Клуб, который я пробовал вчера, был великолепен!» Неясно, связан ли термин « клуб » со значением слова «клубный сэндвич» , «клуб» , «клюшка для гольфа » или с любым другим значением, которое клуб может иметь . Необходимость размещения нескольких значений одного слова в разных векторах (многосмысловые вложения) является мотивацией для нескольких вкладов в НЛП в разделение односмысловых вложений на многосмысловые. [32] [33]

Большинство подходов, которые создают многосмысловые встраивания, можно разделить на две основные категории по смысловому представлению слов: неконтролируемые и основанные на знаниях. [34] На основе пропуска-граммы word2vec , Multi-Sense Skip-Gram (MSSG). [35] одновременно выполняет распознавание смысла слова и встраивание, сокращая время обучения, предполагая при этом определенное количество смыслов для каждого слова. В непараметрической многозначной пропускной грамме (NP-MSSG) это число может варьироваться в зависимости от каждого слова. Сочетание предварительных знаний лексических баз данных (например, WordNet , ConceptNet , BabelNet ), встраивания слов и устранения неоднозначности смысла слов , наиболее подходящей смысловой аннотации (MSSA) [36] маркирует смыслы слов с помощью неконтролируемого подхода, основанного на знаниях, учитывая контекст слова в заранее определенном скользящем окне. Как только слова устранены, их можно использовать в стандартной технике встраивания слов, таким образом создаются многозначные встраивания. Архитектура MSSA позволяет периодически выполнять процесс устранения неоднозначности и аннотирования в режиме самоусовершенствования. [37]

Известно, что использование многозначных вложений повышает производительность при решении некоторых задач НЛП, таких как маркировка частей речи , идентификация семантических отношений, семантическая связанность , распознавание именованных объектов и анализ настроений. [38] [39]

контекстуально значимые встраивания, такие как ELMo и BERT . По состоянию на конец 2010-х годов были разработаны [40] В отличие от статических внедрений слов, эти внедрения выполняются на уровне токена, поскольку каждое вхождение слова имеет свое собственное внедрение. Эти вложения лучше отражают многозначную природу слов, поскольку вхождения слова в схожих контекстах расположены в аналогичных областях пространства встраивания BERT. [41] [42]

Для биологических последовательностей: BioVectors

[ редактировать ]

Вложения слов для n- грамм в биологические последовательности (например, ДНК, РНК и белки) для приложений биоинформатики были предложены Асгари и Мофрадом. [43] Названные биовекторами (BioVec) для обозначения биологических последовательностей в целом, белковыми векторами (ProtVec) для белков (аминокислотные последовательности) и генными векторами (GeneVec) для генных последовательностей, это представление может широко использоваться в приложениях глубокого анализа. обучение протеомике и геномике . Результаты, представленные Асгари и Мофрадом [43] предполагают, что BioVectors могут характеризовать биологические последовательности с точки зрения биохимических и биофизических интерпретаций лежащих в их основе закономерностей.

Игровой дизайн

[ редактировать ]

Встраивание слов с приложениями в игровом дизайне было предложено Рабии и Куком. [44] как способ обнаружить возникающий игровой процесс, используя журналы данных игрового процесса. Этот процесс требует расшифровки действий, происходящих во время игры, на формальном языке , а затем использования полученного текста для создания вложений слов. Результаты, представленные Рабии и Куком [44] предполагают, что полученные векторы могут отражать экспертные знания об играх, таких как шахматы , которые явно не указаны в правилах игры.

Вложения предложений

[ редактировать ]
Основная статья: Встраивание предложений

Идея была расширена до встраивания целых предложений или даже документов, например, в форме концепции векторов мысли . В 2015 году некоторые исследователи предложили «пропустить векторы мысли» как средство улучшения качества машинного перевода . [45] Более свежий и популярный подход для представления предложений — это Sentence-BERT или SentenceTransformers, который модифицирует предварительно обученный BERT с использованием сиамских и триплетных сетевых структур. [46]

Программное обеспечение

[ редактировать ]

Программное обеспечение для обучения и использования встраивания слов включает в себя Томаша Миколова , Word2vec Стэнфордского университета GloVe , [47] GN-перчатка, [48] Чутье вложения, [38] из AllenNLP ELMo , [49] БЕРТ , [50] фасттекст , Генсим , [51] Индра, [52] и Deeplearning4j . Анализ главных компонентов (PCA) и T-распределенное стохастическое встраивание соседей (t-SNE) используются для уменьшения размерности пространств векторов слов и визуализации встраивания слов и кластеров . [53]

Примеры применения

[ редактировать ]

Например, fastText также используется для расчета встраивания слов в корпуса текстов в Sketch Engine, которые доступны в Интернете. [54]

Этические последствия

[ редактировать ]

Встраивание слов может содержать предубеждения и стереотипы, содержащиеся в обученном наборе данных, как утверждают Bolukbasi et al. отмечает в статье 2016 года «Мужчина для программиста, как женщина для домохозяйки?» Debiasing Word Embeddings», что общедоступное (и популярное) встраивание word2vec, обученное на текстах Google News (обычно используемый корпус данных), который состоит из текста, написанного профессиональными журналистами, по-прежнему показывает непропорциональные словесные ассоциации, отражающие гендерные и расовые предубеждения при извлечении словесных аналогий. . [55] Например, одна из аналогий, полученных с использованием вышеупомянутого встраивания слов, звучит так: «мужчина для программиста, как женщина для домохозяйки». [56] [57]

Исследование, проведенное Jieyu Zhou et al. показывает, что применение этих обученных вложений слов без тщательного контроля, вероятно, увековечивает существующую предвзятость в обществе, которая привносится через неизмененные данные обучения. Более того, встраивание слов может даже усилить эти предубеждения. [58] [59]

См. также

[ редактировать ]

Ссылки

[ редактировать ]
  1. ^ Юрафский, Дэниел; Х. Джеймс, Мартин (2000). Обработка речи и языка: введение в обработку естественного языка, компьютерную лингвистику и распознавание речи . Река Аппер-Седл, Нью-Джерси: Прентис-Холл. ISBN  978-0-13-095069-7 .
  2. ^ Миколов, Томас; Суцкевер, Илья; Чен, Кай; Коррадо, Грег; Дин, Джеффри (2013). «Распределенные представления слов и фраз и их композиционность». arXiv : 1310.4546 [ cs.CL ].
  3. ^ Лебре, Реми; Коллоберт, Ронан (2013). «Word Emdeddings через Hellinger PCA». Конференция Европейского отделения Ассоциации компьютерной лингвистики (EACL) . Том. 2014. arXiv : 1312.5542 .
  4. ^ Леви, Омер; Гольдберг, Йоав (2014). Встраивание нейронных слов как неявная матричная факторизация (PDF) . НИПС.
  5. ^ Ли, Итан; Сюй, Линьли (2015). Еще раз о встраивании слов: новое обучение представлениям и перспектива явной матричной факторизации (PDF) . Международная J. Конф. по искусственному интеллекту (IJCAI).
  6. ^ Глоберсон, Амир (2007). «Евклидово встраивание данных о совместном возникновении» (PDF) . Журнал исследований машинного обучения .
  7. ^ Куреши, М. Атиф; Грин, Дерек (4 июня 2018 г.). «ЕВА: объяснимая техника векторного встраивания с использованием Википедии». Журнал интеллектуальных информационных систем . 53 : 137–165. arXiv : 1702.06891 . дои : 10.1007/s10844-018-0511-x . ISSN   0925-9902 . S2CID   10656055 .
  8. ^ Леви, Омер; Гольдберг, Йоав (2014). Лингвистические закономерности в редких и явных представлениях слов (PDF) . КонНЛЛ. стр. 171–180.
  9. ^ Сошер, Ричард; Бауэр, Джон; Мэннинг, Кристофер; Нг, Эндрю (2013). Анализ с помощью композиционных векторных грамматик (PDF) . Учеб. Конференция ACL. Архивировано из оригинала (PDF) 11 августа 2016 г. Проверено 14 августа 2014 г.
  10. ^ Сошер, Ричард; Перелыгин, Алексей; Ву, Джин; Чуанг, Джейсон; Мэннинг, Крис; Нг, Эндрю; Поттс, Крис (2013). Рекурсивные глубокие модели семантической композиционности в древовидном банке настроений (PDF) . ЭМНЛП.
  11. ^ Салгрен, Магнус. «Краткая история вложений слов» .
  12. ^ Ферт, младший (1957). «Краткий обзор лингвистической теории 1930–1955». Исследования по лингвистическому анализу : 1–32. Перепечатано в Ф. Р. Палмер, изд. (1968). Избранные статьи Дж. Р. Ферта 1952–1959 гг . Лондон: Лонгман.
  13. ^ Лун, HP (1953). «Новый метод записи и поиска информации». Американская документация . 4 : 14–16. дои : 10.1002/asi.5090040104 .
  14. ^ Осгуд, CE; Сучи, Дж.Дж.; Танненбаум, PH (1957). Измерение смысла . Издательство Университета Иллинойса.
  15. ^ Солтон, Джерард (1962). «Некоторые эксперименты по созданию ассоциаций слов и документов». Материалы осенней совместной компьютерной конференции AFIPS '62, состоявшейся 4–6 декабря 1962 г. (осень) . стр. 234–250. дои : 10.1145/1461518.1461544 . ISBN  9781450378796 . S2CID   9937095 .
  16. ^ Солтон, Джерард; Вонг, А; Ян, CS (1975). «Векторная пространственная модель для автоматического индексирования». Коммуникации АКМ . 18 (11): 613–620. дои : 10.1145/361219.361220 . hdl : 1813/6057 . S2CID   6473756 .
  17. ^ Дубин, Дэвид (2004). «Самая влиятельная статья Джерарда Солтона никогда не писалась» . Архивировано из оригинала 18 октября 2020 года . Проверено 18 октября 2020 г.
  18. ^ Канерва, Пентти, Кристоферсон, Ян и Холст, Андерс (2000): Случайное индексирование образцов текста для скрытого семантического анализа , Труды 22-й ежегодной конференции Общества когнитивных наук, стр. 1036. Махва, Нью-Джерси: Эрлбаум, 2000.
  19. ^ Карлгрен, Юсси; Салгрен, Магнус (2001). Уэсака, Ёсинори; Канерва, Пентти; Асо, Хидеки (ред.). «От слов к пониманию». Основы реального интеллекта . Публикации CSLI: 294–308.
  20. ^ Салгрен, Магнус (2005) Введение в случайное индексирование , Материалы семинара по методам и применениям семантического индексирования на 7-й Международной конференции по терминологии и инженерии знаний, TKE 2005, 16 августа, Копенгаген, Дания
  21. ^ Салгрен, Магнус, Холст, Андерс и Пентти Канерва (2008) Перестановки как средство кодирования порядка в пространстве слов , В материалах 30-й ежегодной конференции Общества когнитивных наук: 1300–1305.
  22. ^ Бенджио, Йошуа; Режан, Дюшарм; Паскаль, Винсент (2000). «Нейронно-вероятностная языковая модель» (PDF) . НейриПС .
  23. ^ Бенджио, Йошуа ; Дюшарм, Режан; Винсент, Паскаль; Жовен, Кристиан (2003). «Нейронно-вероятностная языковая модель» (PDF) . Журнал исследований машинного обучения . 3 : 1137–1155.
  24. ^ Бенджио, Йошуа; Швенк, Хольгер; Сенекаль, Жан-Себастьен; Морен, Фредерик; Говен, Жан-Люк (2006). «Нейронно-вероятностная языковая модель». Исследования нечеткости и мягких вычислений . Том. 194. Спрингер. стр. 137–186. дои : 10.1007/3-540-33486-6_6 . ISBN  978-3-540-30609-2 .
  25. ^ Винкуров, Алексей; Кристианини, Нелло; Шоу-Тейлор, Джон (2002). Определение семантического представления текста с помощью межъязыкового корреляционного анализа (PDF) . Достижения в области нейронных систем обработки информации. Том. 15.
  26. ^ Лавелли, Альберто; Себастьяни, Фабрицио; Заноли, Роберто (2004). Представления терминов распределения: экспериментальное сравнение . 13-я Международная конференция ACM по управлению информацией и знаниями. стр. 615–624. дои : 10.1145/1031171.1031284 .
  27. ^ Роуэйс, Сэм Т.; Сол, Лоуренс К. (2000). «Нелинейное уменьшение размерности путем локально линейного встраивания». Наука . 290 (5500): 2323–6. Бибкод : 2000Sci...290.2323R . CiteSeerX   10.1.1.111.3313 . дои : 10.1126/science.290.5500.2323 . ПМИД   11125150 . S2CID   5987139 .
  28. ^ он: Джошуа Бенджио
  29. ^ Морен, Фредрик; Бенджио, Йошуа (2005). «Иерархическая вероятностная языковая модель нейронной сети» (PDF) . В Коуэлле, Роберт Г.; Гахрамани, Зубин (ред.). Материалы Десятого международного семинара по искусственному интеллекту и статистике . Труды исследований машинного обучения. Том. Р5. стр. 246–252.
  30. ^ Мних, Андрей; Хинтон, Джеффри (2009). «Масштабируемая иерархическая распределенная языковая модель» . Достижения в области нейронных систем обработки информации . 21 (НИПС 2008). Curran Associates, Inc.: 1081–1088.
  31. ^ "word2vec" . Архив кода Google . Проверено 23 июля 2021 г.
  32. ^ Райзингер, Джозеф; Муни, Рэймонд Дж. (2010). Мультипрототипные векторно-пространственные модели значения слова . Том. Технологии человеческого языка: Ежегодная конференция Североамериканского отделения Ассоциации компьютерной лингвистики 2010 г. Лос-Анджелес, Калифорния: Ассоциация компьютерной лингвистики. стр. 109–117. ISBN  978-1-932432-65-7 . Проверено 25 октября 2019 г.
  33. ^ Хуанг, Эрик. (2012). Улучшение представления слов с помощью глобального контекста и нескольких прототипов слов . OCLC   857900050 .
  34. ^ Камачо-Колладос, Хосе; Пилевар, Мохаммад Тахер (2018). «От слова к смысловому вложению: обзор векторных представлений значения». arXiv : 1805.04032 [ cs.CL ].
  35. ^ Нилакантан, Арвинд; Шанкар, Дживан; Пассос, Александр; МакКаллум, Эндрю (2014). «Эффективная непараметрическая оценка нескольких вложений одного слова в векторном пространстве». Материалы конференции 2014 года по эмпирическим методам обработки естественного языка (EMNLP) . Страудсбург, Пенсильвания, США: Ассоциация компьютерной лингвистики. стр. 1059–1069. arXiv : 1504.06654 . дои : 10.3115/v1/d14-1113 . S2CID   15251438 .
  36. ^ Руас, Терри; Гроски, Уильям; Айзава, Акико (01 декабря 2019 г.). «Многозначное встраивание посредством процесса устранения неоднозначности смысла слова». Экспертные системы с приложениями . 136 : 288–303. arXiv : 2101.08700 . дои : 10.1016/j.eswa.2019.06.026 . hdl : 2027.42/145475 . ISSN   0957-4174 . S2CID   52225306 .
  37. ^ Согласен, Геннадий; Петров, Даниил; Кескинова, Симона (01 марта 2019 г.). «Word Sense Disambiguation Studio: гибкая система для извлечения функций WSD» . Информация . 10 (3): 97. дои : 10.3390/info10030097 . ISSN   2078-2489 .
  38. ^ Jump up to: а б Акбик, Алан; Блайт, Дункан; Воллграф, Роланд (2018). «Контекстные встраивания строк для маркировки последовательностей» . Материалы 27-й Международной конференции по компьютерной лингвистике . Санта-Фе, Нью-Мексико, США: Ассоциация компьютерной лингвистики: 1638–1649.
  39. ^ Ли, Дживэй; Юрафски, Дэн (2015). «Улучшают ли многозначные встраивания понимание естественного языка?». Материалы конференции 2015 года по эмпирическим методам обработки естественного языка . Страудсбург, Пенсильвания, США: Ассоциация компьютерной лингвистики. стр. 1722–1732. arXiv : 1506.01070 . дои : 10.18653/v1/d15-1200 . S2CID   6222768 .
  40. ^ Девлин, Джейкоб; Чанг, Мин-Вэй; Ли, Кентон; Тутанова, Кристина (июнь 2019 г.). «Материалы Конференции Севера 2019» . Материалы конференции Североамериканского отделения Ассоциации компьютерной лингвистики 2019 года: технологии человеческого языка, том 1 (длинные и короткие статьи) . Ассоциация компьютерной лингвистики: 4171–4186. дои : 10.18653/v1/N19-1423 . S2CID   52967399 .
  41. ^ Люси, Ли и Дэвид Бэмман. «Охарактеризация вариаций английского языка в социальных сетях с помощью BERT». Труды Ассоциации компьютерной лингвистики 9 (2021): 538-556.
  42. ^ Рейф, Эмили, Энн Юань, Мартин Ваттенберг, Фернанда Б. Вьегас, Энди Коэнен, Адам Пирс и Бин Ким. «Визуализация и измерение геометрии BERT». Достижения в области нейронных систем обработки информации 32 (2019).
  43. ^ Jump up to: а б Асгари, Эхсанеддин; Мофрад, Мохаммад РК (2015). «Непрерывное распределенное представление биологических последовательностей для глубокой протеомики и геномики» . ПЛОС ОДИН . 10 (11): e0141287. arXiv : 1503.05140 . Бибкод : 2015PLoSO..1041287A . дои : 10.1371/journal.pone.0141287 . ПМЦ   4640716 . ПМИД   26555596 .
  44. ^ Jump up to: а б Рабии, Юнес; Кук, Майкл (04 октября 2021 г.). «Выявление динамики игры с помощью встраивания данных игрового процесса в слова» . Материалы конференции AAAI по искусственному интеллекту и интерактивным цифровым развлечениям . 17 (1): 187–194. дои : 10.1609/aiide.v17i1.18907 . ISSN   2334-0924 . S2CID   248175634 .
  45. ^ Кирос, Райан; Чжу, Юкунь; Салахутдинов Руслан; Земель, Ричард С.; Торральба, Антонио; Уртасун, Ракель; Фидлер, Саня (2015). «векторы пропуска мысли». arXiv : 1506.06726 [ cs.CL ].
  46. ^ Реймерс, Нильс и Ирина Гуревич. «Предложение-BERT: встраивание предложений с использованием сиамских сетей BERT». В материалах конференции 2019 года по эмпирическим методам обработки естественного языка и 9-й Международной совместной конференции по обработке естественного языка (EMNLP-IJCNLP), стр. 3982-3992. 2019.
  47. ^ «Перчатка» .
  48. ^ Чжао, Цзеюй; и др. (2018) (2018). «Изучение гендерно-нейтральных вложений слов». arXiv : 1809.01496 [ cs.CL ].
  49. ^ «Элмо» .
  50. ^ Пирес, Тельмо; Шлингер, Ева; Гарретт, Дэн (04 июня 2019 г.). «Насколько многоязычен многоязычный BERT?». arXiv : 1906.01502 [ cs.CL ].
  51. ^ «Генсим» .
  52. ^ «Индра» . Гитхаб . 25 октября 2018 г.
  53. ^ Гассеми, Мохаммед; Марк, Роджер; Немати, Шамим (2015). «Визуализация развития клинических настроений с использованием векторного представления клинических записей» (PDF) . 2015 Конференция «Компьютерные технологии в кардиологии» (CinC) . Том. 2015. С. 629–632. дои : 10.1109/CIC.2015.7410989 . ISBN  978-1-5090-0685-4 . ПМК   5070922 . ПМИД   27774487 . {{cite book}}: |journal= игнорируется ( помогите )
  54. ^ «Встроенный просмотрщик» . Встроенная программа просмотра . Лексические вычисления. Архивировано из оригинала 8 февраля 2018 года . Проверено 7 февраля 2018 г.
  55. ^ Болукбаши, Толга; Чанг, Кай-Вэй; Цзоу, Джеймс; Салиграма, Венкатеш; Калай, Адам (2016). «Мужчина для программиста, как женщина для домохозяйки? Устранение предвзятости встраивания слов». arXiv : 1607.06520 [ cs.CL ].
  56. ^ Болукбаши, Толга; Чанг, Кай-Вэй; Цзоу, Джеймс; Салиграма, Венкатеш; Калаи, Адам (21 июля 2016 г.). «Мужчина для программиста, как женщина для домохозяйки? Устранение предвзятости встраивания слов». arXiv : 1607.06520 [ cs.CL ].
  57. ^ Диенг, Аджи Б.; Руис, Франсиско-младший; Блей, Дэвид М. (2020). «Тематическое моделирование в пространствах внедрения» . Труды Ассоциации компьютерной лингвистики . 8 : 439–453. arXiv : 1907.04907 . дои : 10.1162/tacl_a_00325 .
  58. ^ Чжао, Цзеюй; Ван, Тяньлу; Яцкар, Марк; Ордонес, Висенте; Чанг, Кай-Вэй (2017). «Мужчинам тоже нравится ходить по магазинам: уменьшение усиления гендерных предубеждений с помощью ограничений на уровне корпуса» . Материалы конференции 2017 года по эмпирическим методам обработки естественного языка . стр. 2979–2989. дои : 10.18653/v1/D17-1323 .
  59. ^ Петрески, Давор; Хашим, Ибрагим К. (26 мая 2022 г.). «Встраивание слов предвзято. Но чью предвзятость они отражают?» . ИИ и общество . 38 (2): 975–982. дои : 10.1007/s00146-022-01443-w . ISSN   1435-5655 . S2CID   249112516 .
Retrieved from "https://en.wikipedia.org/w/index.php?title=Word_embedding&oldid=1237803423"
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 614f0352c5279d19a0cb21900d63da34__1722426960
URL1:https://arc.ask3.ru/arc/aa/61/34/614f0352c5279d19a0cb21900d63da34.html
Заголовок, (Title) документа по адресу, URL1:
Word embedding - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)