Перчатка

GloVe , созданный на базе Global Vectors, представляет собой модель распределенного представления слов. Модель представляет собой алгоритм обучения без учителя для получения векторных представлений слов. Это достигается путем отображения слов в значимом пространстве, где расстояние между словами связано с семантическим сходством. ^[1] слов совпадения Обучение выполняется на основе агрегированной глобальной статистики из корпуса, и полученные представления демонстрируют интересные линейные подструктуры векторного пространства слов . Он разработан как проект с открытым исходным кодом в Стэнфорде. ^[2] и был запущен в 2014 году.

Как модель лог-билинейной регрессии для обучения представлений слов без учителя, она сочетает в себе особенности двух семейств моделей, а именно методы глобальной матричной факторизации и методов окна локального контекста.

Определение

Вы узнаете слово по компании, которую оно держит (Ферт, Дж.Р. 1957:11). ^[3]

Идея GloVe состоит в том, чтобы построить для каждого слова $i$ , два вектора $w_{i},{\tilde {w}}_{i}$ , так что относительные положения векторов отражают часть статистических закономерностей слова $i$ . Статистическая регулярность определяется как вероятность совместного возникновения. Слова, похожие друг на друга по значению, также должны напоминать друг друга по вероятности совместного появления.

Подсчет слов

Пусть словарный запас будет $V$ , набор всех возможных слов (также известных как «токены»). Пунктуация либо игнорируется, либо рассматривается как словарь, то же самое касается использования заглавных букв и других типографских деталей. ^[1]

Если два слова встречаются близко друг к другу, то мы говорим, что они встречаются в контексте друг друга. Например, если длина контекста равна 3, то мы говорим, что в следующем предложении

Перчатка ₁ , созданная ₂ из ₃ Глобальных ₄ Векторов ₅ , представляет ₆ модель ₇ собой ₈ для ₉ распределенного ₁₀ слова ₁₁ представления ₁₂

слово «модель ₈ » находится в контексте «слова ₁₁ », но не в контексте «представления ₁₂ ».

Слово не находится в контексте самого себя, поэтому «модель ₈ » не находится в контексте слова «модель ₈ », хотя, если слово появляется снова в том же контексте, то оно засчитывается.

Позволять $X_{ij}$ сколько раз слово $j$ появляется в контексте слова $i$ по всему корпусу. Например, если корпус просто «Я не думаю, что это проблема». у нас есть $X_{{\text{that}},{\text{that}}}=2$ поскольку первое «то» появляется в контексте второго, и наоборот.

Позволять $X_{i}=\sum _{j\in V}X_{ij}$ быть количеством слов в контексте всех экземпляров слова $i$ . Подсчитав, мы имеем $X_{i}=2\times ({\text{context size}})\times \#({\text{occurrences of word }}i)$ (за исключением слов, встречающихся в начале и конце корпуса)

Вероятностное моделирование

Позволять $P_{ik}:=P(k|i):={\frac {X_{ik}}{X_{i}}}$ быть вероятностью совместного появления . То есть, если взять случайное вхождение слова $i$ во всем документе и случайном слове в его контексте, это слово $k$ с вероятностью $P_{ik}$ . Обратите внимание, что $P_{ik}\neq P_{ki}$ в общем. Например, в типичном корпусе современного английского языка $P_{{\text{ado}},{\text{much}}}$ близко к единице, но $P_{{\text{much}},{\text{ado}}}$ близко к нулю. Это потому, что слово «адо» почти используется только в контексте архаичной фразы « много шума », но слово «много» встречается во всех контекстах.

Например, в корпусе из 6 миллиардов токенов у нас есть

Таблица 1 из ^[1]
Вероятность и соотношение	$k={\text{ solid }}$	$k={\text{ gas }}$	$k={\text{ water }}$	$k={\text{ fashion }}$
$P(k\mid {\text{ ice }})$	$1.9\times 10^{-4}$	$6.6\times 10^{-5}$	$3.0\times 10^{-3}$	$1.7\times 10^{-5}$
$P(k\mid {\text{ steam }})$	$2.2\times 10^{-5}$	$7.8\times 10^{-4}$	$2.2\times 10^{-3}$	$1.8\times 10^{-5}$
$P(k\mid {\text{ ice }})/P(k\mid {\text{ steam }})$	$8.9$	$8.5\times 10^{-2}$	$1.36$	$0.96$

Рассматривая таблицу, мы видим, что слова «лед» и «пар» неразличимы по слову «вода» (часто сочетаясь с обоими) и «мода» (редко сочетаясь с тем и другим), но различимы по слову «твердое тело». (чаще встречается вместе со льдом) и «газ» (чаще встречается вместе с «паром»).

Идея состоит в том, чтобы изучить два вектора. $w_{i},{\tilde {w}}_{i}$ за каждое слово $i$ , так что мы имеем полиномиальную логистическую регрессию : $w_{i}^{T}{\tilde {w}}_{j}+b_{i}+{\tilde {b}}_{j}\approx \ln P_{ij}$ и условия $b_{i},{\tilde {b}}_{j}$ являются неважными параметрами.

Это означает, что если слова $i,j$ имеют схожие вероятности совместного возникновения $(P_{ik})_{k\in V}\approx (P_{jk})_{k\in V}$ , то их векторы также должны быть похожи: $w_{i}\approx w_{j}$ .

Логистическая регрессия

Проще говоря, логистическую регрессию можно запустить, минимизировав квадрат потерь: $L=\sum _{i,j\in V}(w_{i}^{T}{\tilde {w}}_{j}+b_{i}+{\tilde {b}}_{j}-\ln P_{ik})^{2}$ Однако это было бы шумно для редких совпадений. Чтобы решить эту проблему, квадрат потерь взвешивается так, что потери постепенно увеличиваются до абсолютного числа совпадений. $X_{ij}$ увеличивается: $L=\sum _{i,j\in V}f(X_{ij})(w_{i}^{T}{\tilde {w}}_{j}+b_{i}+{\tilde {b}}_{j}-\ln P_{ik})^{2}$ где $f(x)=\left\{{\begin{array}{cc}\left(x/x_{\max }\right)^{\alpha }&{\text{ if }}x<x_{\max }\\1&{\text{ otherwise }}\end{array}}\right.$ и $x_{\max },\alpha$ являются гиперпараметрами . В оригинальной статье авторы обнаружили, что $x_{\max }=100,\alpha =3/4$ кажется, хорошо работает на практике.

Использовать

После обучения модели у нас есть 4 обученных параметра для каждого слова: $w_{i},{\tilde {w}}_{i},b_{i},{\tilde {b}}_{i}$ . Параметры $b_{i},{\tilde {b}}_{i}$ не имеют значения, и только $w_{i},{\tilde {w}}_{i}$ актуальны.

Авторы рекомендовали использовать $w_{i}+{\tilde {w}}_{i}$ как окончательный вектор представления слова $i$ , потому что эмпирически это сработало лучше, чем $w_{i}$ или ${\tilde {w}}_{i}$ один.

Приложения

GloVe можно использовать для поиска связей между такими словами, как синонимы, отношения между компанией и продуктом, почтовые индексы и города и т. д. Однако алгоритм неконтролируемого обучения неэффективен при выявлении омографов, то есть слов с одинаковым написанием и разными значениями. Это происходит потому, что алгоритм неконтролируемого обучения вычисляет один набор векторов для слов с одинаковой морфологической структурой. ^[4] Алгоритм также используется библиотекой SpaCy для создания функций встраивания семантических слов при вычислении слов из верхнего списка, соответствующих таким мерам расстояния, как косинусное сходство и подход евклидова расстояния . ^[5] GloVe также использовался в качестве структуры представления слов для онлайн- и оффлайн-систем, предназначенных для выявления психологического дистресса во время интервью с пациентами. ^[6]

См. также

Ссылки

^ Перейти обратно: ^а ^б ^с Пеннингтон, Джеффри; Сошер, Ричард; Мэннинг, Кристофер (октябрь 2014 г.). Мошитти, Алессандро; Панг, Бо; Далеманс, Уолтер (ред.). «GloVe: глобальные векторы для представления слов» . Материалы конференции 2014 года по эмпирическим методам обработки естественного языка (EMNLP) . Доха, Катар: Ассоциация компьютерной лингвистики: 1532–1543. дои : 10.3115/v1/D14-1162 .
^ GloVe: Глобальные векторы для представления слов (pdf). Архивировано 3 сентября 2020 г. в Wayback Machine. «Мы используем наши идеи для создания новой модели представления слов, которую мы называем GloVe, для глобальных векторов, потому что фиксируется глобальная статистика корпуса. непосредственно по модели».
^ Ферт, младший (1957). Исследования по лингвистическому анализу (PDF) . Уайли-Блэквелл.
^ Вениг, Филипп (2019). «Создание вложений предложений на основе тематических представлений слов: подход к универсальному пониманию языка». На пути к науке о данных .
^ Сингх, Маянк; Гупта, ПК; Тьяги, Випин; Флюссер, Ян; Орен, Тунцер И. (2018). Достижения в области вычислений и наук о данных: Вторая международная конференция, ICACDS 2018, Дехрадун, Индия, 20–21 апреля 2018 г., Пересмотренные избранные статьи . Сингапур: Спрингер. п. 171. ИСБН 9789811318122 .
^ Абад, Альберто; Ортега, Альфонсо; Тейшейра, Антониу; Матео, Кармен; Хинарехос, Карлос; Пердигао, Фернандо; Батиста, Фернандо; Мамеде, Нуно (2016). Достижения в области речи и языковых технологий для иберийских языков: Третья международная конференция, IberSPEECH 2016, Лиссабон, Португалия, 23-25 ноября 2016 г., Материалы . Чам: Спрингер. п. 165. ИСБН 9783319491691 .

Внешние ссылки

GloVe. Архивировано 19 декабря 2016 г. в Wayback Machine.
Deeplearning4j GloVe. Архивировано 2 февраля 2019 г. в Wayback Machine.

[:1-1] Перейти обратно: ^а ^б ^с Пеннингтон, Джеффри; Сошер, Ричард; Мэннинг, Кристофер (октябрь 2014 г.). Мошитти, Алессандро; Панг, Бо; Далеманс, Уолтер (ред.). «GloVe: глобальные векторы для представления слов» . Материалы конференции 2014 года по эмпирическим методам обработки естественного языка (EMNLP) . Доха, Катар: Ассоциация компьютерной лингвистики: 1532–1543. дои : 10.3115/v1/D14-1162 .

[2] GloVe: Глобальные векторы для представления слов (pdf). Архивировано 3 сентября 2020 г. в Wayback Machine. «Мы используем наши идеи для создания новой модели представления слов, которую мы называем GloVe, для глобальных векторов, потому что фиксируется глобальная статистика корпуса. непосредственно по модели».

[3] Ферт, младший (1957). Исследования по лингвистическому анализу (PDF) . Уайли-Блэквелл.

[4] Вениг, Филипп (2019). «Создание вложений предложений на основе тематических представлений слов: подход к универсальному пониманию языка». На пути к науке о данных .

[5] Сингх, Маянк; Гупта, ПК; Тьяги, Випин; Флюссер, Ян; Орен, Тунцер И. (2018). Достижения в области вычислений и наук о данных: Вторая международная конференция, ICACDS 2018, Дехрадун, Индия, 20–21 апреля 2018 г., Пересмотренные избранные статьи . Сингапур: Спрингер. п. 171. ИСБН 9789811318122 .

[:0-6] Абад, Альберто; Ортега, Альфонсо; Тейшейра, Антониу; Матео, Кармен; Хинарехос, Карлос; Пердигао, Фернандо; Батиста, Фернандо; Мамеде, Нуно (2016). Достижения в области речи и языковых технологий для иберийских языков: Третья международная конференция, IberSPEECH 2016, Лиссабон, Португалия, 23-25 ноября 2016 г., Материалы . Чам: Спрингер. п. 165. ИСБН 9783319491691 .

[1]

[2]

[3]

[4]

[5]

[6]