Встраивание графа знаний

Встраивание графа знаний. Векторное представление сущностей и отношений можно использовать для различных приложений машинного обучения.

В представлению обучении используется внедрение графа знаний ( KGE ), также называемое обучением представлению знаний ( KRL ) или обучением с несколькими отношениями . — это задача машинного обучения , заключающаяся в изучении низкоразмерного представления графа знаний сущностей и отношений с сохранением их семантического значения. Используя встроенное представление, графы знаний (KG) могут использоваться для различных приложений, таких как прогнозирование связей , тройная классификация , распознавание сущностей , кластеризация и извлечение отношений .

Определение

Граф знаний ${\mathcal {G}}=\{E,R,F\}$ представляет собой совокупность сущностей $E$, отношения $R$и факты $F$. Факт – это тройка $(h,r,t)\in F$ это обозначает ссылку $r\in R$ между головой $h\in E$ и хвост $t\in E$ из тройки. Другое обозначение, которое часто используется в литературе для обозначения тройки (или факта), — это $<head,relation,tail>$. Эта нотация называется структурой описания ресурсов (RDF). Граф знаний представляет знания, относящиеся к определенной области; используя это структурированное представление, можно вывести из него часть новых знаний после некоторых шагов уточнения. Однако в настоящее время людям приходится сталкиваться с нехваткой данных и неэффективностью вычислений, чтобы использовать их в реальных приложениях.

Встраивание графа знаний преобразует каждую сущность и отношение графа знаний. ${\mathcal {G}}$ в вектор заданной размерности $d$, называемое измерением внедрения. В общем случае мы можем иметь разные размеры внедрения для сущностей. $d$ и отношения $k$. Коллекция векторов внедрения для всех сущностей и отношений в графе знаний может затем использоваться для последующих задач.

Встраивание графа знаний характеризуется четырьмя различными аспектами:

1. Пространство представления: низкомерное пространство, в котором представлены сущности и отношения.
2. Функция оценки: мера качества тройного встроенного представления.
3. Модели кодирования: модальность, в которой встроенное представление сущностей и отношений взаимодействует друг с другом.
4. Дополнительная информация: любая дополнительная информация, поступающая из графа знаний, которая может обогатить встроенное представление. Обычно специальная функция оценки интегрируется в общую функцию оценки для каждой дополнительной информации.

Процедура встраивания

Все различные модели внедрения графа знаний следуют примерно одной и той же процедуре для изучения семантического значения фактов. Прежде всего, чтобы изучить встроенное представление графа знаний, векторы внедрения сущностей и отношений инициализируются случайными значениями. Затем, начиная с обучающего набора и до достижения условия остановки, алгоритм непрерывно оптимизирует вложения. Обычно условие остановки задается переобучением обучающего набора. Для каждой итерации отбирается партия размером $b$ из обучающего набора, и для каждой тройки пакета выбирается случайный искаженный факт, т. е. тройка, которая не представляет истинный факт в графе знаний. Искажение тройки предполагает замену головы или хвоста (или того и другого) тройки другой сущностью, что делает факт ложным. Исходная тройка и поврежденная тройка добавляются в обучающий пакет, а затем встраивания обновляются, оптимизируя функцию оценки. В конце алгоритма изученные вложения должны были извлечь семантическое значение из троек и правильно предсказать невидимые истинные факты в графе знаний.

Псевдокод

Ниже приведен псевдокод общей процедуры внедрения.

algorithm Compute entity and relation embeddings is
    input: The training set $S=\{(h,r,t)\}$, 
           entity set $E$, 
           relation set $R$,     
           embedding dimension $k$
    output: Entity and relation embeddings

    initialization: the entities $e$ and relations $r$ embeddings (vectors) are randomly initialized

    while stop condition do
        $S_{batch}\leftarrow sample(S,b)$ // From the training set randomly sample a batch of size b
        for each $(h,r,t)$ in $S_{batch}$ do
            $(h',r,t')\leftarrow sample(S')$  // sample a corrupted fact of triple
            $T_{batch}\leftarrow T_{batch}\cup \{((h,r,t),(h',r,t'))\}$ 
        end for
        Update embeddings by minimizing the loss function
    end while

эффективности

Эти индексы часто используются для измерения качества внедрения модели. Простота индексов делает их очень подходящими для оценки производительности алгоритма внедрения даже в больших масштабах. Данный ${\ce {Q}}$ В качестве набора всех ранжированных прогнозов модели можно определить три различных индекса производительности: Hits@K, MR и MRR.

Хитс@К

Hits@K или, короче, H@K — это индекс производительности, который измеряет вероятность найти правильный прогноз в первых K лучших прогнозах модели. Обычно его используют $k=10$. Hits@K отражает точность модели внедрения, позволяющую правильно предсказать связь между двумя заданными тройками.

Хиты@К $={\frac {|\{q\in Q:q<k\}|}{|Q|}}\in [0,1]$

Большие значения означают лучшие прогнозные характеристики.

Средний рейтинг (MR)

Средний рейтинг — это среднее ранговое положение элементов, предсказанных моделью, среди всех возможных элементов.

$MR={\frac {1}{|Q|}}\sum _{q\in Q}{q}$

Чем меньше значение, тем лучше модель.

Средний обратный ранг

Средний обратный ранг измеряет количество правильно предсказанных троек. Если первая предсказанная тройка верна, то добавляется 1, если верна вторая ${\frac {1}{2}}$ суммируется и так далее.

Средний обратный ранг обычно используется для количественной оценки эффекта алгоритмов поиска.

$MRR={\frac {1}{|Q|}}\sum _{q\in Q}{\frac {1}{q}}\in [0,1]$

Чем больше индекс, тем лучше модель.

Приложения

Задачи машинного обучения

Завершение графа знаний (KGC) — это набор методов вывода знаний из встроенного представления графа знаний. В частности, этот метод завершает тройной вывод недостающей сущности или отношения. Соответствующие подзадачи называются прогнозированием связи или объекта (т. е. угадывание объекта по вложению с учетом другого объекта тройки и отношения) и прогнозированием отношения (т. е. прогнозирование наиболее правдоподобного отношения, соединяющего два объекта).

Тройная классификация — это проблема бинарной классификации. Учитывая тройку, обученная модель оценивает правдоподобность тройки, используя встраивание, чтобы определить, является ли тройка истинной или ложной. Решение принимается с использованием функции оценки модели и заданного порога. Кластеризация — это еще одно приложение, которое использует встроенное представление разреженного графа знаний для уплотнения представления схожих семантических объектов, близких к 2D-пространству.

Реальные приложения

Использование внедрения графа знаний становится все более распространенным во многих приложениях. В случае рекомендательных систем использование внедрения графа знаний может преодолеть ограничения обычного обучения с подкреплением . Обучение такой рекомендательной системы требует от пользователей огромного количества информации; однако методы графа знаний могут решить эту проблему, используя граф, уже построенный на основе предшествующих знаний о корреляции элементов, и используя встраивание, чтобы вывести из него рекомендацию. Перепрофилирование лекарств – это использование уже одобренного лекарственного средства, но для терапевтической цели, отличной от той, для которой оно было первоначально разработано. Можно использовать задачу прогнозирования связей, чтобы сделать вывод о новой связи между уже существующим лекарством и заболеванием, используя граф биомедицинских знаний, построенный с использованием огромного количества литературы и биомедицинских баз данных. Встраивание графа знаний также можно использовать в области социальной политики.

Модели

График публикации некоторых моделей внедрения графов знаний. Красным цветом обозначены модели тензорной декомпозиции, синим цветом — геометрические модели, а зеленым — модели глубокого обучения. ПЕРЕСКАЛИРОВАТЬ (2011) был первым современным подходом KGE. В оно было применено к графу знаний YAGO. Это было первое применение KGE к крупномасштабному графу знаний.

Учитывая набор троек (или фактов) ${\mathcal {F}}=\{<head,relation,tail>\}$Модель внедрения графа знаний создает для каждой сущности и отношения, присутствующих в графе знаний, непрерывное векторное представление. $(h,r,t)$ — соответствующее вложение тройки с $h,t\in {\rm {I\!R}}^{d}$ и $r\in {\rm {I\!R}}^{k}$ , где $d$ - это размерность внедрения для сущностей, и $k$ для отношений. Оценочная функция данной модели обозначается ${\mathcal {f}}_{r}(h,t)$ и измеряет расстояние от внедрения головы до внедрения хвоста с учетом внедрения отношения, или, другими словами, он количественно определяет правдоподобие встроенного представления данного факта.

Росси и др. предложить таксономию моделей внедрения и выделить три основных семейства моделей: модели тензорной декомпозиции, геометрические модели и модели глубокого обучения.

Модель

Тензорная декомпозиция — это семейство моделей внедрения графа знаний, в которых для представления графа знаний используется многомерная матрица. это частично познаваемо из-за пробелов в графе знаний, подробно описывающем конкретную область. В частности, в этих моделях используется трехмерный (3D) тензор , который затем разлагается на низкоразмерные векторы, которые представляют собой вложения сущностей и отношений. Тензор третьего порядка является подходящей методологией для представления графа знаний, поскольку он фиксирует только наличие или отсутствие связи между сущностями. и по этой причине просто, и нет необходимости априори знать структуру сети, делая этот класс моделей внедрения легким и простым в обучении, даже если они страдают от многомерности и разреженности данных.

Билинейные модели

В этом семействе моделей используется линейное уравнение для внедрения связи между объектами через отношение. В частности, встроенное представление отношений представляет собой двумерную матрицу. Эти модели во время процедуры внедрения используют только отдельные факты для вычисления встроенного представления и игнорируют другие ассоциации с той же сущностью или отношением.

• ДистМульт : Поскольку матрица вложения отношения является диагональной матрицей, функция оценки не может различать асимметричные факты.
• Сложный : поскольку DistMult использует диагональную матрицу для представления встраивания отношений, но добавляет представление в комплексном векторном пространстве и эрмитово произведение , он может различать симметричные и асимметричные факты. Этот подход масштабируется до большого графа знаний с точки зрения затрат времени и пространства.
• АНАЛОГИЯ : Эта модель кодирует встраивание аналогичной структуры графа знаний для имитации индуктивного рассуждения. Используя дифференцируемую целевую функцию, АНАЛОГИЯ имеет хорошую теоретическую общность и вычислительную масштабируемость. Доказано, что встраивание, произведенное ANALOGY, полностью восстанавливает встраивание DistMult, ComplEx и HolE.
• Простой : Эта модель является усовершенствованием канонической полиадической декомпозиции (CP), в которой изучаются вектор внедрения для отношения и два независимых вектора внедрения для каждого объекта, в зависимости от того, является ли он головой или хвостом в факте графа знаний. SimplE решает проблему независимого обучения двух вложений сущностей, используя обратную зависимость и усредняя оценку CP $(h,r,t)$ и $(t,r^{-1},h)$. Таким образом, SimplE собирает отношения между сущностями, пока они выступают в роли субъекта или объекта внутри факта, и может встраивать асимметричные отношения.

Небилинейные модели

• Дыра: HolE использует круговую корреляцию для создания встроенного представления графа знаний. который можно рассматривать как сжатие матричного произведения, но он более эффективен в вычислительном отношении и масштабируем, сохраняя при этом возможность выражать асимметричное отношение, поскольку круговая корреляция не является коммутативной. HolE связывает голографические и комплексные вложения, поскольку при использовании вместе с Fourier его можно рассматривать как частный случай ComplEx.
• ТакЕР: TuckER рассматривает граф знаний как тензор, который можно разложить с помощью разложения Такера в набор векторов (то есть вложений сущностей и отношений) с общим ядром. Веса основного тензора изучаются вместе с вложениями и представляют уровень взаимодействия записей. Каждая сущность и отношение имеют свое собственное измерение внедрения, а размер основного тензора определяется формой взаимодействующих сущностей и отношений. Внедрение субъекта и объекта факта суммируется одинаковым образом, что делает TuckER полностью выразительным, а другие модели внедрения, такие как RESCAL, DistMult, ComplEx и SimplE, могут быть выражены как специальная формулировка TuckER.
• МОЖЕТ: MEI представляет метод многораздельного взаимодействия с тензорным форматом блочных терминов, который является обобщением CP-разложения и разложения Такера. Он делит вектор внедрения на несколько разделов и изучает локальные шаблоны взаимодействия на основе данных вместо использования фиксированных специальных шаблонов, как в моделях ComplEx или SimplE. Это позволяет MEI достичь оптимальной эффективности — компромисса между выразительностью, а не просто полной выразительностью. Предыдущие модели, такие как TuckER, RESCAL, DistMult, ComplEx и SimplE, представляют собой неоптимальные ограниченные частные случаи MEI.
• мим: MEIM выходит за рамки формата тензора блочных терминов и представляет независимый базовый тензор для эффектов усиления ансамбля и мягкую ортогональность для реляционного отображения максимального ранга, в дополнение к многораздельному взаимодействию встраивания. MEIM обобщает несколько предыдущих моделей, таких как MEI и входящие в нее модели RotaE и QuatE. MEIM повышает выразительность, сохраняя при этом высокую эффективность на практике, помогая добиться хороших результатов при использовании моделей довольно небольших размеров.

Геометрические модели

Геометрическое пространство, определяемое этим семейством моделей, кодирует отношение как геометрическое преобразование между началом и хвостом факта. По этой причине для вычисления вложения хвоста необходимо применить преобразование $\tau$ к вложению головы и функции расстояния $\delta$ используется для измерения качества вложения или оценки надежности факта.

${\mathcal {f}}_{r}(h,t)=\delta (\tau (h,r),t)$

Геометрические модели похожи на модель тензорного разложения, но основное различие между ними состоит в том, что они должны сохранять применимость преобразования $\tau$ в геометрическом пространстве, в котором он определен.

трансляционные

Этот класс моделей основан на идее трансляционной инвариантности, представленной в word2vec . Чистая трансляционная модель опирается на тот факт, что вектора внедрения сущностей близки друг к другу после применения надлежащего реляционного перевода в геометрическом пространстве, в котором они определены. Другими словами, если к внедрению отношения добавляется вложение головы, ожидаемым результатом должно быть встраивание хвоста. Близость встраивания сущностей определяется некоторой мерой расстояния и количественно определяет надежность факта.

Модель встраивания TransE. Векторное представление (встраивание) заголовка плюс векторное представление отношения должно быть равно векторному представлению хвостового объекта.

• Транс : Эта модель использует функцию оценки, которая заставляет вложения удовлетворять простому уравнению векторной суммы в каждом факте, в котором они появляются: $h+r=t$. Встраивание будет точным, если каждая сущность и отношение встречаются только в одном факте и по этой причине на практике плохо представляют отношения «один-ко-многим» , «многие-к-одному » и асимметричные отношения.
• TransH : Это эволюция TransE, в которой гиперплоскость рассматривается как геометрическое пространство для решения проблемы правильного представления типов отношений. В TransH каждое отношение имеет свое встроенное представление в другой гиперплоскости, в зависимости от того, с какими сущностями оно взаимодействует. Следовательно, чтобы вычислить, например, оценочную функцию факта, встроенное представление головы и хвоста необходимо спроецировать с помощью реляционной матрицы проекции на правильную гиперплоскость отношения.
• ТрансР : TransR является развитием TransH, поскольку он использует два разных пространства для представления встроенного представления сущностей и отношений. и полностью отделить семантическое пространство сущностей и отношений. Также TransR использует матрицу реляционной проекции для перевода встраивания сущностей в пространство отношений.
• Транс : Учитывая факт, в TransR голова и хвост факта могут принадлежать двум разным типам сущностей, например, в факте $(Obama,president\_of,USA)$Обама — две сущности, но одна — человек , и США а другая — страна. Умножение матриц также является дорогостоящей процедурой в TransR для вычисления проекции. В этом контексте TransD использует два вектора для каждой пары сущность-связь для вычисления динамического отображения, которое заменяет матрицу проекции, одновременно уменьшая размерную сложность. Первый вектор используется для представления семантического значения сущностей и отношений, второй — для вычисления матрицы отображения.
• TransA: Все трансляционные модели определяют функцию оценки в своем пространстве представления, но они слишком упрощают эту потерю метрики. Поскольку векторное представление сущностей и отношений не идеально, чистый перевод $h+r$ может быть далеко от $t$, а сферическое эквипотенциальное евклидово расстояние затрудняет определение ближайшего объекта. Вместо этого TransA вводит адаптивное расстояние Махаланобиса для взвешивания встраиваемых размеров вместе с эллиптическими поверхностями для устранения неоднозначности.

Трансляционные модели с дополнительными вложениями

С каждым элементом графа знаний и общими фактами их представления можно связать дополнительную информацию. Каждая сущность и отношение могут быть дополнены текстовыми описаниями, весами, ограничениями и т. д., чтобы улучшить общее описание предметной области с помощью графа знаний. Во время внедрения графа знаний эта информация может быть использована для изучения специализированных вложений по этим характеристикам вместе с обычным встроенным представлением сущностей и отношений, при этом затраты на обучение более значительного числа векторов.

• СТрансЭ: Эта модель является результатом комбинации TransE и встраивания структуры. таким образом он может лучше представлять отношения «один-ко-многим», «многие-к-одному» и «многие-ко-многим» . Для этого в модели задействованы две дополнительные независимые матрицы $W_{r}^{h}$ и $W_{r}^{t}$ для каждого встроенного отношения $r$ в КГ. Каждая дополнительная матрица используется на основе того факта, что конкретное отношение взаимодействует с началом или хвостом факта. Другими словами, учитывая факт $(h,r,t)$, перед применением векторного перевода голова $h$ умножается на $W_{r}^{h}$ и хвост умножается на $W_{r}^{t}$.
• КроссЭ : Перекрестные взаимодействия могут использоваться для выбора связанной информации и могут быть очень полезны для процедуры внедрения. Перекрестные взаимодействия вносят два различных вклада в отбор информации: взаимодействия от отношений к сущностям и взаимодействия от сущностей к отношениям. Это означает, что отношение, например «президент_оф», автоматически выбирает типы сущностей, которые связывают субъект с объектом факта. Подобным образом сущность факта косвенно определяет, какой путь вывода необходимо выбрать, чтобы предсказать объект связанной тройки. Для этого CrossE изучает дополнительную матрицу взаимодействия. $C$, использует поэлементное произведение для вычисления взаимодействия между $h$ и $r$. Даже если CrossE не опирается на архитектуру нейронной сети, показано, что эту методологию можно закодировать в такой архитектуре.

Рото-трансляционные модели

В этом семействе моделей в дополнение к переводу или вместо него используется преобразование, подобное повороту.

• ТорЭ: Термин регуляризации TransE заставляет объект встраиваться в сферическое пространство и, следовательно, теряет свойства перевода геометрического пространства. Чтобы решить эту проблему, TorusE использует компактную группу Ли , которая в данном конкретном случае представляет собой n-мерное пространство тора , и избегает использования регуляризации. TorusE определяет функции расстояния для замены норм L1 и L2 TransE.
• ПовернутьE: RotatE вдохновлен тождеством Эйлера и предполагает использование произведения Адамара для представления отношения. $r$ как вращение от головы $h$ в хвост $t$ в сложном пространстве. Для каждого элемента тройки комплексная часть вложения описывает вращение против часовой стрелки относительно оси, которое можно описать тождеством Эйлера, тогда как модуль вектора отношения равен 1. Показано, что модель способна встраивать симметричные, асимметричные, инверсионные и композиционные отношения из графа знаний.

глубокого

Эта группа моделей внедрения использует глубокую нейронную сеть для изучения закономерностей из графа знаний, которые являются входными данными. Эти модели обладают общностью, позволяющей различать тип сущности и отношения, временную информацию, информацию о пути, подлежащую структурированную информацию, и устранить ограничения моделей, основанных на расстоянии и семантическом сопоставлении, при представлении всех особенностей графа знаний. Использование глубокого обучения для внедрения графа знаний показало хорошую прогностическую эффективность, даже если оно обходится дороже на этапе обучения, требует нехватки данных и часто требует предварительно обученного представления графа знаний, полученного из другой модели внедрения.

Сверточные нейронные сети

В этом семействе моделей вместо использования полностью связанных слоев используются один или несколько сверточных слоев , которые свертывают входные данные с применением низкоразмерного фильтра, способного внедрять сложные структуры с небольшим количеством параметров путем изучения нелинейных функций.

• Соглашение: ConvE — это модель внедрения, которая представляет собой хороший компромисс между выразительностью моделей глубокого обучения и затратами вычислений. фактически показано, что он использовал в 8 раз меньше параметров по сравнению с DistMult. ConvE использует одномерный $d$-размерное вложение для представления сущностей и отношений графа знаний. Чтобы вычислить оценочную функцию тройки, ConvE применяет простую процедуру: сначала объединяет и объединяет вложения головы тройки и отношения в одни данные. ${\ce {[h;{\mathcal {r}}]}}$, то эта матрица используется в качестве входных данных для 2D-сверточного слоя. Затем результат передается через плотный слой, который применяет линейное преобразование, параметризованное матрицей ${\mathcal {W}}$ и в конце с внутренним произведением соединяется хвостовая тройка. ConvE также особенно эффективен в процедуре оценки: при использовании оценки 1-N модель сопоставляет, учитывая заголовок и отношение, все хвосты одновременно, что экономит много времени оценки по сравнению с оценкой 1-1. программа других моделей.
• КонвР: ConvR — это адаптивная сверточная сеть, предназначенная для глубокого представления всех возможных взаимодействий между сущностями и отношениями. Для этой задачи ConvR вычисляет сверточный фильтр для каждого отношения и, при необходимости, применяет эти фильтры к интересующему объекту для извлечения запутанных функций. Процедура расчета тройного балла такая же, как и для ConvE.
• КонвКБ: ConvKB, для вычисления оценочной функции данной тройки $(h,r,t)$, он производит ввод ${\ce {[h;{\mathcal {r}};t]}}$размера $d\times 3$ без изменения формы и передает его в серию сверточных фильтров размером $1\times 3$. Этот результат передает плотный слой только с одним нейроном, который выдает окончательную оценку. Единственный конечный нейрон превращает эту архитектуру в бинарный классификатор, в котором факт может быть истинным или ложным. Отличие от ConvE заключается в том, что размерность объектов не изменяется.

Капсульные нейронные сети

В этом семействе моделей используются капсульные нейронные сети для создания более стабильного представления, способного распознавать входные функции без потери пространственной информации. Сеть состоит из сверточных слоев, но они организованы в капсулы, и общий результат капсулы отправляется в капсулу более высокого уровня, определяемую динамической процедурой процесса.

• Шапки: CapsE реализует капсульную сеть для моделирования факта $(h,r,t)$. Как и в ConvKB, каждый тройной элемент объединяется для построения матрицы. ${\ce {[h;{\mathcal {r}};t]}}$и используется для подачи на сверточный слой для извлечения сверточных признаков. Эти функции затем перенаправляются в капсулу для создания непрерывного вектора: чем длиннее вектор, тем более верен факт.

Рекуррентные нейронные сети

Этот класс моделей использует использование рекуррентной нейронной сети . Преимущество этой архитектуры заключается в запоминании последовательности фактов, а не просто в разработке отдельных событий.

• РСН: В ходе процедуры внедрения обычно предполагается, что подобные сущности имеют схожие отношения. На практике этот тип информации не используется, поскольку встраивание рассчитывается только на основе факта, а не истории фактов. Сети с рекуррентным пропуском (RSN) используют рекуррентную нейронную сеть для изучения реляционного пути с использованием выборки случайного блуждания.

Производительность модели

Задачей машинного обучения для внедрения графа знаний, которая чаще всего используется для оценки точности внедрения моделей, является прогнозирование связей. Росси и др. провели обширное тестирование моделей, но и другие исследования дали аналогичные результаты. В тесте участвуют пять наборов данных FB15k, ВН18, ФБ15к-237, ВН18РР, и ЯГО3-10. Совсем недавно обсуждалось, что эти наборы данных далеки от реальных приложений, и другие наборы данных должны быть интегрированы в качестве стандартного эталона.

Сводная таблица характеристик наборов данных, используемых для сравнения моделей внедрения.

Имя набора данных	Количество различных объектов	Количество различных отношений	Количество троек
ФБ15к	14951	1345	584,113
ВН18	40943	18	151,442
ФБ15к-237	14541	237	310,116
ВН18RR	40943	11	93,003
ВОЗРАСТ 3-10 лет	123182	37	1,089,040

Сводная таблица сложности памяти и точности прогнозирования ссылок моделей внедрения графа знаний согласно Rossi et al. с точки зрения Hits@10, MR и MRR. Наилучшие результаты по каждому показателю для каждого набора данных выделены жирным шрифтом. скрывать

Название модели	Сложность памяти	FB15K (обращений @ 10)	ФБ15К (МР)	ФБ15К (МРР)	FB15K - 237 (Хит @ 10)	ФБ15К-237 (МР)	ФБ15К-237 (МРР)	WN18 (Хит@10)	WN18 (MR)	WN18 (МРР)	WN18RR (Хит@10)	WN18RR (MR)	WN18RR (МРР)	ЯГО3-10 (Хит@10)	ЯГО3-10 (МР)	ЯГО3-10 (МРР)
ДистМул	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.863	173	0.784	0.490	199	0.313	0.946	675	0.824	0.502	5913	0.433	0.661	1107	0.501
Сложный	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.905	34	0.848	0.529	202	0.349	0.955	3623	0.949	0.521	4907	0.458	0.703	1112	0.576
Дыра	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.867	211	0.800	0.476	186	0.303	0.949	650	0.938	0.487	8401	0.432	0.651	6489	0.502
АНАЛОГИЯ	${\mathcal {O}}(N_{e}d+N_{r}k^{2})(d=k)$	0.837	126	0.726	0.353	476	0.202	0.944	808	0.934	0.380	9266	0.366	0.456	2423	0.283
Простой	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.836	138	0.726	0.343	651	0.179	0.945	759	0.938	0.426	8764	0.398	0.631	2849	0.453
ТакЕР	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.888	39	0.788	0.536	162	0.352	0.958	510	0.951	0.514	6239	0.459	0.680	2417	0.544
МОЖЕТ	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$				0.552	145	0.365				0.551	3268	0.481	0.709	756	0.578
мим	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$				0.557	137	0.369				0.577	2434	0.499	0.716	747	0.585
Транс	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.847	45	0.628	0.497	209	0.310	0.948	279	0.646	0.495	3936	0.206	0.673	1187	0.501
ЗАКРЫВАТЬ	${\mathcal {O}}(N_{e}d+N_{r}k^{2})(d=k)$	0.796	69	0.543	0.495	357	0.315	0.934	208	0.656	0.422	5172	0.226	0.073	5797	0.049
КроссE	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.862	136	0.702	0.470	227	0.298	0.950	441	0.834	0.449	5212	0.405	0.654	3839	0.446
ТорусЭ	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.839	143	0.746	0.447	211	0.281	0.954	525	0.947	0.535	4873	0.463	0.474	19455	0.342
ПоворотE	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.881	42	0.791	0.522	178	0.336	0.960	274	0.949	0.573	3318	0.475	0.570	1827	0.498
КонвЭ	${\mathcal {O}}(N_{e}d^{2}+N_{r}k^{2})$	0.849	51	0.688	0.521	281	0.305	0.956	413	0.945	0.507	4944	0.427	0.657	2429	0.488
КонвКБ	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.408	324	0.211	0.517	309	0.230	0.948	202	0.709	0.525	3429	0.249	0.604	1683	0.420
конвр	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.885	70	0.773	0.526	251	0.346	0.958	471	0.950	0.526	5646	0.467	0.673	2582	0.527
СКОБЫ	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.217	610	0.087	0.356	405	0.160	0.950	233	0.890	0.559	720	0.415	0	60676	0.000
РСН	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.870	51	0.777	0.444	248	0.280	0.951	346	0.928	0.483	4210	0.395	0.664	1339	0.511

Библиотеки

• КГЭ на GitHub
• МЭИ-КГЭ на GitHub
• Pykg2vec на GitHub
• DGL-KE на GitHub
• PyKEEN на GitHub
• TorchKGE on GitHub
• AmpliGraph на GitHub
• OpenKE на GitHub
• scikit-kge на GitHub
• Fast-TransX на GitHub
• МЭИМ-КГЭ на GitHub
• DICEE на GitHub

См. также

• График знаний
• Встраивание
• Машинное обучение
• База знаний
• Извлечение знаний
• Статистическое реляционное обучение
• Обучение представлению
• Встраивание графа

Внешние ссылки

• Тест открытого графика – Стэнфорд
• WordNet - Принстон