Вероятностная мягкая логика

ПСЛ

Разработчик(и)	Лаборатория LINQS
Первоначальный выпуск	23 сентября 2011 г. ( 23 сентября 2011 г. )
Стабильная версия	2.2.2 / 20 мая 2020 г. ( 20.05.2020 )
Репозиторий	github .с /ссылки /псл
Написано в	Ява
Платформа	Linux , MacOS , Windows
Тип	Машинное обучение , Статистическое реляционное обучение
Лицензия	Лицензия Апач 2.0
Веб-сайт	пожалуйста .ссылки .org

Probabilistic Soft Logic (PSL) — это платформа статистического реляционного обучения (SRL) для моделирования вероятностных и реляционных областей. Он применим к различным задачам машинного обучения , таким как коллективная классификация , разрешение сущностей , прогнозирование связей и выравнивание онтологий . PSL сочетает в себе два инструмента: логику первого порядка с ее способностью лаконично представлять сложные явления и вероятностные графические модели , которые отражают неопределенность и неполноту, присущие знаниям реального мира. Более конкретно, PSL использует «мягкую» логику в качестве логического компонента и марковские случайные поля в качестве статистической модели. PSL предоставляет сложные методы вывода для поиска наиболее вероятного ответа (т.е. максимального апостериорного состояния (MAP)). «Смягчение» логических формул делает вывод полиномиальной операцией по времени, а не NP-трудной операцией.

Описание

Сообщество SRL представило несколько подходов, сочетающих графические модели и логику первого порядка , что позволяет разрабатывать сложные вероятностные модели с реляционными структурами. Ярким примером таких подходов являются марковские логические сети (MLN). Как и MLN, PSL — это язык моделирования (с сопутствующей реализацией). ) для обучения и прогнозирования в реляционных областях. В отличие от MLN, PSL использует мягкие значения истинности для предикатов в интервале между [0,1]. Это позволяет быстро решить основной вывод как задачу выпуклой оптимизации. Это полезно в таких задачах, как коллективная классификация , прогнозирование связей , моделирование социальных сетей и идентификация объектов/разрешение объектов/связывание записей .

Probabilistic Soft Logic была впервые выпущена в 2009 году Лизой Гетор и Маттиасом Брочелером. Эта первая версия в значительной степени была сосредоточена на рассуждениях о сходстве между сущностями. Более поздние версии PSL по-прежнему сохранят возможность рассуждать о сходстве, но сделают язык более выразительным.

В 2017 году в журнале исследований машинного обучения была опубликована статья с подробным описанием PSL и базовой графической модели, а также была выпущена новая основная версия PSL (2.0.0). Основными новыми функциями PSL 2.0.0 стали новый тип правил, используемый в основном для определения ограничений, и интерфейс командной строки .

Синтаксис и семантика

Терминология

• Программа PSL — набор правил, каждое из которых представляет собой шаблон потенциала в графической модели.
• Правило — выражение, касающееся атомов. Правила обычно принимают форму либо первого порядка логического следствия , либо линейной комбинации .
• Константа — строка или число, представляющее реальный элемент во вселенной, которую представляет программа PSL. Константы могут представлять атрибуты или целые сущности.
• Переменная — идентификатор, который можно заменить константами.
• Термин — либо константа, либо переменная.
• Предикат — отношение, определяемое уникальным именем и количеством принимаемых аргументов.
• Атом — предикат вместе с его аргументами-терминами.
• Основной атом — атом, все аргументы которого являются константами.

Синтаксис

Модель PSL состоит из ряда взвешенных правил и ограничений. PSL поддерживает два типа правил: логические и арифметические.

Логические правила состоят из импликации только одного атома или соединения атомов в теле и одного атома или дизъюнкции атомов в голове. Поскольку PSL использует мягкую логику, операторы жесткой логики заменяются мягкими логическими операторами Лукасевича . Пример выражения логического правила:

Similar(A, B) & HasLabel(A, X) -> HasLabel(B, X)

Это правило можно интерпретировать следующим образом: если A и B подобны и A имеет метку X, то существует свидетельство того, что B также имеет метку X.

Арифметические правила — это отношения двух линейных комбинаций атомов. Ограничение каждой стороны линейной комбинацией гарантирует, что результирующий потенциал будет выпуклым . Поддерживаются следующие операторы отношений: =, <=, и >=.

Similar(A, B) = Similar(B, A)

Это правило отражает идею о том, что сходство в этой модели симметрично.

Часто используемой функцией арифметических правил является операция суммирования. Операцию суммирования можно использовать для объединения нескольких атомов. При использовании атом заменяется суммой всех возможных атомов, где фиксированы переменные, не подлежащие суммированию. Переменные суммирования создаются путем добавления к переменной префикса +. Пример Лисы:

HasLabel(A, +X) = 1.0

Если возможные значения X — label1 , label2 и label3 , то приведенное выше правило эквивалентно:

HasLabel(A, 'label1') + HasLabel(A, 'label2') + HasLabel(A, 'label3') = 1.0

Оба этих правила заставляют сумму всех возможных меток объекта равняться 1,0. Этот тип правил особенно полезен для задач коллективной классификации , где можно выбрать только один класс.

Семантика

HL-MRF

Программа PSL определяет семейство вероятностных графических моделей , параметризованных данными. Более конкретно, определяемое им семейство графических моделей принадлежит к особому классу марковских случайных полей , известному как марковское поле шарнирных потерь (HL-MRF). HL-MRF определяет функцию плотности по набору непрерывных переменных. $\mathbf {y} =(y_{1},\cdots ,y_{n})$ с общим доменом $[0,1]^{n}$ используя набор доказательств $\mathbf {x} =(x_{1},\cdots ,x_{m})$, веса $\mathbf {w} =(w_{1},\cdots ,w_{k})$и потенциальные функции $\mathbf {\phi } =(\phi _{1},\cdots ,\phi _{k})$ формы $\mathbf {\phi _{i}(\mathbf {x} ,\mathbf {y} )} =\max(\ell _{i}(\mathbf {x} ,\mathbf {y} ),0)^{d_{i}}$ где $\ell _{i}$ является линейной функцией и $d_{i}\in \{1,2\}$. Условное распределение $\mathbf {y}$ учитывая наблюдаемые данные $\mathbf {x}$ определяется как

$P(\mathbf {y} |\mathbf {x} )={\frac {1}{Z(\mathbf {y} )}}\exp(\sum _{i=1}^{k}w_{i}\phi _{i}(\mathbf {x} ,\mathbf {y} ))$

Где $Z(\mathbf {y} )=\int _{\mathbf {y} }\exp(\sum _{i=1}^{k}w_{i}\phi _{i}(\mathbf {x} ,\mathbf {y} ))$ является функцией распределения. Эта плотность представляет собой логарифмически выпуклую функцию , и, следовательно, обычная задача вывода в PSL состоит в нахождении максимальной апостериорной оценки совместного состояния $\mathbf {y}$ является выпуклой задачей. Это позволяет сделать вывод в PSL за полиномиальное время.

Открытые/закрытые предикаты – предположение о закрытом мире

Предикаты в PSL могут быть помечены как открытые или закрытые.

Когда предикат помечен как закрытый, PSL делает предположение о закрытом мире : любые предикаты, которые не указаны явно в PSL, считаются ложными. Другими словами, предположение о закрытом мире предполагает, что предикат, который частично истинен, также известен как частично истинный. Например, если бы у нас были следующие константы в данных для представления людей: $\{Alice,Bob\}$ и следующая константа для фильмов: $\{Avatar\}$и мы предоставили PSL данные предиката $\{rating(Alice,Avatar)=0.8\}$ и $rating(\cdot )$ был помечен как закрытый, то PSL будет считать, что $\{rating(Bob,Avatar)=0\}$ даже несмотря на то, что эти данные никогда не предоставлялись системе явно.

Если предикат помечен как открытый, то PSL не делает предположения о закрытом мире. Вместо этого PSL попытается коллективно сделать вывод о ненаблюдаемых случаях.

Заземление

Данные используются для реализации нескольких потенциальных функций в процессе, называемом заземлением. Полученные потенциальные функции затем используются для определения HL-MRF.

Заземление предикатов в PSL — это процесс всех возможных замен переменных в каждом предикате существующими константами в данных, в результате чего образуется набор основных атомов, $\mathbf {y} =\{y_{1},\cdots ,y_{n}\}$. Затем для создания основных правил производятся все возможные замены основных атомов предикатов в правилах.

Каждое из основных правил интерпретируется либо как потенциал, либо как жесткое ограничение в индуцированной HL-MRF. Логическое правило переводится как непрерывное ослабление булевых связок с использованием логики Лукасевича . Основное логическое правило преобразуется в свою дизъюнктивную нормальную форму . Позволять $I^{+}$ — набор индексов переменных, соответствующих неотрицательным атомам, и, аналогично $I^{-}$ набор индексов, соответствующих атомам, которые отрицаются в разделительном предложении. Тогда логическое правило преобразуется в неравенство:

$1-\sum _{i\in I^{+}}y_{i}-\sum _{i\in I^{-}}(1-y_{i})\leq 0$

Если логическое правило имеет вес $w$ и возведен в степень с $d\in \{1,2\}$, то потенциал

$\phi (\mathbf {y} )={\Big (}\max {\Big \{}1-\sum _{i\in I^{+}}y_{i}-\sum _{i\in I^{-}}(1-y_{i}),0{\Big \}}{\Big )}^{d}$

добавляется в HL-MRF с весовым параметром $w$.

Арифметическое правило используется для $\ell (\mathbf {y} )\leq 0$ и результирующий потенциал принимает вид $\phi (\mathbf {y} )=(\max\{\ell (\mathbf {y} ),0\})^{d}$.

Интерфейсы

PSL доступен через три различных языковых интерфейса : CLI , Java и Python . Интерфейс командной строки (CLI) PSL — рекомендуемый способ использования PSL. Он поддерживает все обычно используемые функции в воспроизводимой форме, не требующей компиляции. Поскольку PSL написан на Java, интерфейс PSL Java является наиболее обширным, и пользователи могут обращаться непосредственно к ядру PSL. Интерфейс Java доступен через центральный репозиторий Maven . Интерфейс PSL Python доступен через PyPi. и использует Pandas DataFrames для передачи данных между PSL и пользователем.

PSL ранее предоставлял интерфейс Groovy. Он устарел в версии PSL 2.2.1 и планируется удалить в версии 2.3.0.

Примеры

Лаборатория LINQS, разработчики официальной реализации PSL, поддерживает коллекцию примеров PSL. Эти примеры охватывают как синтетические, так и реальные наборы данных и включают примеры из научных публикаций с использованием PSL. Ниже приведен игрушечный пример из этого репозитория, который можно использовать для вывода отношений в социальной сети. К каждому правилу прилагается комментарий, описывающий интуитивную мотивацию, лежащую в основе утверждений.

/* People living in the same location are more likely to know one another. */
20: Lived(P1, L) & Lived(P2, L) & (P1 != P2) -> Knows(P1, P2) ^2

/* People who have not lived in the same location are not likely to know one another. */
5: Lived(P1, L1) & Lived(P2, L2) & (P1 != P2) & (L1 != L2) -> !Knows(P1, P2) ^2

/* Two people with similar interests are more likely to know one another. */
10: Likes(P1, X) & Likes(P2, X) & (P1 != P2) -> Knows(P1, P2) ^2

/* People in the same circles tend to know one another (transitivity). */
5: Knows(P1, P2) & Knows(P2, P3) & (P1 != P3) -> Knows(P1, P3) ^2

/* Knowing one another is symmetric. */
Knows(P1, P2) = Knows(P2, P1) .

/* By default, assume that two arbitrary people do not know one another (negative prior). */
5: !Knows(P1, P2) ^2

См. также

• Статистическое реляционное обучение
• Вероятностно-логическая сеть
• Марковская логическая сеть
• Нечеткая логика

Внешние ссылки

• Видеолекции о PSL на Youtube