Матричная факторизация (рекомендательные системы)

Чтобы узнать о разложении матриц, изучаемом в линейной алгебре, см. « Разложение матрицы» .

Матричная факторизация — это класс алгоритмов совместной фильтрации, используемых в рекомендательных системах . взаимодействия пользователя и элемента Алгоритмы матричной факторизации работают путем разложения матрицы на произведение двух прямоугольных матриц меньшей размерности. Это семейство методов стало широко известно во время конкурса Netflix благодаря своей эффективности, о которой сообщил Саймон Фанк в своем сообщении в блоге 2006 года: где он поделился своими выводами с исследовательским сообществом. Результаты прогнозирования можно улучшить, присвоив различные веса регуляризации скрытым факторам на основе популярности элементов и активности пользователей.

Техники

Идея матричной факторизации заключается в представлении пользователей и элементов в скрытом пространстве более низкой размерности . С момента первой работы Фанка в 2006 году для рекомендательных систем было предложено множество подходов матричной факторизации. Некоторые из наиболее часто используемых и простых из них перечислены в следующих разделах.

Фанк МФ

Оригинальный алгоритм, предложенный Саймоном Фанком в его сообщении в блоге. факторизовал матрицу рейтингов элементов пользователя как произведение двух матриц меньшей размерности: первая имеет строку для каждого пользователя, а вторая имеет столбец для каждого элемента. Строка или столбец, связанные с конкретным пользователем или элементом, называются скрытыми факторами . Обратите внимание, что в Funk MF не применяется разложение по сингулярным значениям , это модель машинного обучения, подобная SVD. Прогнозируемые рейтинги можно рассчитать как ${\tilde {R}}=HW$, где ${\tilde {R}}\in \mathbb {R} ^{{\text{users}}\times {\text{items}}}$ — матрица рейтингов элементов пользователя, $H\in \mathbb {R} ^{{\text{users}}\times {\text{latent factors}}}$ содержит скрытые факторы пользователя и $W\in \mathbb {R} ^{{\text{latent factors}}\times {\text{items}}}$ скрытые факторы предмета.

В частности, прогнозируемая оценка, которую пользователь u поставит элементу i, рассчитывается как:

${\tilde {r}}_{ui}=\sum _{f=0}^{\text{n factors}}H_{u,f}W_{f,i}$

Выразительную силу модели можно настроить, изменяя количество скрытых факторов. Это было продемонстрировано что матричная факторизация с одним скрытым фактором эквивалентна самому популярному или самому популярному рекомендателю (например, рекомендует элементы с наибольшим количеством взаимодействий без какой-либо персонализации). Увеличение количества скрытых факторов улучшит персонализацию и, следовательно, качество рекомендаций, пока количество факторов не станет слишком большим, после чего модель начнет переобучаться, и качество рекомендаций снизится. Общая стратегия, позволяющая избежать переобучения, заключается в добавлении условий регуляризации к целевой функции. Funk MF был разработан как задача прогнозирования рейтинга , поэтому он использует явные числовые рейтинги в качестве взаимодействия пользователя с элементом.

Учитывая все обстоятельства, Funk MF минимизирует следующую целевую функцию:

${\underset {H,W}{\operatorname {arg\,min} }}\,\|R-{\tilde {R}}\|_{\rm {F}}+\alpha \|H\|+\beta \|W\|$

Где $\|.\|_{\rm {F}}$ определяется как норма Фробениуса , тогда как другие нормы могут быть либо нормой Фробениуса, либо другой нормой в зависимости от конкретной проблемы рекомендации.

СВД++

Хотя Funk MF может обеспечить очень хорошее качество рекомендаций, его способность использовать только явные числовые рейтинги при взаимодействии пользователя с элементами представляет собой ограничение. Современные рекомендательные системы должны использовать все доступные взаимодействия, как явные (например, числовые рейтинги), так и неявные (например, лайки, покупки, пропуск, добавление в закладки). С этой целью SVD++ был разработан с учетом неявных взаимодействий. По сравнению с Funk MF, SVD++ также учитывает предвзятость пользователя и предмета.

Прогнозируемый рейтинг, который пользователь u поставит элементу i, рассчитывается как:

${\tilde {r}}_{ui}=\mu +b_{i}+b_{u}+\sum _{f=0}^{\text{n factors}}H_{u,f}W_{f,i}$

Где $\mu$ относится к общей средней оценке по всем пунктам и $b_{i}$ и $b_{u}$ относится к наблюдаемому отклонению элемента $i$ и пользователь $u$ соответственно от среднего. Однако у SVD++ есть некоторые недостатки, главный из которых заключается в том, что этот метод не основан на моделях. Это означает, что если будет добавлен новый пользователь, алгоритм не сможет его смоделировать, пока вся модель не будет переобучена. Несмотря на то, что система, возможно, собрала некоторые взаимодействия для этого нового пользователя, ее скрытые факторы недоступны, и поэтому никакие рекомендации не могут быть вычислены. Это пример проблемы «холодного запуска» , то есть рекомендатель не может эффективно работать с новыми пользователями или элементами, и для устранения этого недостатка необходимо разработать специальные стратегии.

Возможный способ решения этой проблемы холодного запуска — модифицировать SVD++, чтобы он стал алгоритмом , основанным на модели , что позволило бы легко управлять новыми элементами и новыми пользователями.

Как упоминалось ранее, в SVD++ нет скрытых факторов новых пользователей, поэтому их необходимо представлять по-другому. Скрытые факторы пользователя представляют собой предпочтение этого пользователя скрытым факторам соответствующего элемента, поэтому скрытые факторы пользователя могут быть оценены на основе прошлых взаимодействий с пользователем. Если система способна собрать некоторые взаимодействия для нового пользователя, можно оценить его скрытые факторы.Обратите внимание, что это не полностью решает проблему холодного запуска , поскольку рекомендатель по-прежнему требует некоторых надежных взаимодействий для новых пользователей, но, по крайней мере, нет необходимости каждый раз пересчитывать всю модель. Было продемонстрировано, что эта формулировка почти эквивалентна модели SLIM. который представляет собой рекомендацию на основе модели элемента .

${\tilde {r}}_{ui}=\mu +b_{i}+b_{u}+\sum _{f=0}^{\text{n factors}}{\biggl (}\sum _{j=0}^{\text{n items}}r_{uj}W_{j,f}^{T}{\biggr )}W_{f,i}$

При такой формулировке эквивалентный рекомендатель по пунктам будет выглядеть так: ${\tilde {R}}=RS=RW^{\rm {T}}W$. Следовательно, матрица подобия симметрична.

Асимметричная СВД

Целью асимметричного SVD является объединение преимуществ SVD++ и алгоритма, основанного на модели, что дает возможность рассматривать новых пользователей с несколькими рейтингами без необходимости переобучения всей модели. В отличие от SVD на основе модели, здесь матрица скрытых факторов пользователя H заменяется на Q, которая изучает предпочтения пользователя в зависимости от его рейтингов.

Прогнозируемый рейтинг, который пользователь u поставит элементу i, рассчитывается как:

${\tilde {r}}_{ui}=\mu +b_{i}+b_{u}+\sum _{f=0}^{\text{n factors}}\sum _{j=0}^{\text{n items}}r_{uj}Q_{j,f}W_{f,i}$

При такой формулировке эквивалентный рекомендатель по пунктам будет выглядеть так: ${\tilde {R}}=RS=RQ^{\rm {T}}W$. Поскольку матрицы Q и W различны, матрица подобия асимметрична, отсюда и название модели.

SVD для конкретной группы

SVD для конкретной группы может быть эффективным решением проблемы холодного запуска во многих сценариях. Он группирует пользователей и элементы на основе информации о зависимостях и сходстве характеристик. Затем, как только появится новый пользователь или элемент, мы можем присвоить ему групповую метку и аппроксимировать его скрытый фактор групповыми эффектами (соответствующей группы). Таким образом, хотя рейтинги, связанные с новым пользователем или элементом, не обязательно доступны, групповые эффекты обеспечивают немедленные и эффективные прогнозы.

Прогнозируемый рейтинг, который пользователь u поставит элементу i, рассчитывается как:

${\tilde {r}}_{ui}=\sum _{f=0}^{\text{n factors}}(H_{u,f}+S_{v_{u},f})(W_{f,i}+T_{f,j_{i}})$

Здесь $v_{u}$ и $j_{i}$ представляют метку группы пользователя u и элемента i соответственно, которые одинаковы для всех членов одной группы. И $S$ и $T$ являются матрицами групповых эффектов. Например, для нового пользователя $u_{new}$ чей скрытый фактор $H_{u_{new}}$ недоступен, мы можем, по крайней мере, идентифицировать их групповую метку $v_{u_{new}}$и предскажите их рейтинги как:

${\tilde {r}}_{u_{new}i}=\sum _{f=0}^{\text{n factors}}S_{v_{u_{new}},f}(W_{f,i}+T_{f,j_{i}})$

Это обеспечивает хорошее приближение к ненаблюдаемым рейтингам.

Гибридный МФ

В последние годы было разработано множество других моделей матричной факторизации, позволяющих использовать постоянно растущее количество и разнообразие доступных данных о взаимодействии и вариантов использования. Алгоритмы гибридной матричной факторизации способны объединять явные и неявные взаимодействия. или как контент, так и совместные данные

Глубокое обучение MF

В последние годы был предложен ряд методов нейронного и глубокого обучения, некоторые из которых обобщают традиционные алгоритмы матричной факторизации с помощью нелинейной нейронной архитектуры. Хотя глубокое обучение применялось во многих различных сценариях: с учетом контекста, с учетом последовательности, социальными тегами и т. д., его реальная эффективность при использовании в простом сценарии совместной фильтрации была поставлена ​​под сомнение. Систематический анализ публикаций, применяющих глубокое обучение или нейронные методы для решения проблемы рекомендаций top-k, опубликованных на ведущих конференциях (SIGIR, KDD, WWW, RecSys, IJCAI), показал, что в среднем менее 40% статей воспроизводимы, при этом на некоторых конференциях всего 14%. В целом исследования выявили 26 статей, только 12 из них можно было воспроизвести, а 11 из них можно превзойти по эффективности гораздо более старые и простые, правильно настроенные базовые показатели. В статьях также подчеркивается ряд потенциальных проблем в сегодняшних научных исследованиях и содержится призыв к совершенствованию научной практики в этой области. Подобные проблемы были обнаружены и в рекомендательных системах, учитывающих последовательность действий.

См. также

• Совместная фильтрация
• Рекомендательная система