Рекомендательная система

Рекомендательная система или система рекомендаций (иногда заменяющая систему такими терминами, как «платформа» , «движок» или «алгоритм» ) — это подкласс системы фильтрации информации , которая предоставляет предложения по элементам, наиболее подходящим для конкретного пользователя. ^{[ 1 ]}^{[ 2 ]}^{[ 3 ]} Рекомендательные системы особенно полезны, когда человеку необходимо выбрать товар из потенциально огромного числа товаров, которые может предложить услуга. ^{[ 1 ]}^{[ 4 ]}

Обычно предложения относятся к различным процессам принятия решений , например, какой продукт купить, какую музыку слушать или какие онлайн-новости читать. ^{[ 1 ]} Рекомендательные системы используются в самых разных областях, общепризнанными примерами являются генераторы списков воспроизведения для видео- и музыкальных сервисов, рекомендации продуктов для интернет-магазинов или рекомендации контента для платформ социальных сетей и рекомендации открытого веб-контента. ^{[ 5 ]}^{[ 6 ]} Эти системы могут работать, используя один тип входных данных, например музыку, или несколько входных данных внутри и между платформами, таких как новости, книги и поисковые запросы. Существуют также популярные системы рекомендаций по конкретным темам, таким как рестораны и онлайн-знакомства . Также были разработаны рекомендательные системы для изучения исследовательских статей и экспертов. ^{[ 7 ]} сотрудники, ^{[ 8 ]} и финансовые услуги. ^{[ 9 ]}

Платформа обнаружения контента — это реализованная программная рекомендаций платформа , которая использует инструменты рекомендательной системы. пользователя Он использует метаданные , чтобы находить и рекомендовать подходящий контент, одновременно сокращая текущие затраты на обслуживание и разработку. Платформа обнаружения контента доставляет персонализированный контент на веб-сайты , мобильные устройства и телеприставки . В настоящее время существует широкий спектр платформ обнаружения контента для различных форм контента, начиная от новостных статей и в научных журналах. статей ^{[ 10 ]} на телевидение. ^{[ 11 ]} Поскольку операторы конкурируют за право быть воротами в домашние развлечения, персонализированное телевидение становится ключевым отличием услуг. Поиск академического контента в последнее время стал еще одной областью интересов: было создано несколько компаний, которые помогают академическим исследователям быть в курсе актуального академического контента и по счастливой случайности открывать новый контент. ^{[ 10 ]}

Обзор

Рекомендательные системы обычно используют либо совместную фильтрацию , либо фильтрацию на основе контента (также известную как личностный подход), а также другие системы, такие как системы, основанные на знаниях . Подходы к совместной фильтрации строят модель на основе прошлого поведения пользователя (предметы, купленные или выбранные ранее, и/или числовые рейтинги, присвоенные этим элементам), а также аналогичные решения, принятые другими пользователями. Эта модель затем используется для прогнозирования элементов (или оценок элементов), которые могут заинтересовать пользователя. ^{[ 12 ]} Подходы к фильтрации на основе контента используют ряд дискретных предварительно помеченных характеристик элемента, чтобы рекомендовать дополнительные элементы с похожими свойствами. ^{[ 13 ]}

Различия между совместной фильтрацией и фильтрацией на основе контента можно продемонстрировать, сравнив две системы рекомендаций старинной музыки, Last.fm и Pandora Radio .

Last.fm создает «станцию» из рекомендуемых песен, наблюдая за тем, какие группы и отдельные треки пользователь регулярно слушает, и сравнивая их с поведением других пользователей при прослушивании. Last.fm будет воспроизводить треки, которых нет в библиотеке пользователя, но часто воспроизводят другие пользователи со схожими интересами. Поскольку этот подход использует поведение пользователей, он является примером метода совместной фильтрации. ^{[ 14 ]}
Pandora использует свойства песни или исполнителя (подмножество из 400 атрибутов, предоставленных проектом Music Genome ) для создания «станции», воспроизводящей музыку со схожими свойствами. Отзывы пользователей используются для уточнения результатов станции, принижая значение определенных атрибутов, когда пользователю «не нравится» конкретная песня, и подчеркивая другие атрибуты, когда пользователю «нравится» песня. Это пример контент-ориентированного подхода.

Каждый тип системы имеет свои сильные и слабые стороны. В приведенном выше примере Last.fm требует большого объема информации о пользователе, чтобы дать точные рекомендации. Это пример проблемы холодного запуска , которая часто встречается в системах совместной фильтрации. ^{[ 15 ]}^{[ 16 ]}^{[ 17 ]}^{[ 18 ]}^{[ 19 ]}^{[ 20 ]} Хотя для запуска Pandora требуется очень мало информации, ее объем гораздо более ограничен (например, она может давать только рекомендации, аналогичные исходному началу).

Рекомендательные системы являются полезной альтернативой поисковым алгоритмам, поскольку они помогают пользователям находить элементы, которые иначе они бы не нашли. Следует отметить, что рекомендательные системы часто реализуются с использованием поисковых систем, индексирующих нетрадиционные данные.

Рекомендательные системы были предметом нескольких выданных патентов. ^{[ 21 ]}^{[ 22 ]}^{[ 23 ]}^{[ 24 ]}^{[ 25 ]}

История

Элейн Рич создала первую рекомендательную систему в 1979 году под названием Grundy. ^{[ 26 ]}^{[ 27 ]} Она искала способ рекомендовать пользователям книги, которые им могут понравиться. Ее идея заключалась в том, чтобы создать систему, которая задает пользователям конкретные вопросы и классифицирует их по классам предпочтений или «стереотипам» в зависимости от их ответов. В зависимости от стереотипной принадлежности пользователей они будут получать рекомендации по книгам, которые могут им понравиться.

Другая ранняя рекомендательная система, названная «цифровая книжная полка», была описана в техническом отчете 1990 года Юсси Карлгреном из Колумбийского университета. ^{[ 28 ]} и реализовано в большом масштабе и проработано в технических отчетах и публикациях с 1994 года Юсси Карлгреном , тогда работавшим в SICS , ^{[ 29 ]}^{[ 30 ]} и исследовательские группы под руководством Патти Мэйс из Массачусетского технологического института, ^{[ 31 ]} Уилл Хилл в Bellcore, ^{[ 32 ]} и Пол Резник , также из Массачусетского технологического института, ^{[ 33 ]}^{[ 4 ]} чья работа с GroupLens была отмечена наградой ACM Software Systems Award 2010 .

Монтанер представил первый обзор рекомендательных систем с точки зрения интеллектуального агента. ^{[ 34 ]} Адомавичус представил новый, альтернативный обзор рекомендательных систем. ^{[ 35 ]} Херлокер предоставляет дополнительный обзор методов оценки рекомендательных систем. ^{[ 36 ]} и Бил и др. обсудили проблемы офлайн-оценок. ^{[ 37 ]} Бил и др. также предоставили обзоры литературы по доступным системам рекомендации исследовательских работ и существующим проблемам. ^{[ 38 ]}^{[ 39 ]}

Подходы

Совместная фильтрация

Одним из подходов к разработке рекомендательных систем, получившим широкое распространение, является совместная фильтрация . ^{[ 40 ]} Совместная фильтрация основана на предположении, что люди, которые согласились в прошлом, согласятся и в будущем, и что им понравятся те же виды элементов, что и в прошлом. Система генерирует рекомендации, используя только информацию о профилях оценок для разных пользователей или товаров. Находя одноранговых пользователей/элементы с историей оценок, аналогичной текущему пользователю или элементу, они генерируют рекомендации, используя это соседство. Методы совместной фильтрации подразделяются на основанные на памяти и основанные на моделях. Хорошо известным примером подходов, основанных на памяти, является алгоритм, основанный на пользователе. ^{[ 41 ]} в то время как подходы, основанные на моделях, представляют собой матричную факторизацию (рекомендательные системы) . ^{[ 42 ]}

Ключевое преимущество подхода совместной фильтрации заключается в том, что он не полагается на контент, поддающийся машинному анализу, и поэтому способен точно рекомендовать сложные элементы, такие как фильмы, не требуя «понимания» самого элемента. Многие алгоритмы использовались для измерения сходства пользователей или сходства товаров в рекомендательных системах. Например, подход k-ближайшего соседа (k-NN) ^{[ 43 ]} и корреляция Пирсона , впервые реализованная Алленом. ^{[ 44 ]}

При построении модели на основе поведения пользователя часто различают явную и неявную формы сбора данных .

Примеры явного сбора данных включают следующее:

Просить пользователя оценить элемент по скользящей шкале.
Просить пользователя выполнить поиск.
Просить пользователя ранжировать коллекцию предметов от любимого до наименее любимого.
Представляем пользователю два предмета и просим его выбрать лучший из них.
Просить пользователя создать список предметов, которые ему/ей нравятся (см. классификацию Роккио или другие подобные методы).

Примеры неявного сбора данных включают следующее:

Наблюдение за товарами, которые пользователь просматривает в интернет-магазине.
Анализ времени просмотра элементов/пользователей. ^{[ 45 ]}
Ведение учета товаров, которые пользователь покупает онлайн.
Получение списка элементов, которые пользователь слушал или смотрел на своем компьютере.
Анализ социальной сети пользователя и выявление схожих симпатий и антипатий.

Подходы к совместной фильтрации часто страдают от трех проблем: холодный запуск , масштабируемость и разреженность. ^{[ 46 ]}

Холодный старт : для нового пользователя или объекта недостаточно данных для вынесения точных рекомендаций. Примечание: одним из часто реализуемых решений этой проблемы является алгоритм многорукого бандита . ^{[ 47 ]}^{[ 15 ]}^{[ 16 ]}^{[ 18 ]}^{[ 20 ]}
Масштабируемость . Во многих средах, в которых эти системы выдают рекомендации, существуют миллионы пользователей и продуктов. Таким образом, для расчета рекомендаций часто требуется большая вычислительная мощность.
Разреженность : количество товаров, продаваемых на крупных сайтах электронной коммерции, чрезвычайно велико. Наиболее активные пользователи оценят лишь небольшую часть всей базы данных. Таким образом, даже самые популярные товары имеют очень мало оценок.

Одним из наиболее известных примеров совместной фильтрации является совместная фильтрация по каждому товару (люди, которые покупают x, также покупают и y), алгоритм, популяризированный . рекомендательной системой Amazon.com ^{[ 48 ]}

Многие социальные сети изначально использовали совместную фильтрацию, чтобы рекомендовать новых друзей, группы и другие социальные связи путем изучения сети связей между пользователем и его друзьями. ^{[ 1 ]} Коллаборативная фильтрация до сих пор используется как часть гибридных систем.

Контентная фильтрация

Другой распространенный подход при разработке рекомендательных систем — фильтрация на основе контента . Методы контентной фильтрации основаны на описании элемента и профиле предпочтений пользователя. ^{[ 49 ]}^{[ 50 ]} Эти методы лучше всего подходят для ситуаций, когда известны данные об элементе (имя, местоположение, описание и т. д.), но не о пользователе. Рекомендатели, основанные на контенте, рассматривают рекомендации как проблему классификации, специфичную для пользователя, и изучают классификатор симпатий и антипатий пользователя на основе характеристик элемента.

В этой системе для описания элементов используются ключевые слова, а профиль пользователя создается для указания типа элемента, который нравится этому пользователю. Другими словами, эти алгоритмы пытаются рекомендовать элементы, похожие на те, которые пользователю нравились в прошлом или просматриваются в настоящем. Для создания этого зачастую временного профиля не используется механизм входа пользователя. В частности, различные элементы-кандидаты сравниваются с элементами, ранее оцененными пользователем, и рекомендуются наиболее подходящие элементы. Этот подход уходит корнями в исследования по поиску и фильтрации информации .

Для создания профиля пользователя система в основном ориентируется на два типа информации:

Модель предпочтений пользователя.
История взаимодействия пользователя с рекомендательной системой.

По сути, эти методы используют профиль элемента (т. е. набор дискретных атрибутов и функций), характеризующий элемент в системе. Чтобы абстрагировать характеристики элементов в системе, применяется алгоритм представления элементов. Широко используемым алгоритмом является представление tf–idf (также называемое представлением в векторном пространстве). ^{[ 51 ]} Система создает профиль пользователей на основе контента на основе взвешенного вектора характеристик элемента. Веса обозначают важность каждой функции для пользователя и могут быть рассчитаны на основе векторов контента с индивидуальной оценкой с использованием различных методов. Простые подходы используют средние значения вектора рейтинговых элементов, в то время как другие сложные методы используют методы машинного обучения, такие как байесовские классификаторы , кластерный анализ , деревья решений и искусственные нейронные сети , чтобы оценить вероятность того, что элемент понравится пользователю. ^{[ 52 ]}

Ключевая проблема с фильтрацией на основе контента заключается в том, может ли система узнавать пользовательские предпочтения на основе действий пользователей в отношении одного источника контента и использовать их для других типов контента. Когда система ограничивается рекомендацией контента того же типа, который уже использует пользователь, ценность системы рекомендаций значительно меньше, чем когда могут быть рекомендованы другие типы контента из других служб. Например, полезно рекомендовать новостные статьи на основе просмотра новостей. Тем не менее, было бы гораздо полезнее, если бы музыку, видео, продукты, обсуждения и т. д. из разных сервисов можно было рекомендовать на основе просмотра новостей. Чтобы преодолеть эту проблему, большинство рекомендательных систем на основе контента теперь используют ту или иную форму гибридной системы.

Системы рекомендаций на основе контента также могут включать системы рекомендаций на основе мнений. В некоторых случаях пользователям разрешено оставлять текстовые отзывы или отзывы о товарах. Эти генерируемые пользователем тексты являются неявными данными для рекомендательной системы, поскольку они потенциально являются богатыми ресурсами как функций/аспектов элемента, так и оценок/отношений пользователей к этому элементу. Функции, извлеченные из отзывов, созданных пользователями, представляют собой улучшенные метаданные элементов, поскольку, поскольку они также отражают такие аспекты элемента, как метаданные, извлеченные функции широко интересуют пользователей. Мнения, извлеченные из обзоров, можно рассматривать как оценки пользователей по соответствующим функциям. Популярные подходы к системе рекомендаций на основе мнений используют различные методы, включая интеллектуальный анализ текста , поиск информации , анализ настроений (см. Также Мультимодальный анализ настроений ) и глубокое обучение . ^{[ 53 ]}

Гибридные рекомендации

Большинство рекомендательных систем сейчас используют гибридный подход, сочетающий в себе совместную фильтрацию , фильтрацию на основе контента и другие подходы. Нет причин, по которым нельзя было бы гибридизировать несколько разных методов одного типа. Гибридные подходы могут быть реализованы несколькими способами: путем отдельного составления прогнозов на основе контента и на основе сотрудничества, а затем их объединения; путем добавления возможностей, основанных на контенте, к подходу, основанному на сотрудничестве (и наоборот); или путем объединения подходов в одну модель. ^{[ 35 ]} Несколько исследований, в которых эмпирически сравнивалась эффективность гибридных методов с чистыми методами сотрудничества и контент-ориентированными методами, были продемонстрированы, что гибридные методы могут давать более точные рекомендации, чем чистые подходы. Эти методы также можно использовать для преодоления некоторых распространенных проблем в рекомендательных системах, таких как холодный запуск и проблема разреженности, а также узкое место в разработке знаний в подходах, основанных на знаниях . ^{[ 54 ]}

Netflix — хороший пример использования гибридных рекомендательных систем. ^{[ 55 ]} Веб-сайт дает рекомендации, сравнивая привычки просмотра и поиска похожих пользователей (т. е. совместная фильтрация), а также предлагая фильмы, которые имеют общие характеристики с фильмами, получившими высокую оценку пользователя (фильтрация на основе контента).

Некоторые методы гибридизации включают:

Взвешенный : цифровое объединение оценок различных компонентов рекомендаций.
Переключение : выбор компонентов рекомендаций и применение выбранного.
Смешанный : рекомендации разных рекомендателей представлены вместе, чтобы дать рекомендацию.
Комбинация функций : функции, полученные из разных источников знаний, объединяются и передаются в единый алгоритм рекомендаций. ^{[ 56 ]}
Расширение функций : вычисление функции или набора функций, которые затем становятся частью входных данных для следующего метода. ^{[ 56 ]}
Каскад : рекомендателям дается строгий приоритет, при этом рекомендации с более низким приоритетом разрывают ничью в рейтинге с более высокими.
Метауровень : применяется один рекомендательный метод и создается своего рода модель, которая затем является входными данными для следующего метода. ^{[ 57 ]}

Технологии

Обучение с подкреплением для рекомендательных систем

Проблему рекомендаций можно рассматривать как частный случай проблемы обучения с подкреплением, в которой пользователь представляет собой среду, на которую действует агент, система рекомендаций, чтобы получить вознаграждение, например, щелчок или взаимодействие пользователя. ^{[ 59 ]}^{[ 65 ]}^{[ 66 ]} Одним из аспектов обучения с подкреплением, который особенно полезен в области рекомендательных систем, является тот факт, что модели или политики могут быть изучены путем предоставления вознаграждения рекомендательному агенту. В отличие от традиционных методов обучения, которые основаны на менее гибких подходах к обучению с учителем, методы рекомендаций обучения с подкреплением позволяют потенциально обучать модели, которые можно оптимизировать непосредственно на основе показателей вовлеченности и интереса пользователей. ^{[ 67 ]}

Многокритериальные рекомендательные системы

Многокритериальные рекомендательные системы (MCRS) можно определить как рекомендательные системы, которые включают информацию о предпочтениях по множеству критериев. Вместо разработки методов рекомендаций, основанных на одном значении критерия, общем предпочтении пользователя u для элемента i, эти системы пытаются спрогнозировать рейтинг для неисследованных элементов u, используя информацию о предпочтениях по множеству критериев, которые влияют на это общее значение предпочтения. Некоторые исследователи подходят к MCRS как к проблеме принятия многокритериальных решений (MCDM) и применяют методы и приемы MCDM для реализации систем MCRS. ^{[ 68 ]} См. эту главу ^{[ 69 ]} для расширенного ознакомления.

Мобильные рекомендательные системы

Мобильные рекомендательные системы используют смартфоны с доступом в Интернет для предоставления персонализированных, контекстно-зависимых рекомендаций. Это особенно сложная область исследований, поскольку мобильные данные более сложны, чем данные, с которыми часто приходится иметь дело рекомендательным системам. Он неоднороден, зашумлен, требует пространственной и временной автокорреляции и имеет проблемы с проверкой и общностью. ^{[ 71 ]}

Есть три фактора, которые могут повлиять на мобильные рекомендательные системы и точность результатов прогнозирования: контекст, метод рекомендаций и конфиденциальность. ^{[ 72 ]} Кроме того, мобильные рекомендательные системы страдают от проблемы трансплантации: рекомендации могут применяться не во всех регионах (например, было бы неразумно рекомендовать рецепт в регионе, где все ингредиенты могут быть недоступны).

Одним из примеров мобильных рекомендательных систем являются подходы, применяемые такими компаниями, как Uber и Lyft, для создания маршрутов движения для водителей такси в городе. ^{[ 71 ]} Эта система использует данные GPS о маршрутах, которые таксисты используют во время работы, включая местоположение (широту и долготу), отметки времени и рабочий статус (с пассажирами или без них). Он использует эти данные, чтобы рекомендовать список пунктов выдачи на маршруте с целью оптимизации времени занятости и прибыли.

Премия Netflix

Одним из событий, которое активизировало исследования в области рекомендательных систем, стала премия Netflix . С 2006 по 2009 год Netflix спонсировал конкурс, предлагая главный приз в размере 1 000 000 долларов команде, которая сможет взять предлагаемый набор данных, содержащий более 100 миллионов рейтингов фильмов, и выдать рекомендации, которые будут на 10% более точными, чем те, которые предлагает существующая рекомендательная система компании. Это соревнование стимулировало поиск новых и более точных алгоритмов. 21 сентября 2009 года главный приз в размере 1 000 000 долларов США был вручен команде BellKor Pragmatic Chaos по правилам тай-брейка. ^{[ 73 ]}

Самый точный алгоритм 2007 года использовал ансамблевый метод из 107 различных алгоритмических подходов, объединенных в один прогноз. По словам победителей, Белла и др.: ^{[ 74 ]}

Точность прогнозирования существенно повышается при объединении нескольких предикторов. Наш опыт показывает, что большинство усилий следует сосредоточить на разработке существенно разных подходов, а не на совершенствовании одной методики. Следовательно, наше решение представляет собой ансамбль многих методов.

Благодаря проекту Netflix Интернет получил множество преимуществ. Некоторые команды взяли свои технологии и применили их на других рынках. Некоторые члены команды, занявшей второе место, основали Gravity R&D , систему рекомендаций, активную в сообществе RecSys . ^{[ 73 ]}^{[ 75 ]} Компания 4-Tell, Inc. создала решение на основе проекта Netflix для веб-сайтов электронной коммерции.

Ряд проблем с конфиденциальностью возник вокруг набора данных, предложенного Netflix для конкурса Netflix Prize. Хотя наборы данных были анонимизированы в целях сохранения конфиденциальности клиентов, в 2007 году два исследователя из Техасского университета смогли идентифицировать отдельных пользователей, сопоставив наборы данных с рейтингами фильмов в базе данных фильмов в Интернете. ^{[ 76 ]} В результате в декабре 2009 года анонимный пользователь Netflix подал в суд на Netflix в деле Доу против Netflix, утверждая, что Netflix нарушил законы США о справедливой торговле и Закон о защите конфиденциальности видео, выпустив наборы данных. ^{[ 77 ]} Это, а также опасения Федеральной торговой комиссии привели к отмене второго конкурса Netflix Prize в 2010 году. ^{[ 78 ]}

Оценка

Показатели эффективности

Оценка важна для оценки эффективности рекомендательных алгоритмов. Для измерения эффективности рекомендательных систем и сравнения различных подходов три типа оценок доступны : исследования пользователей, онлайн-оценки (A/B-тесты) и оффлайн-оценки. ^{[ 37 ]}

Обычно используемыми показателями являются среднеквадратическая ошибка и среднеквадратическая ошибка , последняя использовалась в премии Netflix. Показатели поиска информации, такие как точность и полнота или DCG, полезны для оценки качества метода рекомендаций. Разнообразие, новизна и охват также считаются важными аспектами оценки. ^{[ 79 ]} Однако многие классические меры оценки подвергаются резкой критике. ^{[ 80 ]}

Оценка эффективности алгоритма рекомендаций на фиксированном наборе тестовых данных всегда будет чрезвычайно сложной задачей, поскольку невозможно точно предсказать реакцию реальных пользователей на рекомендации. Следовательно, любая метрика, вычисляющая эффективность алгоритма на основе офлайн-данных, будет неточной.

Исследования пользователей имеют довольно небольшой масштаб. Нескольким десяткам или сотням пользователей предоставляются рекомендации, созданные с помощью разных подходов, а затем пользователи решают, какие рекомендации являются лучшими.

В A/B-тестах рекомендации обычно показываются тысячам пользователей реального продукта, и рекомендательная система случайным образом выбирает как минимум два разных подхода к выработке рекомендаций. Эффективность измеряется с помощью неявных показателей эффективности, таких как коэффициент конверсии или рейтинг кликов .

Офлайн-оценки основаны на исторических данных, например наборе данных, который содержит информацию о том, как пользователи ранее оценивали фильмы. ^{[ 81 ]}

Затем эффективность рекомендательных подходов измеряется на основе того, насколько хорошо рекомендательный подход может предсказать рейтинги пользователей в наборе данных. Хотя рейтинг является явным выражением того, понравился ли пользователю фильм, такая информация доступна не во всех доменах. Например, в системах рекомендаций по цитированию пользователи обычно не оценивают цитирование или рекомендуемую статью. В таких случаях в офлайн-оценках могут использоваться неявные меры эффективности. Например, можно предположить, что рекомендательная система эффективна, поскольку она способна рекомендовать как можно больше статей, содержащихся в списке литературы исследовательской статьи. Однако многие исследователи считают такого рода офлайн-оценки критически важными. ^{[ 82 ]}^{[ 83 ]}^{[ 84 ]}^{[ 37 ]} Например, было показано, что результаты офлайн-оценок имеют низкую корреляцию с результатами исследований пользователей или A/B-тестов. ^{[ 84 ]}^{[ 85 ]} Было показано, что набор данных, популярный для автономной оценки, содержит повторяющиеся данные и, таким образом, приводит к неверным выводам при оценке алгоритмов. ^{[ 86 ]} Часто результаты так называемых офлайн-оценок не коррелируют с фактически оцененной удовлетворенностью пользователей. ^{[ 87 ]} Вероятно, это связано с тем, что офлайн-обучение сильно смещено в сторону легко достижимых элементов, а на данные офлайн-тестирования сильно влияют результаты модуля онлайн-рекомендаций. ^{[ 82 ]}^{[ 88 ]} Исследователи пришли к выводу, что к результатам офлайн-оценок следует относиться критически. ^{[ 89 ]}

За пределами точности

Обычно исследования рекомендательных систем направлены на поиск наиболее точных алгоритмов рекомендаций. Однако есть ряд факторов, которые также важны.

Разнообразие . Пользователи, как правило, более удовлетворены рекомендациями, если внутри списка больше разнообразия, например, произведения разных исполнителей. ^{[ 90 ]}^{[ 91 ]}

Настойчивость рекомендаций . В некоторых ситуациях более эффективно повторно показывать рекомендации. ^{[ 92 ]} или позволить пользователям повторно оценивать элементы, ^{[ 93 ]} чем показывать новинки. Для этого есть несколько причин. Пользователи могут игнорировать элементы, когда они отображаются впервые, например, потому, что у них не было времени внимательно изучить рекомендации.
Конфиденциальность . Рекомендательным системам обычно приходится иметь дело с проблемами конфиденциальности. ^{[ 94 ]} потому что пользователи должны раскрывать конфиденциальную информацию. Создание профилей пользователей с использованием совместной фильтрации может быть проблематичным с точки зрения конфиденциальности. Во многих европейских странах существует сильная культура конфиденциальности данных , и каждая попытка внедрить какой-либо уровень профилирования пользователей может привести к негативной реакции клиентов. Было проведено много исследований по текущим проблемам конфиденциальности в этой области. Премия Netflix особенно примечательна подробной личной информацией, опубликованной в ее наборе данных. Рамакришнан и др. провели обширный обзор компромиссов между персонализацией и конфиденциальностью и обнаружили, что сочетание слабых связей (неожиданная связь, которая дает случайные рекомендации) и других источников данных может быть использовано для раскрытия личности пользователей в анонимизированном наборе данных. ^{[ 95 ]}

Демография пользователей – Бил и др. обнаружили, что демографические данные пользователей могут влиять на то, насколько они удовлетворены рекомендациями. ^{[ 96 ]} В своей статье они показывают, что пожилые пользователи, как правило, больше интересуются рекомендациями, чем молодые пользователи.
Надежность . Когда пользователи могут участвовать в рекомендательной системе, необходимо решить проблему мошенничества. ^{[ 97 ]}
Интуиция . Интуиция — это мера того, «насколько удивительны рекомендации». ^{[ 98 ]}^{[ 91 ]} Например, рекомендательная система, которая рекомендует молоко покупателю в продуктовом магазине, может быть совершенно точной, но это не очень хорошая рекомендация, поскольку это очевидная вещь, которую покупатель должен купить. «[Serendipity] служит двум целям: во-первых, снижается вероятность того, что пользователи потеряют интерес из-за слишком однородного набора вариантов. Во-вторых, эти элементы необходимы для того, чтобы алгоритмы могли учиться и совершенствоваться». ^{[ 99 ]}
Доверие . Рекомендательная система не имеет особой ценности для пользователя, если пользователь не доверяет системе. ^{[ 100 ]} Доверие можно построить с помощью рекомендательной системы, объясняя, как она генерирует рекомендации и почему она рекомендует тот или иной товар.
Маркировка . На удовлетворенность пользователей рекомендациями может влиять маркировка рекомендаций. ^{[ 101 ]} Например, в цитируемом исследовании рейтинг кликов (CTR) для рекомендаций, помеченных как «Спонсируемые», был ниже (CTR = 5,93%), чем CTR для идентичных рекомендаций, помеченных как «Органические» (CTR = 8,86%). Рекомендации без ярлыка показали лучшие результаты (CTR=9,87%) в этом исследовании.

Воспроизводимость

Рекомендательные системы, как известно, трудно оценить в автономном режиме, и некоторые исследователи утверждают, что это привело к кризису воспроизводимости публикаций рекомендательных систем. Тема воспроизводимости, кажется, является постоянной проблемой в некоторых местах публикации машинного обучения, но не имеет значительного эффекта за пределами мира научных публикаций. Что касается рекомендательных систем, в статье 2019 года было рассмотрено небольшое количество тщательно отобранных публикаций, применяющих методы глубокого обучения или нейронных сетей для решения проблемы рекомендаций Top-k, опубликованных на ведущих конференциях (SIGIR, KDD, WWW, RecSys , IJCAI), показано, что что в среднем менее 40% статей могут быть воспроизведены авторами опроса, а на некоторых конференциях - всего 14%. В статьях рассматривается ряд потенциальных проблем современной исследовательской науки и предлагаются усовершенствованные научные практики в этой области. ^{[ 102 ]}^{[ 103 ]}^{[ 104 ]} Более поздние работы по сравнительному анализу набора одних и тех же методов привели к качественно совершенно разным результатам. ^{[ 105 ]} в результате чего нейронные методы оказались одними из наиболее эффективных методов. Глубокое обучение и нейронные методы для рекомендательных систем были использованы в победных решениях в нескольких недавних задачах рекомендательных систем, WSDM, ^{[ 106 ]} Вызов RecSys . ^{[ 107 ]} Более того, методы нейронного и глубокого обучения широко используются в промышленности, где они тщательно тестируются. ^{[ 108 ]}^{[ 59 ]}^{[ 60 ]} Тема воспроизводимости не нова в рекомендательных системах. К 2011 году Экстранд , Констан и др. подвергся критике за то, что «в настоящее время трудно воспроизвести и расширить результаты исследований рекомендательных систем» и что оценки «не проводятся последовательно». ^{[ 109 ]} Констан и Адомавичус приходят к выводу, что «исследовательское сообщество рекомендательных систем сталкивается с кризисом, когда значительное количество статей представляют результаты, которые мало способствуют коллективным знаниям [...] часто потому, что исследованиям не хватает [...] оценки, чтобы их можно было правильно оценить. и, следовательно, внести значимый вклад». ^{[ 110 ]} Как следствие, многие исследования рекомендательных систем можно считать невоспроизводимыми. ^{[ 111 ]} Следовательно, операторы рекомендательных систем находят мало указаний в текущих исследованиях для ответа на вопрос, какие рекомендательные подходы использовать в рекомендательных системах. Саид и Беллогин провели исследование статей, опубликованных в этой области, а также сравнили некоторые из наиболее популярных рекомендательных систем и обнаружили большие несоответствия в результатах, даже когда использовались одни и те же алгоритмы и наборы данных. ^{[ 112 ]} Некоторые исследователи продемонстрировали, что незначительные изменения в алгоритмах или сценариях рекомендаций приводят к сильным изменениям в эффективности рекомендательной системы. Они приходят к выводу, что для улучшения текущей ситуации необходимо семь действий: ^{[ 111 ]} «(1) изучить другие области исследований и извлечь из них уроки, (2) найти общее понимание воспроизводимости, (3) определить и понять детерминанты, влияющие на воспроизводимость, (4) провести более комплексные эксперименты, (5) модернизировать практику публикации, ( 6) способствовать развитию и использованию систем рекомендаций и (7) установить руководящие принципы передового опыта для исследований рекомендательных систем».

Приложения искусственного интеллекта в рекомендации

Приложения искусственного интеллекта (ИИ) в рекомендательных системах — это передовые методологии, которые используют технологии ИИ для повышения производительности механизмов рекомендаций. Рекомендатель на основе искусственного интеллекта может анализировать сложные наборы данных, изучая поведение, предпочтения и взаимодействия пользователей, чтобы генерировать высокоточный и персонализированный контент или предложения продуктов. ^{[ 113 ]} Интеграция ИИ в рекомендательные системы ознаменовала собой значительный шаг вперед по сравнению с традиционными методами рекомендаций. Традиционные методы часто основывались на негибких алгоритмах, которые могли предлагать элементы на основе общих тенденций пользователей или очевидного сходства в контенте. Для сравнения, системы на базе искусственного интеллекта способны обнаруживать закономерности и тонкие различия, которые могут быть упущены из виду традиционными методами. ^{[ 114 ]} Эти системы могут адаптироваться к конкретным индивидуальным предпочтениям, тем самым предлагая рекомендации, которые в большей степени соответствуют индивидуальным потребностям пользователя. Этот подход знаменует собой переход к более персонализированным, ориентированным на пользователя предложениям.

В рекомендательных системах широко используются методы искусственного интеллекта, такие как машинное обучение , глубокое обучение и обработка естественного языка . ^{[ 115 ]} Эти передовые методы расширяют возможности системы по прогнозированию предпочтений пользователей и более точной доставке персонализированного контента. Каждая техника вносит свой уникальный вклад. В следующих разделах будут представлены конкретные модели ИИ, используемые в рекомендательной системе, и проиллюстрированы их теории и функциональные возможности. ^{[ нужна ссылка ]}

Коллаборативные фильтры на основе KNN

Совместная фильтрация (CF) — один из наиболее часто используемых алгоритмов рекомендательных систем. Он генерирует персонализированные предложения для пользователей на основе явных или неявных моделей поведения для формирования прогнозов. ^{[ 116 ]} В частности, для вынесения суждений он опирается на внешние отзывы, такие как звездные рейтинги, история покупок и т. д. CF делает прогнозы о предпочтениях пользователей на основе измерений сходства. По сути, основная теория такова: «если пользователь А похож на пользователя Б, и если А нравится предмет С, то вполне вероятно, что Б тоже нравится предмет С».

Существует множество моделей совместной фильтрации. Для совместной фильтрации на основе искусственного интеллекта распространенная модель называется K-ближайшими соседями . Идеи заключаются в следующем:

Представление данных : создайте n-мерное пространство, где каждая ось представляет характеристику пользователя (рейтинги, покупки и т. д.). Представьте пользователя как точку в этом пространстве.
Статистическое расстояние : «Расстояние» измеряет, насколько далеко друг от друга находятся пользователи в этом пространстве. См. статистическое расстояние для получения подробной информации о вычислениях.
Идентификация соседей : на основе вычисленных расстояний найдите k ближайших соседей пользователя, которому мы хотим дать рекомендации.
Формирование прогнозирующих рекомендаций : система проанализирует аналогичные предпочтения k соседей. Система будет давать рекомендации на основе этого сходства.

Нейронные сети

Искусственная нейронная сеть (ИНС) — это структура модели глубокого обучения, цель которой имитировать человеческий мозг. Они состоят из ряда нейронов, каждый из которых отвечает за получение и обработку информации, передаваемой от других взаимосвязанных нейронов. ^{[ 117 ]} Подобно человеческому мозгу, эти нейроны будут менять состояние активации в зависимости от входящих сигналов (входных обучающих данных и выходных данных с обратным распространением ошибки), позволяя системе корректировать веса активации на этапе обучения сети. ИНС обычно разрабатывается как модель черного ящика . В отличие от обычного машинного обучения, в котором лежащие в основе теоретические компоненты формальны и негибки, совместные эффекты нейронов не совсем ясны, но современные эксперименты показали прогностическую силу ИНС.

ИНС широко используется в рекомендательных системах благодаря своей способности использовать различные данные. Помимо данных обратной связи, ИНС может включать в себя данные без обратной связи, которые слишком сложны для изучения при совместной фильтрации, а уникальная структура позволяет ИНС идентифицировать дополнительный сигнал из данных без обратной связи, чтобы улучшить взаимодействие с пользователем. ^{[ 115 ]} Ниже приведены некоторые примеры:

Время и сезонность : что определяет время и дату или сезон, когда пользователь взаимодействует с платформой.
Шаблоны навигации пользователя : последовательность посещенных страниц, время, проведенное в разных частях веб-сайта, движение мыши и т. д.
Внешние социальные тенденции : информация из внешних социальных сетей.

Обработка естественного языка

Обработка естественного языка — это серия алгоритмов искусственного интеллекта, которые делают естественный человеческий язык доступным и анализируемым для машины. ^{[ 118 ]} Это довольно современная техника, вдохновленная растущим объемом текстовой информации. Для применения в рекомендательной системе частым случаем является отзыв клиента Amazon. Amazon будет анализировать отзывы каждого клиента и сообщать соответствующие данные другим клиентам для справки. В последние годы были разработаны различные модели анализа текста, включая латентно-семантический анализ (LSA), разложение по сингулярным значениям (SVD), скрытое распределение Дирихле (LDA) и т. д. Их использование последовательно направлено на предоставление клиентам более точных и адаптированных результатов. рекомендации.

Конкретные приложения

Открытие академического контента

Развивающимся рынком платформ обнаружения контента является академический контент. ^{[ 119 ]}^{[ 120 ]} Ежедневно публикуется около 6000 статей в академических журналах, из-за чего исследователям становится все труднее совмещать управление временем и быть в курсе актуальных исследований. ^{[ 10 ]} Хотя традиционные инструменты академического поиска, такие как Google Scholar или PubMed, предоставляют легкодоступную базу данных журнальных статей, рекомендации по содержанию в этих случаях выполняются «линейным» способом, когда пользователи устанавливают «сигналы тревоги» для новых публикаций на основе ключевых слов, журналов или конкретных авторов.

Google Scholar предоставляет инструмент «Обновления», который предлагает статьи с использованием статистической модели , в которой в качестве входных данных используются авторизованные статьи исследователей и цитаты. ^{[ 10 ]} Хотя эти рекомендации были отмечены как чрезвычайно хорошие, это создает проблему для начинающих исследователей, которым может не хватать достаточного объема работы для выработки точных рекомендаций. ^{[ 10 ]}

Принятие решений

В отличие от системы ранжирования, основанной на вовлеченности, используемой в социальных сетях и других цифровых платформах, ранжирование на основе мостов оптимизирует контент, который объединяет, а не поляризует . ^{[ 121 ]}^{[ 122 ]} Примеры включают Polis и Remesh, которые используются во всем мире для достижения большего консенсуса по конкретным политическим вопросам. ^{[ 122 ]} Twitter также использовал этот подход для управления заметками сообщества . ^{[ 123 ]} который YouTube планировал запустить в пилотном режиме в 2024 году. ^{[ 124 ]}^{[ 125 ]} Авив Овадья также выступает за внедрение алгоритмов на основе мостов на основных платформах, предоставляя совещательным группам , представляющим пользователей платформы, возможность контролировать разработку и реализацию алгоритма. ^{[ 126 ]}

Телевидение

Поскольку сфера подключенного телевидения продолжает развиваться, поиск и рекомендации играют еще более важную роль в поиске контента. ^{[ 127 ]} Предполагается, что благодаря устройствам, подключенным к широкополосной связи , потребители получат доступ к контенту из источников линейного вещания, а также к интернет-телевидению . Таким образом, существует риск того, что рынок может стать фрагментированным, и зрителю придется посещать различные места и находить то, что он хочет посмотреть, что будет для него трудоемким и сложным способом. Используя систему поиска и рекомендаций, зрители получают центральный «портал», на котором можно найти контент из нескольких источников в одном месте.

См. также

Ссылки

^ Jump up to: ^а ^б ^с ^д Риччи, Франческо; Рокач, Лиор; Шапира, Брача (2022). «Рекомендательные системы: методы, приложения и проблемы» . В Риччи, Франческо; Рокач, Лиор; Шапира, Брача (ред.). Справочник по рекомендательным системам (3-е изд.). Нью-Йорк: Спрингер. стр. 1–35. дои : 10.1007/978-1-0716-2197-4_1 . ISBN 978-1-0716-2196-7 .
^ Лев Гроссман (27 мая 2010 г.). «Как компьютеры узнают, чего мы хотим, еще до того, как мы это сделаем» . ВРЕМЯ . Архивировано из оригинала 30 мая 2010 года . Проверено 1 июня 2015 г.
^ Рой, Дипджьоти; Дутта, Мала (2022). «Систематический обзор и исследовательский взгляд на рекомендательные системы» . Журнал больших данных . 9 (59). дои : 10.1186/s40537-022-00592-5 .
^ Jump up to: ^а ^б Резник, Пол и Хэл Р. Вариан. «Рекомендательные системы». Связь ACM 40, нет. 3 (1997): 56–58.
^ Гупта, Панкадж; Гоэль, Ашиш; Лин, Джимми; Шарма, Аниш; Ван, Донг; Заде, Реза (2013). «WTF: сервис «За кем следить» в Твиттере» . Материалы 22-й Международной конференции по Всемирной паутине . Ассоциация вычислительной техники. стр. 505–514. дои : 10.1145/2488388.2488433 . ISBN 9781450320351 .
^ Баран, Ремигиуш; Дзех, Анджей; Зея, Анджей (1 июня 2018 г.). «Мощная платформа для обнаружения мультимедийного контента, основанная на визуальном анализе контента и интеллектуальном обогащении данных» . Мультимедийные инструменты и приложения . 77 (11): 14077–14091. дои : 10.1007/s11042-017-5014-1 . ISSN 1573-7721 . S2CID 36511631 .
^ Х. Чен, А. Г. Орорбия II, К. Л. Джайлз ExpertSeer: эксперт-рекомендатель для цифровых библиотек на основе ключевых фраз , в препринте arXiv, 2015 г.
^ Чен, Хун-Сюань; Гоу, Лян; Чжан, Сяолун; Джайлз, Клайд Ли (2011). «CollabSeer: поисковая система для совместной работы» (PDF) . Материалы 11-й ежегодной международной совместной конференции ACM/IEEE по цифровым библиотекам . Ассоциация вычислительной техники. стр. 231–240. дои : 10.1145/1998076.1998121 . ISBN 9781450307444 .
^ Фельферниг, Александр; Исак, Клаус; Сабо, Кальман; Захар, Питер (2007). «Среда поддержки продаж финансовых услуг VITA» (PDF) . У Уильяма Читама (ред.). Материалы 19-й Национальной конференции по инновационным применениям искусственного интеллекта, том. 2 . стр. 1692–1699. ISBN 9781577353232 . Копия АКМ .
^ Jump up to: ^а ^б ^с ^д ^и вакансии (3 сентября 2014 г.). «Как укротить поток литературы: Nature News & Comment» . Природа . 513 (7516). Nature.com: 129–130. дои : 10.1038/513129а . ПМИД 25186906 . S2CID 4460749 .
^ Анализ (14 декабря 2011 г.). «Netflix обновляет приложение для iPad, чтобы улучшить обнаружение контента» . ПРОВОДНОЙ . Проверено 31 декабря 2015 г.
^ Мелвилл, Прем; Синдхвани, Викас (2010). «Рекомендательные системы» (PDF) . У Клода Саммута; Джеффри И. Уэбб (ред.). Энциклопедия машинного обучения . Спрингер. стр. 829–838. дои : 10.1007/978-0-387-30164-8_705 . ISBN 978-0-387-30164-8 .
^ Р. Дж. Муни и Л. Рой (1999). Рекомендация книг на основе содержания с использованием обучения для категоризации текста . В Мастерской Реком. Сис.: Алго. и оценка.
^ Хаупт, Джон (1 июня 2009 г.). «Last.fm: Народное онлайн-радио». Ежеквартальный журнал музыкальных справочных служб . 12 (1–2): 23–24. дои : 10.1080/10588160902816702 . ISSN 1058-8167 . S2CID 161141937 .
^ Jump up to: ^а ^б Чен, Хун-Сюань; Чен, Пу (9 января 2019 г.). «Дифференцирование весов регуляризации - простой механизм облегчения холодного запуска в рекомендательных системах». Транзакции ACM по извлечению знаний из данных . 13 : 1–22. дои : 10.1145/3285954 . S2CID 59337456 .
^ Jump up to: ^а ^б Рубенс, Нил; Элахи, Мехди; Сугияма, Масаси; Каплан, Дейн (2016). «Активное обучение в рекомендательных системах» . В Риччи, Франческо; Рокач, Лиор; Шапира, Брача (ред.). Справочник по рекомендательным системам (2-е изд.). Спрингер США. стр. 809–846. дои : 10.1007/978-1-4899-7637-6_24 . ISBN 978-1-4899-7637-6 .
^ Бобадилья, Дж.; Ортега, Ф.; Эрнандо, А.; Алькала, Дж. (2011). «Улучшение результатов и производительности рекомендательной системы совместной фильтрации с использованием генетических алгоритмов». Системы, основанные на знаниях . 24 (8): 1310–1316. дои : 10.1016/j.knosys.2011.06.005 .
^ Jump up to: ^а ^б Элахи, Мехди; Риччи, Франческо; Рубенс, Нил (2016). «Обзор активного обучения в рекомендательных системах совместной фильтрации» . Обзор компьютерных наук . 20 :29–50. дои : 10.1016/j.cosrev.2016.05.002 .
^ Эндрю И. Шейн; Александрин Попескуль; Лайл Х. Ангар ; Дэвид М. Пеннок (2002). Методы и метрики для рекомендаций по холодному запуску . Материалы 25-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска (SIGIR 2002). : АКМ . стр. 253–260 . ISBN 1-58113-561-0 . Проверено 2 февраля 2008 г.
^ Jump up to: ^а ^б Би, Сюань; Цюй, Энни; Ван, Цзюньхуэй; Шен, Сяотун (2017). «Групповая рекомендательная система» . Журнал Американской статистической ассоциации . 112 (519): 1344–1353. дои : 10.1080/01621459.2016.1219261 . S2CID 125187672 .
^ Стек, Чарльз. « Система и метод предоставления рекомендаций по товарам и услугам на основе записанной истории покупок ». Патент США 7 222 085, выданный 22 мая 2007 г.
^ Герц, Фредерик С.М. «Индивидуальные электронные газеты и реклама». Патент США 7 483 871, выданный 27 января 2009 г.
^ Герц, Фредерик, Лайл Унгар, Цзянь Чжан и Дэвид Вахоб. « Система и способ обеспечения доступа к данным с использованием профилей клиентов ». Патент США № 8056100, выданный 8 ноября 2011 г.
^ Харбик, Эндрю В., Райан Дж. Снодграсс и Джоэл Р. Шпигель. « Обнаружение похожих цифровых произведений и авторов работ на основе плейлистов ». Патент США № 8 468 046, выданный 18 июня 2013 г.
^ Линден, Грегори Д., Брент Рассел Смит и Нида К. Зада. « Автоматическое обнаружение и выявление поведенческих связей между просматриваемыми элементами ». Патент США № 9070156, выданный 30 июня 2015 г.
^ БИЛ, Джоран и др. Бумажные рекомендательные системы: обзор литературы. Международный журнал цифровых библиотек, 2016, 17. Jg., Nr. 4, С. 305–338.
^ РИЧ, Элейн. Моделирование пользователей через стереотипы. Когнитивные науки, 1979, 3. Jg., Nr. 4, С. 329–354.
^ Карлгрен, Юсси. 1990. «Алгебра для рекомендаций». Рабочий документ Syslab 179 (1990).
^ Карлгрен, Юсси. « Кластеризация групп новостей на основе поведения пользователей — алгебра рекомендаций. Архивировано 27 февраля 2021 года в Wayback Machine ». Отчет об исследованиях SICS (1994 г.).
^ Карлгрен, Юсси (октябрь 2017 г.). «Цифровая книжная полка: оригинальная работа над рекомендательными системами» . Проверено 27 октября 2017 г.
^ Шардананд, Упендра и Патти Мэйс. « Фильтрация социальной информации: алгоритмы автоматизации «сарафанного радио» ». В материалах конференции SIGCHI «Человеческий фактор в вычислительных системах», стр. 210–217. ACM Press/Addison-Wesley Publishing Co., 1995.
^ Хилл, Уилл, Ларри Стед, Марк Розенштейн и Джордж Фернас. « Рекомендации и оценка вариантов в виртуальном сообществе использования . Архивировано 21 декабря 2018 г. на Wayback Machine ». В материалах конференции SIGCHI «Человеческий фактор в вычислительных системах», стр. 194–201. ACM Press/Addison-Wesley Publishing Co., 1995.
^ Резник, Пол, Неофитос Якову, Митеш Сухак, Питер Бергстрем и Джон Ридл. « GroupLens: открытая архитектура для совместной фильтрации сетевых новостей ». В материалах конференции ACM 1994 г. по совместной работе, поддерживаемой компьютерами, стр. 175–186. АКМ, 1994.
^ Монтанер, М.; Лопес, Б.; де ла Роса, JL (июнь 2003 г.). «Таксономия рекомендательных агентов в Интернете». Обзор искусственного интеллекта . 19 (4): 285–330. дои : 10.1023/А:1022850703159 . S2CID 16544257 . .
^ Jump up to: ^а ^б Адомавичюс, Г.; Тужилин А. (июнь 2005 г.). «На пути к следующему поколению рекомендательных систем: обзор современного состояния и возможных расширений» . Транзакции IEEE по знаниям и инженерии данных . 17 (6): 734–749. CiteSeerX 10.1.1.107.2790 . дои : 10.1109/TKDE.2005.99 . S2CID 206742345 . .
^ Херлокер, Дж.Л.; Констан, Дж.А.; Тервин, Л.Г.; Ридл, Дж.Т. (январь 2004 г.). «Оценка рекомендательных систем совместной фильтрации». АКМ Транс. Инф. Сист . 22 (1): 5–53. CiteSeerX 10.1.1.78.8384 . дои : 10.1145/963770.963772 . S2CID 207731647 . .
^ Jump up to: ^а ^б ^с Бил, Дж.; Генцмер, М.; Гипп, Б. (октябрь 2013 г.). «Сравнительный анализ офлайн- и онлайн-оценок и обсуждение системы оценки рекомендаций исследовательских работ» (PDF) . Материалы международного семинара по воспроизводимости и репликации в оценке рекомендательных систем . стр. 7–14. дои : 10.1145/2532508.2532511 . ISBN 978-1-4503-2465-6 . S2CID 8202591 . Архивировано из оригинала (PDF) 17 апреля 2016 года . Проверено 22 октября 2013 г.
^ Бил, Дж.; Лангер, С.; Генцмер, М.; Гипп, Б.; Брайтингер, К. (октябрь 2013 г.). «Оценка системы рекомендаций научных работ: количественный обзор литературы» (PDF) . Материалы международного семинара по воспроизводимости и репликации в оценке рекомендательных систем . стр. 15–22. дои : 10.1145/2532508.2532512 . ISBN 978-1-4503-2465-6 . S2CID 4411601 .
^ Бил, Дж.; Гипп, Б.; Лангер, С.; Брайтингер, К. (26 июля 2015 г.). «Системы рекомендаций для научных работ: обзор литературы» . Международный журнал цифровых библиотек . 17 (4): 305–338. дои : 10.1007/s00799-015-0156-0 . S2CID 207035184 .
^ Джон С. Бриз; Дэвид Хекерман и Карл Кэди (1998). Эмпирический анализ предсказательных алгоритмов коллаборативной фильтрации . В материалах четырнадцатой конференции по неопределенности в искусственном интеллекте (UAI'98). arXiv : 1301.7363 .
^ Бриз, Джон С.; Хеккерман, Дэвид; Кэди, Карл (1998). Эмпирический анализ алгоритмов прогнозирования для совместной фильтрации (PDF) (Отчет). Исследования Майкрософт.
^ Корен, Иегуда; Волинский, Крис (1 августа 2009 г.). «Методы матричной факторизации для рекомендательных систем». Компьютер . 42 (8): 30–37. CiteSeerX 10.1.1.147.8295 . дои : 10.1109/MC.2009.263 . S2CID 58370896 .
^ Сарвар, Б.; Карипис, Г.; Констан, Дж.; Ридл, Дж. (2000). «Применение уменьшения размерности в рекомендательной системе. Практический пример» . ,
^ Аллен, РБ (1990). Пользовательские модели: теория, метод, практика . Международные исследования человеко-машинных технологий.
^ Парсонс, Дж.; Ральф, П.; Галлахер, К. (июль 2004 г.). Использование времени просмотра для определения предпочтений пользователя в рекомендательных системах . Семинар AAAI по персонализации семантической сети, Сан-Хосе, Калифорния. .
^ Санхак Ли, Джихун Ян и Пак Сунг-Ён, Обнаружение скрытого сходства в совместной фильтрации для преодоления проблемы разреженности , Discovery Science, 2007.
^ Фелисио, Крисия З.; Пайшао, Клериссон В.Р.; Барселуш, Селия АЗ; Пре, Филипп (9 июля 2017 г.). «Выбор модели многорукого бандита для рекомендаций пользователям при холодном запуске» . Материалы 25-й конференции по моделированию, адаптации и персонализации пользователей (PDF) . УМАП '17. Братислава, Словакия: Ассоциация вычислительной техники. стр. 32–40. дои : 10.1145/3079628.3079681 . ISBN 978-1-4503-4635-1 . S2CID 653908 .
^ Совместные рекомендации с использованием сопоставлений сходства между предметами. Архивировано 16 марта 2015 г. на Wayback Machine.
^ Аггарвал, Чару К. (2016). Рекомендательные системы: Учебник . Спрингер. ISBN 978-3-319-29657-9 .
^ Петр Брусиловский (2007). Адаптивная сеть . Спрингер. п. 325 . ISBN 978-3-540-72078-2 .
^ Ван, Дунхуэй; Лян, Яньчунь; Сюй, Донг; Фэн, Сяоюэ; Гуань, Ренчу (2018). «Система рекомендаций на основе контента для публикаций по информатике» . Системы, основанные на знаниях . 157 : 1–9. дои : 10.1016/j.knosys.2018.05.001 .
^ Бланда, Стефани (25 мая 2015 г.). «Онлайн-рекомендательные системы – откуда веб-сайт узнает, чего я хочу?» . Американское математическое общество . Проверено 31 октября 2016 г.
^ XY Фэн, Х. Чжан, YJ Ren, PH Shang, Y. Zhu, YC Liang, RC Guan, D. Xu, (2019), « Система рекомендаций на основе глубокого обучения «Pubmender» для выбора места биомедицинской публикации: Исследование разработки и проверки », Журнал медицинских интернет-исследований , 21 (5): e12957
^ Ринке Хукстра, Узкое место в реинжиниринге знаний , Семантическая сеть - совместимость, удобство использования, применимость 1 (2010) 1, IOS Press
^ Гомес-Урибе, Карлос А.; Хант, Нил (28 декабря 2015 г.). «Рекомендательная система Netflix» . Транзакции ACM в информационных системах управления . 6 (4): 1–19. дои : 10.1145/2843948 .
^ Jump up to: ^а ^б Заманзаде Дарбан, З.; Валипур, Миннесота (15 августа 2022 г.). «GHRS: гибридная система рекомендаций на основе графов с рекомендацией приложений к фильмам». Экспертные системы с приложениями . 200 : 116850. arXiv : 2111.11293 . дои : 10.1016/j.eswa.2022.116850 . S2CID 244477799 .
^ Робин Берк, Гибридные веб-рекомендательные системы. Архивировано 12 сентября 2014 г. в Wayback Machine , стр. 377-408, Адаптивная сеть, Питер Брусиловский, Альфред Кобса, Вольфганг Нейдль (ред.), Конспекты лекций по информатике, Springer- Верлаг, Берлин, Германия, Конспекты лекций по информатике, Vol. 4321, май 2007 г., 978-3-540-72078-2.
^ Jump up to: ^а ^б Хидаси, Балаж; Карацоглу, Александрос; Балтрунас, Линас; Тикк, Домонкос (29 марта 2016 г.). «Рекомендации на основе сеансов с рекуррентными нейронными сетями». arXiv : 1511.06939 [ cs.LG ].
^ Jump up to: ^а ^б ^с Чен, Минмин; Бойтель, Алекс; Ковингтон, Пол; Джайн, Сагар; Беллетти, Франсуа; Чи, Эд (2018). «Коррекция несоответствия политике Top-K для рекомендательной системы REINFORCE». arXiv : 1812.02353 [ cs.LG ].
^ Jump up to: ^а ^б Ифэй, Ма; Нараянасвами, Балакришнан; Хайбин, Лин; Хао, Дин (2020). «Временно-контекстная рекомендация в режиме реального времени». Материалы 26-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных . Ассоциация вычислительной техники. стр. 2291–2299. дои : 10.1145/3394486.3403278 . ISBN 978-1-4503-7998-4 . S2CID 221191348 .
^ Хидаси, Балаж; Карацоглу, Александрос (17 октября 2018 г.). «Рекуррентные нейронные сети с приростом Top-k для рекомендаций на основе сеансов» . Материалы 27-й Международной конференции ACM по управлению информацией и знаниями . ЦИКМ '18. Турин, Италия: Ассоциация вычислительной техники. стр. 843–852. arXiv : 1706.03847 . дои : 10.1145/3269206.3271761 . ISBN 978-1-4503-6014-2 . S2CID 1159769 .
^ Канг, Ван-Ченг; Маколи, Джулиан (2018). «Внимательная последовательная рекомендация». arXiv : 1808.09781 [ cs.IR ].
^ Ли, Цзин; Рен, Пэнцзе; Чен, Жумин; Рен, Чжаочунь; Лиан, Тао; Ма, июнь (6 ноября 2017 г.). «Рекомендации по нейронно-внимательному сеансу» . Материалы конференции ACM по управлению информацией и знаниями 2017 года . ЦИКМ '17. Сингапур, Сингапур: Ассоциация вычислительной техники. стр. 1419–1428. arXiv : 1711.04725 . дои : 10.1145/3132847.3132926 . ISBN 978-1-4503-4918-5 . S2CID 21066930 .
^ Лю, Цяо; Цзэн, Ифу; Мохоси, Рефуоэ; Чжан, Хайбинь (19 июля 2018 г.). «ШТАМП» . Материалы 24-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных . КДД '18. Лондон, Великобритания: Ассоциация вычислительной техники. стр. 1831–1839. дои : 10.1145/3219819.3219950 . ISBN 978-1-4503-5552-0 . S2CID 50775765 .
^ Синь, Синь; Карацоглу, Александрос; Арапакис, Иоаннис; Хосе, Джоемон (2020). «Самоконтролируемое обучение с подкреплением для рекомендательных систем». arXiv : 2006.05779 [ cs.LG ].
^ То есть, Евгений; Джайн, Вихан; Нарвекар, Санмит; Агарвал, Ритеш; Ву, Руи; Ченг, Хенг-Цзы; Чандра, Тушар; Бутилье, Крейг (2019). «SlateQ: управляемая декомпозиция для обучения с подкреплением с помощью наборов рекомендаций» . Материалы двадцать восьмой международной совместной конференции по искусственному интеллекту (IJCAI-19) : 2592–2599.
^ Цзоу, Ликсин; Ся, Лонг; Дин, Чжое; Сун, Цзясин; Лю, Вэйдун; Инь, Давэй (2019). «Обучение с подкреплением для оптимизации долгосрочного взаимодействия пользователей с рекомендательными системами» . Материалы 25-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных . КДД '19. стр. 2810–2818. arXiv : 1902.05570 . дои : 10.1145/3292500.3330668 . ISBN 978-1-4503-6201-6 . S2CID 62903207 .
^ Лакиотаки, К.; Мацацинис; Цукиас, А (март 2011 г.). «Многокритериальное моделирование пользователей в рекомендательных системах». Интеллектуальные системы IEEE . 26 (2): 64–76. CiteSeerX 10.1.1.476.6726 . doi : 10.1109/mis.2011.33 . S2CID 16752808 .
^ Гедиминас Адомавичюс; Никос Мануселис; ЯнгОк Квон. «Многокритериальные рекомендательные системы» (PDF) . Архивировано из оригинала (PDF) 30 июня 2014 г.
^ Бунеффуф, Джалель (2013), DRARS, Динамическая рекомендательная система с учетом рисков (доктор философии), Национальный институт телекоммуникаций
^ Jump up to: ^а ^б Ён Ге; Хуэй Сюн; Александр Тужилин; Кели Сяо; Марко Грутезер; Майкл Дж. Паццани (2010). Энергоэффективная мобильная рекомендательная система (PDF) . Материалы 16-й Международной конференции ACM SIGKDD. по обнаружению знаний и интеллектуальному анализу данных. Нью-Йорк, Нью-Йорк : ACM . стр. 899–908 . Проверено 17 ноября 2011 г.
^ Пименидис, Элиас; Полатидис, Николаос; Муратидис, Хараламбос (3 августа 2018 г.). «Мобильные рекомендательные системы: определение основных концепций». Журнал информатики . 45 (3): 387–397. arXiv : 1805.02276 . дои : 10.1177/0165551518792213 . S2CID 19209845 .
^ Jump up to: ^а ^б Лор, Стив (22 сентября 2009 г.). «Исследовательская сделка на 1 миллион долларов для Netflix и, возможно, модель для других» . Нью-Йорк Таймс .
^ Р. Белл; Ю. Корен; С. Волинский (2007). «Решение BellKor для премии Netflix» (PDF) . Архивировано из оригинала (PDF) 4 марта 2012 года . Проверено 30 апреля 2009 г.
^ Бодоки, Томас (6 августа 2009 г.). «Матричная факторизация один миллион долларов» . Индекс .
↑ Восстание хакеров Netflix. Архивировано 24 января 2012 г. в Wayback Machine.
^ «Netflix раскрыл секрет вашей Горбатой горы, иск» . ПРОВОДНОЙ . 17 декабря 2009 года . Проверено 1 июня 2015 г.
^ «Обновление премии Netflix» . Форум премии Netflix. 12 марта 2010 года. Архивировано из оригинала 27 ноября 2011 года . Проверено 14 декабря 2011 г.
^ Латия, Н., Хейлс, С., Капра, Л., Аматриан, X.: Временное разнообразие в рекомендательных системах . ^{[ мертвая ссылка ]}. В: Материалы 33-й Международной конференции ACMSIGIR по исследованиям и разработкам в области информационного поиска, SIGIR 2010, стр. 210–217. АКМ, Нью-Йорк
^ Терпин, Эндрю Х; Херш, Уильям (2001). «Почему пакетные и пользовательские оценки не дают одинаковых результатов». Материалы 24-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска . стр. 225–231.
^ «Набор данных MovieLens» . 6 сентября 2013 г.
^ Jump up to: ^а ^б Чен, Хун-Сюань; Чунг, Чу-Ань; Хуан, Синь-Чиен; Цуй, Вэнь (1 сентября 2017 г.). «Распространенные ошибки при обучении и оценке рекомендательных систем». Информационный бюллетень об исследованиях ACM SIGKDD . 19 : 37–45. дои : 10.1145/3137597.3137601 . S2CID 10651930 .
^ Яннах, Дитмар; Лерче, Лукас; Гедикли, Фатих; Боннин, Жоффрей (10 июня 2013 г.). «Что рекомендуют специалисты: анализ точности, популярности и эффектов разнообразия продаж». В Карберри, Сандра; Вайбельзал, Стефан; Микарелли, Алессандро; Семераро, Джованни (ред.). Моделирование пользователей, адаптация и персонализация . Конспекты лекций по информатике. Том. 7899. Шпрингер Берлин Гейдельберг. стр. 25–37 . CiteSeerX 10.1.1.465.96 . дои : 10.1007/978-3-642-38844-6_3 . ISBN 978-3-642-38843-9 .
^ Jump up to: ^а ^б Терпин, Эндрю Х.; Херш, Уильям (1 января 2001 г.). «Почему пакетные и пользовательские оценки не дают одинаковых результатов» . Материалы 24-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска . СИГИР '01. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 225–231 . CiteSeerX 10.1.1.165.5800 . дои : 10.1145/383952.383992 . ISBN 978-1-58113-331-8 . S2CID 18903114 .
^ Лангер, Стефан (14 сентября 2015 г.). «Сравнение офлайн-оценок, онлайн-оценок и исследований пользователей в контексте рекомендательных систем научных статей». В Капидакисе, Сарантос; Мазурек, Цезари; Верла, Марцин (ред.). Исследования и передовые технологии для электронных библиотек . Конспекты лекций по информатике. Том. 9316. Международное издательство Springer. стр. 153–168. дои : 10.1007/978-3-319-24592-8_12 . ISBN 978-3-319-24591-1 .
^ Басаран, Дэниел; Нтуци, Эйрини; Зимек, Артур (2017). Материалы Международной конференции SIAM по интеллектуальному анализу данных 2017 года . стр. 390–398. дои : 10.1137/1.9781611974973.44 . ISBN 978-1-61197-497-3 .
^ Бил, Джоран; Генцмер, Марсель; Лангер, Стефан; Нюрнбергер, Андреас; Гипп, Бела (1 января 2013 г.). «Сравнительный анализ офлайн- и онлайн-оценок и обсуждение системы рекомендаций исследовательских работ». Материалы международного семинара по воспроизводимости и репликации в оценке рекомендательных систем . РепСис '13. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 7–14. CiteSeerX 10.1.1.1031.973 . дои : 10.1145/2532508.2532511 . ISBN 978-1-4503-2465-6 . S2CID 8202591 .
^ Каньямарес, Росио; Кастельс, Пабло (июль 2018 г.). Должен ли я следовать за толпой? Вероятностный анализ эффективности популярности в рекомендательных системах (PDF) . 41-я ежегодная международная конференция ACM SIGIR по исследованиям и разработкам в области информационного поиска (SIGIR 2018). Анн-Арбор, Мичиган, США: ACM. стр. 415–424. дои : 10.1145/3209978.3210014 . Архивировано из оригинала (PDF) 14 апреля 2021 г. Проверено 5 марта 2021 г.
^ Каньямарес, Росио; Кастельс, Пабло; Моффат, Алистер (март 2020 г.). «Варианты автономной оценки для рекомендательных систем» (PDF) . Информационный поиск . 23 (4). Спрингер: 387–410. дои : 10.1007/s10791-020-09371-3 . S2CID 213169978 .
^ Зиглер К.Н., Макни С.М., Констан Дж.А., Лаузен Г. (2005). «Улучшение списков рекомендаций за счет диверсификации тем». Материалы 14-й международной конференции по Всемирной паутине . стр. 22–32.
^ Jump up to: ^а ^б Кастельс, Пабло; Херли, Нил Дж.; Варгас, Саул (2015). «Новинка и разнообразие рекомендательных систем» . В Риччи, Франческо; Рокач, Лиор; Шапира, Брача (ред.). Справочник по рекомендательным системам (2-е изд.). Спрингер США. стр. 881–918. дои : 10.1007/978-1-4899-7637-6_26 . ISBN 978-1-4899-7637-6 .
^ Джоран Бил; Стефан Лангер; Марсель Генцмер; Андреас Нюрнбергер (сентябрь 2013 г.). «Постоянство в рекомендательных системах: предоставление одних и тех же рекомендаций одним и тем же пользователям несколько раз» (PDF) . В Тронде Ольберге; Милена Добрева; Христос Папатеодору; Яннис Цаконас; Чарльз Фарруджа (ред.). Материалы 17-й Международной конференции по теории и практике электронных библиотек (TPDL 2013) . Конспекты лекций по информатике (LNCS). Том. 8092. Спрингер. стр. 390–394 . Проверено 1 ноября 2013 г.
^ Косли, Д.; Лам, СК; Альберт, И.; Констан, Дж.А.; Ридл, Дж (2003). «Видеть — значит верить?: как интерфейсы рекомендательной системы влияют на мнение пользователей» (PDF) . Материалы конференции SIGCHI «Человеческий фактор в вычислительных системах» . стр. 585–592. S2CID 8307833 .
^ Пу, П.; Чен, Л.; Ху, Р. (2012). «Оценка рекомендательных систем с точки зрения пользователя: обзор современного состояния» (PDF) . Пользовательское моделирование и взаимодействие с пользователем : 1–39.
^ Нарен Рамакришнан; Бенджамин Дж. Келлер; Батул Дж. Мирза; Анант Ю. Грама; Георгий Карипис (2001). «Риски конфиденциальности в рекомендательных системах» . IEEE Интернет-вычисления . 5 (6). Пискатауэй, Нью-Джерси: Отдел образовательной деятельности IEEE : 54–62 . CiteSeerX 10.1.1.2.2932 . дои : 10.1109/4236.968832 . ISBN 978-1-58113-561-9 . S2CID 1977107 .
^ Джоран Бил; Стефан Лангер; Андреас Нюрнбергер; Марсель Генцмер (сентябрь 2013 г.). «Влияние демографических данных (возраста и пола) и других характеристик пользователей на оценку рекомендательных систем» (PDF) . В Тронде Ольберге; Милена Добрева; Христос Папатеодору; Яннис Цаконас; Чарльз Фарруджа (ред.). Материалы 17-й Международной конференции по теории и практике электронных библиотек (TPDL 2013) . Спрингер. стр. 400–404 . Проверено 1 ноября 2013 г.
^ Констан Ю.А., Ридл Дж. (2012). «Рекомендательные системы: от алгоритмов к пользовательскому опыту» (PDF) . Пользовательское моделирование и взаимодействие с пользователем . 22 (1–2): 1–23. дои : 10.1007/s11257-011-9112-x . S2CID 8996665 .
^ Риччи Ф., Рокач Л., Шапира Б., Кантор Б.П. (2011). Справочник по рекомендательным системам . стр. 1–35. Бибкод : 2011рш..книга.....Р .
^ Мёллер, Юдит; Триллинг, Дамиан; Хельбергер, Натали; ван Эс, Брэм (3 июля 2018 г.). «Не вините в этом алгоритм: эмпирическая оценка множественных рекомендательных систем и их влияния на разнообразие контента» . Информация, коммуникация и общество . 21 (7): 959–977. дои : 10.1080/1369118X.2018.1444076 . hdl : 11245.1/4242e2e0-3beb-40a0-a6cb-d8947a13efb4 . ISSN 1369-118X . S2CID 149344712 .
^ Монтанер, Майкл; Лопес, Беатрис; Розы, Хосеп Луис (2002). «Развитие доверия к рекомендательным агентам» . Материалы первой международной совместной конференции «Автономные агенты и мультиагентные системы: часть 1» . стр. 304–305.
^ Бил, Джоран, Лангер, Стефан, Генцмер, Марсель (сентябрь 2013 г.). «Спонсорские и органические (исследовательские работы) рекомендации и влияние маркировки» (PDF) . В Тронде Ольберге, Милене Добреве, Христосе Папатеодору, Яннисе Цаконасе, Чарльзе Фаррудже (ред.). Материалы 17-й Международной конференции по теории и практике электронных библиотек (TPDL 2013) . стр. 395–399 . Проверено 2 декабря 2013 г.
^ Феррари Дакрема, Маурицио; Больо, Симона; Кремонези, Паоло; Яннах, Дитмар (8 января 2021 г.). «Тревожный анализ воспроизводимости и прогресса в исследованиях рекомендательных систем» . Транзакции ACM в информационных системах . 39 (2): 1–49. arXiv : 1911.07698 . дои : 10.1145/3434185 . hdl : 11311/1164333 . S2CID 208138060 .
^ Феррари Дакрема, Маурицио; Кремонези, Паоло; Яннах, Дитмар (2019). «Действительно ли мы добились большого прогресса? Тревожный анализ последних подходов к нейронным рекомендациям» . Материалы 13-й конференции ACM по рекомендательным системам . РекСис '19. АКМ. стр. 101–109. arXiv : 1907.06902 . дои : 10.1145/3298689.3347058 . hdl : 11311/1108996 . ISBN 978-1-4503-6243-6 . S2CID 196831663 . Проверено 16 октября 2019 г.
^ Рендл, Штеффен; Кричене, Валид; Чжан, Ли; Андерсон, Джон (22 сентября 2020 г.). «Нейронная совместная фильтрация против матричной факторизации». Четырнадцатая конференция ACM по рекомендательным системам . стр. 240–248. arXiv : 2005.09683 . дои : 10.1145/3383313.3412488 . ISBN 978-1-4503-7583-2 .
^ Сунь, Чжу; Ю, Ди; Фанг, Хуэй; Ян, Цзе; Цюй, Синхуа; Чжан, Цзе; Гэн, Конг (2020). «Проводим ли мы строгую оценку? Рекомендация по сравнительному анализу для воспроизводимой оценки и справедливого сравнения» . Четырнадцатая конференция ACM по рекомендательным системам . АКМ. стр. 23–32. дои : 10.1145/3383313.3412489 . ISBN 978-1-4503-7583-2 . S2CID 221785064 .
^ Шифферер, Бенедикт; Деотт, Крис; Пьюже, Жан-Франсуа; де Соуза Перейра, Габриэль; Титерич, Жилберто; Лю, Дживэй; Хорошо, Ронай. «Использование глубокого обучения для победы в конкурсе Booking.com WSDM WebTour21 по последовательным рекомендациям» (PDF) . WSDM '21: Конференция ACM по веб-поиску и интеллектуальному анализу данных . АКМ. Архивировано из оригинала (PDF) 25 марта 2021 г. Проверено 3 апреля 2021 г.
^ Волковы, Максимы; Рай, Химаншу; Ченг, Чжаоюэ; Ву, Га; Лу, Ичао; Саннер, Скотт (2018). «Двухэтапная модель автоматического продолжения плейлиста в масштабе» . Материалы конкурса ACM Recommender Systems Challenge 2018 . АКМ. стр. 1–6. дои : 10.1145/3267471.3267480 . ISBN 978-1-4503-6586-4 . S2CID 52942462 .
^ Ив Раймонд, Джастин Базилико Глубокое обучение для рекомендательных систем , Deep Learning Re-Work SF Summit 2018
^ Экстранд, Майкл Д.; Людвиг, Майкл; Констан, Джозеф А.; Ридл, Джон Т. (1 января 2011 г.). «Переосмысление экосистемы рекомендательных исследований». Материалы пятой конференции ACM по рекомендательным системам . РекСис '11. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 133–140. дои : 10.1145/2043932.2043958 . ISBN 978-1-4503-0683-6 . S2CID 2215419 .
^ Констан, Джозеф А.; Адомавичюс, Гедиминас (1 января 2013 г.). «На пути к выявлению и внедрению лучших практик в исследовании алгоритмических рекомендательных систем». Материалы международного семинара по воспроизводимости и репликации в оценке рекомендательных систем . РепСис '13. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 23–28. дои : 10.1145/2532508.2532513 . ISBN 978-1-4503-2465-6 . S2CID 333956 .
^ Jump up to: ^а ^б Брайтингер, Коринна; Лангер, Стефан; Ломмач, Андреас; Гипп, Бела (12 марта 2016 г.). «На пути к воспроизводимости в исследованиях рекомендательных систем» . Пользовательское моделирование и взаимодействие с пользователем . 26 (1): 69–101. дои : 10.1007/s11257-016-9174-x . ISSN 0924-1868 . S2CID 388764 .
^ Сказал, Алан; Беллогин, Алехандро (1 октября 2014 г.). «Сравнительная оценка рекомендательной системы». Материалы 8-й конференции ACM по рекомендательным системам . РекСис '14. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 129–136. дои : 10.1145/2645710.2645746 . hdl : 10486/665450 . ISBN 978-1-4503-2668-1 . S2CID 15665277 .
^ Верма, П.; Шарма, С. (2020). «Система рекомендаций на основе искусственного интеллекта». 2020 2-я Международная конференция по достижениям в области вычислений, управления связью и сетями (ICACCCN) . стр. 669–673. дои : 10.1109/ICACCCN51052.2020.9362962 . ISBN 978-1-7281-8337-4 . S2CID 232150789 .
^ Ханал, СС (июль 2020 г.). «Систематический обзор: системы рекомендаций на основе машинного обучения для электронного обучения». Образовательные информационные технологии . 25 (4): 2635–2664. дои : 10.1007/s10639-019-10063-9 . S2CID 254475908 .
^ Jump up to: ^а ^б Чжан, Ц. (февраль 2021 г.). «Искусственный интеллект в рекомендательных системах» . Сложные и интеллектуальные системы . 7 : 439–457. дои : 10.1007/s40747-020-00212-w .
^ Ву, Л. (май 2023 г.). «Опрос по нейронным рекомендациям, ориентированным на точность: от совместной фильтрации к информативным рекомендациям». Транзакции IEEE по знаниям и инженерии данных . 35 (5): 4425–4445. arXiv : 2104.13030 . дои : 10.1109/TKDE.2022.3145690 .
^ Самек, В. (март 2021 г.). «Объяснение глубоких нейронных сетей и не только: обзор методов и приложений» . Труды IEEE . 109 (3): 247–278. arXiv : 2003.07631 . дои : 10.1109/JPROC.2021.3060483 .
^ Эйзенштейн, Дж. (октябрь 2019 г.). Введение в обработку естественного языка . Пресс-центр МТИ. ISBN 9780262042840 .
^ Миркин, Сима (4 июня 2014 г.). « Расширение и настройка Content Discovery для Legal Academic Com», Сима Миркин» . Статьи в журналах Law Reviews и других академических журналах . Digital Commons @ Юридический колледж Вашингтонского университета Американского университета . Проверено 31 декабря 2015 г.
^ «Мендли, Elsevier и важность открытия контента для академических издателей» . Архивировано из оригинала 17 ноября 2014 года . Проверено 8 декабря 2014 г.
^ Торберн, Люк; Овадья, Авив (31 октября 2023 г.). «Алгоритмы социальных сетей можно перепроектировать, чтобы преодолеть разногласия — вот как» . Ниман Лаборатория . Проверено 17 июля 2024 г.
^ Jump up to: ^а ^б Овадья, Авив (17 мая 2022 г.). «Рейтинг на основе мостов» . Белфер-центр Гарвардского университета . стр. 1, 14–28 . Проверено 17 июля 2024 г.
^ Смолли, Алекс Махадеван, Сет (8 ноября 2022 г.). «Илон Маск сохраняет Birdwatch живым — под новым именем» . Пойнтер . Проверено 17 июля 2024 г. {{cite web}}: CS1 maint: несколько имен: список авторов ( ссылка )
^ Шанклин, Уилл (17 июня 2024 г.). «Функция заметок сообщества YouTube вырывает страницу из книги X» . Engadget . Проверено 17 июля 2024 г.
^ Новак, Мэтт (17 июня 2024 г.). «YouTube добавляет экспериментальную функцию заметок сообщества для борьбы с дезинформацией» . Гизмодо . Проверено 17 июля 2024 г.
^ Овадья, Авив (17 мая 2022 г.). «Рейтинг на основе мостов» . Белферовский центр науки и международных отношений Гарвардского университета . стр. 21–23 . Проверено 17 июля 2024 г.
^ Новое лицо телевидения

Дальнейшее чтение

Книги

Ким Фальк (ум. 2019 г.), Практические рекомендательные системы, Manning Publications, ISBN 9781617292705
Бхарат Бхаскар; К. Шрикумар (2010). Рекомендательные системы в электронной коммерции . Чашка. ISBN 978-0-07-068067-8 . Архивировано из оригинала 1 сентября 2010 года.
Яннах, Дитмар; Маркус Занкер; Александр Фельферниг; Герхард Фридрих (2010). Рекомендательные системы: Введение . ЧАШКА. ISBN 978-0-521-49336-9 . Архивировано из оригинала 31 августа 2015 года.
Сивер, Ник (2022). Вычисление вкуса: алгоритмы и рекомендации создателей музыки . Издательство Чикагского университета.

Научные статьи

Роберт М. Белл; Джим Беннетт; Иегуда Корен и Крис Волинский (май 2009 г.). «Приз в миллион долларов в области программирования» . IEEE-спектр . Архивировано из оригинала 11 мая 2009 года . Проверено 10 декабря 2018 г.
Прем Мелвилл, Рэймонд Дж. Муни и Рамадасс Нагараджан. (2002) Совместная фильтрация с усилением контента для улучшения рекомендаций. Материалы восемнадцатой национальной конференции по искусственному интеллекту (AAAI-2002), стр. 187–192, Эдмонтон, Канада, июль 2002 г.

[handbook-1] Jump up to: ^а ^б ^с ^д Риччи, Франческо; Рокач, Лиор; Шапира, Брача (2022). «Рекомендательные системы: методы, приложения и проблемы» . В Риччи, Франческо; Рокач, Лиор; Шапира, Брача (ред.). Справочник по рекомендательным системам (3-е изд.). Нью-Йорк: Спрингер. стр. 1–35. дои : 10.1007/978-1-0716-2197-4_1 . ISBN 978-1-0716-2196-7 .

[2] Лев Гроссман (27 мая 2010 г.). «Как компьютеры узнают, чего мы хотим, еще до того, как мы это сделаем» . ВРЕМЯ . Архивировано из оригинала 30 мая 2010 года . Проверено 1 июня 2015 г.

[3] Рой, Дипджьоти; Дутта, Мала (2022). «Систематический обзор и исследовательский взгляд на рекомендательные системы» . Журнал больших данных . 9 (59). дои : 10.1186/s40537-022-00592-5 .

[ResnickVarian-4] Jump up to: ^а ^б Резник, Пол и Хэл Р. Вариан. «Рекомендательные системы». Связь ACM 40, нет. 3 (1997): 56–58.

[twitterwtf2-5] Гупта, Панкадж; Гоэль, Ашиш; Лин, Джимми; Шарма, Аниш; Ван, Донг; Заде, Реза (2013). «WTF: сервис «За кем следить» в Твиттере» . Материалы 22-й Международной конференции по Всемирной паутине . Ассоциация вычислительной техники. стр. 505–514. дои : 10.1145/2488388.2488433 . ISBN 9781450320351 .

[6] Баран, Ремигиуш; Дзех, Анджей; Зея, Анджей (1 июня 2018 г.). «Мощная платформа для обнаружения мультимедийного контента, основанная на визуальном анализе контента и интеллектуальном обогащении данных» . Мультимедийные инструменты и приложения . 77 (11): 14077–14091. дои : 10.1007/s11042-017-5014-1 . ISSN 1573-7721 . S2CID 36511631 .

[expertseer-7] Х. Чен, А. Г. Орорбия II, К. Л. Джайлз ExpertSeer: эксперт-рекомендатель для цифровых библиотек на основе ключевых фраз , в препринте arXiv, 2015 г.

[collabseer-8] Чен, Хун-Сюань; Гоу, Лян; Чжан, Сяолун; Джайлз, Клайд Ли (2011). «CollabSeer: поисковая система для совместной работы» (PDF) . Материалы 11-й ежегодной международной совместной конференции ACM/IEEE по цифровым библиотекам . Ассоциация вычислительной техники. стр. 231–240. дои : 10.1145/1998076.1998121 . ISBN 9781450307444 .

[financialrec-9] Фельферниг, Александр; Исак, Клаус; Сабо, Кальман; Захар, Питер (2007). «Среда поддержки продаж финансовых услуг VITA» (PDF) . У Уильяма Читама (ред.). Материалы 19-й Национальной конференции по инновационным применениям искусственного интеллекта, том. 2 . стр. 1692–1699. ISBN 9781577353232 . Копия АКМ .

[nature1-10] Jump up to: ^а ^б ^с ^д ^и вакансии (3 сентября 2014 г.). «Как укротить поток литературы: Nature News & Comment» . Природа . 513 (7516). Nature.com: 129–130. дои : 10.1038/513129а . ПМИД 25186906 . S2CID 4460749 .

[11] Анализ (14 декабря 2011 г.). «Netflix обновляет приложение для iPad, чтобы улучшить обнаружение контента» . ПРОВОДНОЙ . Проверено 31 декабря 2015 г.

[Recommender2010-12] Мелвилл, Прем; Синдхвани, Викас (2010). «Рекомендательные системы» (PDF) . У Клода Саммута; Джеффри И. Уэбб (ред.). Энциклопедия машинного обучения . Спрингер. стр. 829–838. дои : 10.1007/978-0-387-30164-8_705 . ISBN 978-0-387-30164-8 .

[mooney99-13] Р. Дж. Муни и Л. Рой (1999). Рекомендация книг на основе содержания с использованием обучения для категоризации текста . В Мастерской Реком. Сис.: Алго. и оценка.

[14] Хаупт, Джон (1 июня 2009 г.). «Last.fm: Народное онлайн-радио». Ежеквартальный журнал музыкальных справочных служб . 12 (1–2): 23–24. дои : 10.1080/10588160902816702 . ISSN 1058-8167 . S2CID 161141937 .

[:3-15] Jump up to: ^а ^б Чен, Хун-Сюань; Чен, Пу (9 января 2019 г.). «Дифференцирование весов регуляризации - простой механизм облегчения холодного запуска в рекомендательных системах». Транзакции ACM по извлечению знаний из данных . 13 : 1–22. дои : 10.1145/3285954 . S2CID 59337456 .

[rubens2016-16] Jump up to: ^а ^б Рубенс, Нил; Элахи, Мехди; Сугияма, Масаси; Каплан, Дейн (2016). «Активное обучение в рекомендательных системах» . В Риччи, Франческо; Рокач, Лиор; Шапира, Брача (ред.). Справочник по рекомендательным системам (2-е изд.). Спрингер США. стр. 809–846. дои : 10.1007/978-1-4899-7637-6_24 . ISBN 978-1-4899-7637-6 .

[17] Бобадилья, Дж.; Ортега, Ф.; Эрнандо, А.; Алькала, Дж. (2011). «Улучшение результатов и производительности рекомендательной системы совместной фильтрации с использованием генетических алгоритмов». Системы, основанные на знаниях . 24 (8): 1310–1316. дои : 10.1016/j.knosys.2011.06.005 .

[elahi2016-18] Jump up to: ^а ^б Элахи, Мехди; Риччи, Франческо; Рубенс, Нил (2016). «Обзор активного обучения в рекомендательных системах совместной фильтрации» . Обзор компьютерных наук . 20 :29–50. дои : 10.1016/j.cosrev.2016.05.002 .

[schein02-19] Эндрю И. Шейн; Александрин Попескуль; Лайл Х. Ангар ; Дэвид М. Пеннок (2002). Методы и метрики для рекомендаций по холодному запуску . Материалы 25-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска (SIGIR 2002). : АКМ . стр. 253–260 . ISBN 1-58113-561-0 . Проверено 2 февраля 2008 г.

[bi2017-20] Jump up to: ^а ^б Би, Сюань; Цюй, Энни; Ван, Цзюньхуэй; Шен, Сяотун (2017). «Групповая рекомендательная система» . Журнал Американской статистической ассоциации . 112 (519): 1344–1353. дои : 10.1080/01621459.2016.1219261 . S2CID 125187672 .

[21] Стек, Чарльз. « Система и метод предоставления рекомендаций по товарам и услугам на основе записанной истории покупок ». Патент США 7 222 085, выданный 22 мая 2007 г.

[22] Герц, Фредерик С.М. «Индивидуальные электронные газеты и реклама». Патент США 7 483 871, выданный 27 января 2009 г.

[23] Герц, Фредерик, Лайл Унгар, Цзянь Чжан и Дэвид Вахоб. « Система и способ обеспечения доступа к данным с использованием профилей клиентов ». Патент США № 8056100, выданный 8 ноября 2011 г.

[24] Харбик, Эндрю В., Райан Дж. Снодграсс и Джоэл Р. Шпигель. « Обнаружение похожих цифровых произведений и авторов работ на основе плейлистов ». Патент США № 8 468 046, выданный 18 июня 2013 г.

[25] Линден, Грегори Д., Брент Рассел Смит и Нида К. Зада. « Автоматическое обнаружение и выявление поведенческих связей между просматриваемыми элементами ». Патент США № 9070156, выданный 30 июня 2015 г.

[26] БИЛ, Джоран и др. Бумажные рекомендательные системы: обзор литературы. Международный журнал цифровых библиотек, 2016, 17. Jg., Nr. 4, С. 305–338.

[27] РИЧ, Элейн. Моделирование пользователей через стереотипы. Когнитивные науки, 1979, 3. Jg., Nr. 4, С. 329–354.

[28] Карлгрен, Юсси. 1990. «Алгебра для рекомендаций». Рабочий документ Syslab 179 (1990).

[29] Карлгрен, Юсси. « Кластеризация групп новостей на основе поведения пользователей — алгебра рекомендаций. Архивировано 27 февраля 2021 года в Wayback Machine ». Отчет об исследованиях SICS (1994 г.).

[30] Карлгрен, Юсси (октябрь 2017 г.). «Цифровая книжная полка: оригинальная работа над рекомендательными системами» . Проверено 27 октября 2017 г.

[31] Шардананд, Упендра и Патти Мэйс. « Фильтрация социальной информации: алгоритмы автоматизации «сарафанного радио» ». В материалах конференции SIGCHI «Человеческий фактор в вычислительных системах», стр. 210–217. ACM Press/Addison-Wesley Publishing Co., 1995.

[32] Хилл, Уилл, Ларри Стед, Марк Розенштейн и Джордж Фернас. « Рекомендации и оценка вариантов в виртуальном сообществе использования . Архивировано 21 декабря 2018 г. на Wayback Machine ». В материалах конференции SIGCHI «Человеческий фактор в вычислительных системах», стр. 194–201. ACM Press/Addison-Wesley Publishing Co., 1995.

[33] Резник, Пол, Неофитос Якову, Митеш Сухак, Питер Бергстрем и Джон Ридл. « GroupLens: открытая архитектура для совместной фильтрации сетевых новостей ». В материалах конференции ACM 1994 г. по совместной работе, поддерживаемой компьютерами, стр. 175–186. АКМ, 1994.

[34] Монтанер, М.; Лопес, Б.; де ла Роса, JL (июнь 2003 г.). «Таксономия рекомендательных агентов в Интернете». Обзор искусственного интеллекта . 19 (4): 285–330. дои : 10.1023/А:1022850703159 . S2CID 16544257 . .

[Toward_the_Next_Generation_of_Recommender_Systems-35] Jump up to: ^а ^б Адомавичюс, Г.; Тужилин А. (июнь 2005 г.). «На пути к следующему поколению рекомендательных систем: обзор современного состояния и возможных расширений» . Транзакции IEEE по знаниям и инженерии данных . 17 (6): 734–749. CiteSeerX 10.1.1.107.2790 . дои : 10.1109/TKDE.2005.99 . S2CID 206742345 . .

[36] Херлокер, Дж.Л.; Констан, Дж.А.; Тервин, Л.Г.; Ридл, Дж.Т. (январь 2004 г.). «Оценка рекомендательных систем совместной фильтрации». АКМ Транс. Инф. Сист . 22 (1): 5–53. CiteSeerX 10.1.1.78.8384 . дои : 10.1145/963770.963772 . S2CID 207731647 . .

[:0-37] Jump up to: ^а ^б ^с Бил, Дж.; Генцмер, М.; Гипп, Б. (октябрь 2013 г.). «Сравнительный анализ офлайн- и онлайн-оценок и обсуждение системы оценки рекомендаций исследовательских работ» (PDF) . Материалы международного семинара по воспроизводимости и репликации в оценке рекомендательных систем . стр. 7–14. дои : 10.1145/2532508.2532511 . ISBN 978-1-4503-2465-6 . S2CID 8202591 . Архивировано из оригинала (PDF) 17 апреля 2016 года . Проверено 22 октября 2013 г.

[38] Бил, Дж.; Лангер, С.; Генцмер, М.; Гипп, Б.; Брайтингер, К. (октябрь 2013 г.). «Оценка системы рекомендаций научных работ: количественный обзор литературы» (PDF) . Материалы международного семинара по воспроизводимости и репликации в оценке рекомендательных систем . стр. 15–22. дои : 10.1145/2532508.2532512 . ISBN 978-1-4503-2465-6 . S2CID 4411601 .

[39] Бил, Дж.; Гипп, Б.; Лангер, С.; Брайтингер, К. (26 июля 2015 г.). «Системы рекомендаций для научных работ: обзор литературы» . Международный журнал цифровых библиотек . 17 (4): 305–338. дои : 10.1007/s00799-015-0156-0 . S2CID 207035184 .

[Breese98-40] Джон С. Бриз; Дэвид Хекерман и Карл Кэди (1998). Эмпирический анализ предсказательных алгоритмов коллаборативной фильтрации . В материалах четырнадцатой конференции по неопределенности в искусственном интеллекте (UAI'98). arXiv : 1301.7363 .

[41] Бриз, Джон С.; Хеккерман, Дэвид; Кэди, Карл (1998). Эмпирический анализ алгоритмов прогнозирования для совместной фильтрации (PDF) (Отчет). Исследования Майкрософт.

[42] Корен, Иегуда; Волинский, Крис (1 августа 2009 г.). «Методы матричной факторизации для рекомендательных систем». Компьютер . 42 (8): 30–37. CiteSeerX 10.1.1.147.8295 . дои : 10.1109/MC.2009.263 . S2CID 58370896 .

[43] Сарвар, Б.; Карипис, Г.; Констан, Дж.; Ридл, Дж. (2000). «Применение уменьшения размерности в рекомендательной системе. Практический пример» . ,

[44] Аллен, РБ (1990). Пользовательские модели: теория, метод, практика . Международные исследования человеко-машинных технологий.

[45] Парсонс, Дж.; Ральф, П.; Галлахер, К. (июль 2004 г.). Использование времени просмотра для определения предпочтений пользователя в рекомендательных системах . Семинар AAAI по персонализации семантической сети, Сан-Хосе, Калифорния. .

[Lee2007-46] Санхак Ли, Джихун Ян и Пак Сунг-Ён, Обнаружение скрытого сходства в совместной фильтрации для преодоления проблемы разреженности , Discovery Science, 2007.

[47] Фелисио, Крисия З.; Пайшао, Клериссон В.Р.; Барселуш, Селия АЗ; Пре, Филипп (9 июля 2017 г.). «Выбор модели многорукого бандита для рекомендаций пользователям при холодном запуске» . Материалы 25-й конференции по моделированию, адаптации и персонализации пользователей (PDF) . УМАП '17. Братислава, Словакия: Ассоциация вычислительной техники. стр. 32–40. дои : 10.1145/3079628.3079681 . ISBN 978-1-4503-4635-1 . S2CID 653908 .

[patft.uspto.gov-48] Совместные рекомендации с использованием сопоставлений сходства между предметами. Архивировано 16 марта 2015 г. на Wayback Machine.

[Aggarwal16Book-49] Аггарвал, Чару К. (2016). Рекомендательные системы: Учебник . Спрингер. ISBN 978-3-319-29657-9 .

[50] Петр Брусиловский (2007). Адаптивная сеть . Спрингер. п. 325 . ISBN 978-3-540-72078-2 .

[51] Ван, Дунхуэй; Лян, Яньчунь; Сюй, Донг; Фэн, Сяоюэ; Гуань, Ренчу (2018). «Система рекомендаций на основе контента для публикаций по информатике» . Системы, основанные на знаниях . 157 : 1–9. дои : 10.1016/j.knosys.2018.05.001 .

[52] Бланда, Стефани (25 мая 2015 г.). «Онлайн-рекомендательные системы – откуда веб-сайт узнает, чего я хочу?» . Американское математическое общество . Проверено 31 октября 2016 г.

[53] XY Фэн, Х. Чжан, YJ Ren, PH Shang, Y. Zhu, YC Liang, RC Guan, D. Xu, (2019), « Система рекомендаций на основе глубокого обучения «Pubmender» для выбора места биомедицинской публикации: Исследование разработки и проверки », Журнал медицинских интернет-исследований , 21 (5): e12957

[54] Ринке Хукстра, Узкое место в реинжиниринге знаний , Семантическая сеть - совместимость, удобство использования, применимость 1 (2010) 1, IOS Press

[55] Гомес-Урибе, Карлос А.; Хант, Нил (28 декабря 2015 г.). «Рекомендательная система Netflix» . Транзакции ACM в информационных системах управления . 6 (4): 1–19. дои : 10.1145/2843948 .

[ghrs-56] Jump up to: ^а ^б Заманзаде Дарбан, З.; Валипур, Миннесота (15 августа 2022 г.). «GHRS: гибридная система рекомендаций на основе графов с рекомендацией приложений к фильмам». Экспертные системы с приложениями . 200 : 116850. arXiv : 2111.11293 . дои : 10.1016/j.eswa.2022.116850 . S2CID 244477799 .

[hybrids-57] Робин Берк, Гибридные веб-рекомендательные системы. Архивировано 12 сентября 2014 г. в Wayback Machine , стр. 377-408, Адаптивная сеть, Питер Брусиловский, Альфред Кобса, Вольфганг Нейдль (ред.), Конспекты лекций по информатике, Springer- Верлаг, Берлин, Германия, Конспекты лекций по информатике, Vol. 4321, май 2007 г., 978-3-540-72078-2.

[a-58] Jump up to: ^а ^б Хидаси, Балаж; Карацоглу, Александрос; Балтрунас, Линас; Тикк, Домонкос (29 марта 2016 г.). «Рекомендации на основе сеансов с рекуррентными нейронными сетями». arXiv : 1511.06939 [ cs.LG ].

[yt-59] Jump up to: ^а ^б ^с Чен, Минмин; Бойтель, Алекс; Ковингтон, Пол; Джайн, Сагар; Беллетти, Франсуа; Чи, Эд (2018). «Коррекция несоответствия политике Top-K для рекомендательной системы REINFORCE». arXiv : 1812.02353 [ cs.LG ].

[amzn-60] Jump up to: ^а ^б Ифэй, Ма; Нараянасвами, Балакришнан; Хайбин, Лин; Хао, Дин (2020). «Временно-контекстная рекомендация в режиме реального времени». Материалы 26-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных . Ассоциация вычислительной техники. стр. 2291–2299. дои : 10.1145/3394486.3403278 . ISBN 978-1-4503-7998-4 . S2CID 221191348 .

[61] Хидаси, Балаж; Карацоглу, Александрос (17 октября 2018 г.). «Рекуррентные нейронные сети с приростом Top-k для рекомендаций на основе сеансов» . Материалы 27-й Международной конференции ACM по управлению информацией и знаниями . ЦИКМ '18. Турин, Италия: Ассоциация вычислительной техники. стр. 843–852. arXiv : 1706.03847 . дои : 10.1145/3269206.3271761 . ISBN 978-1-4503-6014-2 . S2CID 1159769 .

[62] Канг, Ван-Ченг; Маколи, Джулиан (2018). «Внимательная последовательная рекомендация». arXiv : 1808.09781 [ cs.IR ].

[63] Ли, Цзин; Рен, Пэнцзе; Чен, Жумин; Рен, Чжаочунь; Лиан, Тао; Ма, июнь (6 ноября 2017 г.). «Рекомендации по нейронно-внимательному сеансу» . Материалы конференции ACM по управлению информацией и знаниями 2017 года . ЦИКМ '17. Сингапур, Сингапур: Ассоциация вычислительной техники. стр. 1419–1428. arXiv : 1711.04725 . дои : 10.1145/3132847.3132926 . ISBN 978-1-4503-4918-5 . S2CID 21066930 .

[64] Лю, Цяо; Цзэн, Ифу; Мохоси, Рефуоэ; Чжан, Хайбинь (19 июля 2018 г.). «ШТАМП» . Материалы 24-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных . КДД '18. Лондон, Великобритания: Ассоциация вычислительной техники. стр. 1831–1839. дои : 10.1145/3219819.3219950 . ISBN 978-1-4503-5552-0 . S2CID 50775765 .

[srl-65] Синь, Синь; Карацоглу, Александрос; Арапакис, Иоаннис; Хосе, Джоемон (2020). «Самоконтролируемое обучение с подкреплением для рекомендательных систем». arXiv : 2006.05779 [ cs.LG ].

[sQ-66] То есть, Евгений; Джайн, Вихан; Нарвекар, Санмит; Агарвал, Ритеш; Ву, Руи; Ченг, Хенг-Цзы; Чандра, Тушар; Бутилье, Крейг (2019). «SlateQ: управляемая декомпозиция для обучения с подкреплением с помощью наборов рекомендаций» . Материалы двадцать восьмой международной совместной конференции по искусственному интеллекту (IJCAI-19) : 2592–2599.

[jd-67] Цзоу, Ликсин; Ся, Лонг; Дин, Чжое; Сун, Цзясин; Лю, Вэйдун; Инь, Давэй (2019). «Обучение с подкреплением для оптимизации долгосрочного взаимодействия пользователей с рекомендательными системами» . Материалы 25-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных . КДД '19. стр. 2810–2818. arXiv : 1902.05570 . дои : 10.1145/3292500.3330668 . ISBN 978-1-4503-6201-6 . S2CID 62903207 .

[68] Лакиотаки, К.; Мацацинис; Цукиас, А (март 2011 г.). «Многокритериальное моделирование пользователей в рекомендательных системах». Интеллектуальные системы IEEE . 26 (2): 64–76. CiteSeerX 10.1.1.476.6726 . doi : 10.1109/mis.2011.33 . S2CID 16752808 .

[69] Гедиминас Адомавичюс; Никос Мануселис; ЯнгОк Квон. «Многокритериальные рекомендательные системы» (PDF) . Архивировано из оригинала (PDF) 30 июня 2014 г.

[Bouneffouf2013-70] Бунеффуф, Джалель (2013), DRARS, Динамическая рекомендательная система с учетом рисков (доктор философии), Национальный институт телекоммуникаций

[taxirecommender-71] Jump up to: ^а ^б Ён Ге; Хуэй Сюн; Александр Тужилин; Кели Сяо; Марко Грутезер; Майкл Дж. Паццани (2010). Энергоэффективная мобильная рекомендательная система (PDF) . Материалы 16-й Международной конференции ACM SIGKDD. по обнаружению знаний и интеллектуальному анализу данных. Нью-Йорк, Нью-Йорк : ACM . стр. 899–908 . Проверено 17 ноября 2011 г.

[72] Пименидис, Элиас; Полатидис, Николаос; Муратидис, Хараламбос (3 августа 2018 г.). «Мобильные рекомендательные системы: определение основных концепций». Журнал информатики . 45 (3): 387–397. arXiv : 1805.02276 . дои : 10.1177/0165551518792213 . S2CID 19209845 .

[nytimes.com-73] Jump up to: ^а ^б Лор, Стив (22 сентября 2009 г.). «Исследовательская сделка на 1 миллион долларов для Netflix и, возможно, модель для других» . Нью-Йорк Таймс .

[74] Р. Белл; Ю. Корен; С. Волинский (2007). «Решение BellKor для премии Netflix» (PDF) . Архивировано из оригинала (PDF) 4 марта 2012 года . Проверено 30 апреля 2009 г.

[75] Бодоки, Томас (6 августа 2009 г.). «Матричная факторизация один миллион долларов» . Индекс .

[76] Восстание хакеров Netflix. Архивировано 24 января 2012 г. в Wayback Machine.

[77] «Netflix раскрыл секрет вашей Горбатой горы, иск» . ПРОВОДНОЙ . 17 декабря 2009 года . Проверено 1 июня 2015 г.

[nfcancel-78] «Обновление премии Netflix» . Форум премии Netflix. 12 марта 2010 года. Архивировано из оригинала 27 ноября 2011 года . Проверено 14 декабря 2011 г.

[79] Латия, Н., Хейлс, С., Капра, Л., Аматриан, X.: Временное разнообразие в рекомендательных системах . ^{[ мертвая ссылка ]}. В: Материалы 33-й Международной конференции ACMSIGIR по исследованиям и разработкам в области информационного поиска, SIGIR 2010, стр. 210–217. АКМ, Нью-Йорк

[Turpin2001-80] Терпин, Эндрю Х; Херш, Уильям (2001). «Почему пакетные и пользовательские оценки не дают одинаковых результатов». Материалы 24-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска . стр. 225–231.

[81] «Набор данных MovieLens» . 6 сентября 2013 г.

[:4-82] Jump up to: ^а ^б Чен, Хун-Сюань; Чунг, Чу-Ань; Хуан, Синь-Чиен; Цуй, Вэнь (1 сентября 2017 г.). «Распространенные ошибки при обучении и оценке рекомендательных систем». Информационный бюллетень об исследованиях ACM SIGKDD . 19 : 37–45. дои : 10.1145/3137597.3137601 . S2CID 10651930 .

[83] Яннах, Дитмар; Лерче, Лукас; Гедикли, Фатих; Боннин, Жоффрей (10 июня 2013 г.). «Что рекомендуют специалисты: анализ точности, популярности и эффектов разнообразия продаж». В Карберри, Сандра; Вайбельзал, Стефан; Микарелли, Алессандро; Семераро, Джованни (ред.). Моделирование пользователей, адаптация и персонализация . Конспекты лекций по информатике. Том. 7899. Шпрингер Берлин Гейдельберг. стр. 25–37 . CiteSeerX 10.1.1.465.96 . дои : 10.1007/978-3-642-38844-6_3 . ISBN 978-3-642-38843-9 .

[:1-84] Jump up to: ^а ^б Терпин, Эндрю Х.; Херш, Уильям (1 января 2001 г.). «Почему пакетные и пользовательские оценки не дают одинаковых результатов» . Материалы 24-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска . СИГИР '01. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 225–231 . CiteSeerX 10.1.1.165.5800 . дои : 10.1145/383952.383992 . ISBN 978-1-58113-331-8 . S2CID 18903114 .

[85] Лангер, Стефан (14 сентября 2015 г.). «Сравнение офлайн-оценок, онлайн-оценок и исследований пользователей в контексте рекомендательных систем научных статей». В Капидакисе, Сарантос; Мазурек, Цезари; Верла, Марцин (ред.). Исследования и передовые технологии для электронных библиотек . Конспекты лекций по информатике. Том. 9316. Международное издательство Springer. стр. 153–168. дои : 10.1007/978-3-319-24592-8_12 . ISBN 978-3-319-24591-1 .

[BasaranNtoutsi2017-86] Басаран, Дэниел; Нтуци, Эйрини; Зимек, Артур (2017). Материалы Международной конференции SIAM по интеллектуальному анализу данных 2017 года . стр. 390–398. дои : 10.1137/1.9781611974973.44 . ISBN 978-1-61197-497-3 .

[87] Бил, Джоран; Генцмер, Марсель; Лангер, Стефан; Нюрнбергер, Андреас; Гипп, Бела (1 января 2013 г.). «Сравнительный анализ офлайн- и онлайн-оценок и обсуждение системы рекомендаций исследовательских работ». Материалы международного семинара по воспроизводимости и репликации в оценке рекомендательных систем . РепСис '13. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 7–14. CiteSeerX 10.1.1.1031.973 . дои : 10.1145/2532508.2532511 . ISBN 978-1-4503-2465-6 . S2CID 8202591 .

[cañamares2018-88] Каньямарес, Росио; Кастельс, Пабло (июль 2018 г.). Должен ли я следовать за толпой? Вероятностный анализ эффективности популярности в рекомендательных системах (PDF) . 41-я ежегодная международная конференция ACM SIGIR по исследованиям и разработкам в области информационного поиска (SIGIR 2018). Анн-Арбор, Мичиган, США: ACM. стр. 415–424. дои : 10.1145/3209978.3210014 . Архивировано из оригинала (PDF) 14 апреля 2021 г. Проверено 5 марта 2021 г.

[cañamares2020-89] Каньямарес, Росио; Кастельс, Пабло; Моффат, Алистер (март 2020 г.). «Варианты автономной оценки для рекомендательных систем» (PDF) . Информационный поиск . 23 (4). Спрингер: 387–410. дои : 10.1007/s10791-020-09371-3 . S2CID 213169978 .

[Ziegler2005-90] Зиглер К.Н., Макни С.М., Констан Дж.А., Лаузен Г. (2005). «Улучшение списков рекомендаций за счет диверсификации тем». Материалы 14-й международной конференции по Всемирной паутине . стр. 22–32.

[castells2015-91] Jump up to: ^а ^б Кастельс, Пабло; Херли, Нил Дж.; Варгас, Саул (2015). «Новинка и разнообразие рекомендательных систем» . В Риччи, Франческо; Рокач, Лиор; Шапира, Брача (ред.). Справочник по рекомендательным системам (2-е изд.). Спрингер США. стр. 881–918. дои : 10.1007/978-1-4899-7637-6_26 . ISBN 978-1-4899-7637-6 .

[Beel2013e-92] Джоран Бил; Стефан Лангер; Марсель Генцмер; Андреас Нюрнбергер (сентябрь 2013 г.). «Постоянство в рекомендательных системах: предоставление одних и тех же рекомендаций одним и тем же пользователям несколько раз» (PDF) . В Тронде Ольберге; Милена Добрева; Христос Папатеодору; Яннис Цаконас; Чарльз Фарруджа (ред.). Материалы 17-й Международной конференции по теории и практике электронных библиотек (TPDL 2013) . Конспекты лекций по информатике (LNCS). Том. 8092. Спрингер. стр. 390–394 . Проверено 1 ноября 2013 г.

[Cosley2003-93] Косли, Д.; Лам, СК; Альберт, И.; Констан, Дж.А.; Ридл, Дж (2003). «Видеть — значит верить?: как интерфейсы рекомендательной системы влияют на мнение пользователей» (PDF) . Материалы конференции SIGCHI «Человеческий фактор в вычислительных системах» . стр. 585–592. S2CID 8307833 .

[Pu2012-94] Пу, П.; Чен, Л.; Ху, Р. (2012). «Оценка рекомендательных систем с точки зрения пользователя: обзор современного состояния» (PDF) . Пользовательское моделирование и взаимодействие с пользователем : 1–39.

[privacyoverview-95] Нарен Рамакришнан; Бенджамин Дж. Келлер; Батул Дж. Мирза; Анант Ю. Грама; Георгий Карипис (2001). «Риски конфиденциальности в рекомендательных системах» . IEEE Интернет-вычисления . 5 (6). Пискатауэй, Нью-Джерси: Отдел образовательной деятельности IEEE : 54–62 . CiteSeerX 10.1.1.2.2932 . дои : 10.1109/4236.968832 . ISBN 978-1-58113-561-9 . S2CID 1977107 .

[Beel2013f-96] Джоран Бил; Стефан Лангер; Андреас Нюрнбергер; Марсель Генцмер (сентябрь 2013 г.). «Влияние демографических данных (возраста и пола) и других характеристик пользователей на оценку рекомендательных систем» (PDF) . В Тронде Ольберге; Милена Добрева; Христос Папатеодору; Яннис Цаконас; Чарльз Фарруджа (ред.). Материалы 17-й Международной конференции по теории и практике электронных библиотек (TPDL 2013) . Спрингер. стр. 400–404 . Проверено 1 ноября 2013 г.

[Konstan2012-97] Констан Ю.А., Ридл Дж. (2012). «Рекомендательные системы: от алгоритмов к пользовательскому опыту» (PDF) . Пользовательское моделирование и взаимодействие с пользователем . 22 (1–2): 1–23. дои : 10.1007/s11257-011-9112-x . S2CID 8996665 .

[Ricci2011-98] Риччи Ф., Рокач Л., Шапира Б., Кантор Б.П. (2011). Справочник по рекомендательным системам . стр. 1–35. Бибкод : 2011рш..книга.....Р .

[99] Мёллер, Юдит; Триллинг, Дамиан; Хельбергер, Натали; ван Эс, Брэм (3 июля 2018 г.). «Не вините в этом алгоритм: эмпирическая оценка множественных рекомендательных систем и их влияния на разнообразие контента» . Информация, коммуникация и общество . 21 (7): 959–977. дои : 10.1080/1369118X.2018.1444076 . hdl : 11245.1/4242e2e0-3beb-40a0-a6cb-d8947a13efb4 . ISSN 1369-118X . S2CID 149344712 .

[Montaner2002-100] Монтанер, Майкл; Лопес, Беатрис; Розы, Хосеп Луис (2002). «Развитие доверия к рекомендательным агентам» . Материалы первой международной совместной конференции «Автономные агенты и мультиагентные системы: часть 1» . стр. 304–305.

[Beel2013a-101] Бил, Джоран, Лангер, Стефан, Генцмер, Марсель (сентябрь 2013 г.). «Спонсорские и органические (исследовательские работы) рекомендации и влияние маркировки» (PDF) . В Тронде Ольберге, Милене Добреве, Христосе Папатеодору, Яннисе Цаконасе, Чарльзе Фаррудже (ред.). Материалы 17-й Международной конференции по теории и практике электронных библиотек (TPDL 2013) . стр. 395–399 . Проверено 2 декабря 2013 г.

[102] Феррари Дакрема, Маурицио; Больо, Симона; Кремонези, Паоло; Яннах, Дитмар (8 января 2021 г.). «Тревожный анализ воспроизводимости и прогресса в исследованиях рекомендательных систем» . Транзакции ACM в информационных системах . 39 (2): 1–49. arXiv : 1911.07698 . дои : 10.1145/3434185 . hdl : 11311/1164333 . S2CID 208138060 .

[103] Феррари Дакрема, Маурицио; Кремонези, Паоло; Яннах, Дитмар (2019). «Действительно ли мы добились большого прогресса? Тревожный анализ последних подходов к нейронным рекомендациям» . Материалы 13-й конференции ACM по рекомендательным системам . РекСис '19. АКМ. стр. 101–109. arXiv : 1907.06902 . дои : 10.1145/3298689.3347058 . hdl : 11311/1108996 . ISBN 978-1-4503-6243-6 . S2CID 196831663 . Проверено 16 октября 2019 г.

[104] Рендл, Штеффен; Кричене, Валид; Чжан, Ли; Андерсон, Джон (22 сентября 2020 г.). «Нейронная совместная фильтрация против матричной факторизации». Четырнадцатая конференция ACM по рекомендательным системам . стр. 240–248. arXiv : 2005.09683 . дои : 10.1145/3383313.3412488 . ISBN 978-1-4503-7583-2 .

[105] Сунь, Чжу; Ю, Ди; Фанг, Хуэй; Ян, Цзе; Цюй, Синхуа; Чжан, Цзе; Гэн, Конг (2020). «Проводим ли мы строгую оценку? Рекомендация по сравнительному анализу для воспроизводимой оценки и справедливого сравнения» . Четырнадцатая конференция ACM по рекомендательным системам . АКМ. стр. 23–32. дои : 10.1145/3383313.3412489 . ISBN 978-1-4503-7583-2 . S2CID 221785064 .

[106] Шифферер, Бенедикт; Деотт, Крис; Пьюже, Жан-Франсуа; де Соуза Перейра, Габриэль; Титерич, Жилберто; Лю, Дживэй; Хорошо, Ронай. «Использование глубокого обучения для победы в конкурсе Booking.com WSDM WebTour21 по последовательным рекомендациям» (PDF) . WSDM '21: Конференция ACM по веб-поиску и интеллектуальному анализу данных . АКМ. Архивировано из оригинала (PDF) 25 марта 2021 г. Проверено 3 апреля 2021 г.

[107] Волковы, Максимы; Рай, Химаншу; Ченг, Чжаоюэ; Ву, Га; Лу, Ичао; Саннер, Скотт (2018). «Двухэтапная модель автоматического продолжения плейлиста в масштабе» . Материалы конкурса ACM Recommender Systems Challenge 2018 . АКМ. стр. 1–6. дои : 10.1145/3267471.3267480 . ISBN 978-1-4503-6586-4 . S2CID 52942462 .

[ntfx-108] Ив Раймонд, Джастин Базилико Глубокое обучение для рекомендательных систем , Deep Learning Re-Work SF Summit 2018

[109] Экстранд, Майкл Д.; Людвиг, Майкл; Констан, Джозеф А.; Ридл, Джон Т. (1 января 2011 г.). «Переосмысление экосистемы рекомендательных исследований». Материалы пятой конференции ACM по рекомендательным системам . РекСис '11. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 133–140. дои : 10.1145/2043932.2043958 . ISBN 978-1-4503-0683-6 . S2CID 2215419 .

[110] Констан, Джозеф А.; Адомавичюс, Гедиминас (1 января 2013 г.). «На пути к выявлению и внедрению лучших практик в исследовании алгоритмических рекомендательных систем». Материалы международного семинара по воспроизводимости и репликации в оценке рекомендательных систем . РепСис '13. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 23–28. дои : 10.1145/2532508.2532513 . ISBN 978-1-4503-2465-6 . S2CID 333956 .

[:2-111] Jump up to: ^а ^б Брайтингер, Коринна; Лангер, Стефан; Ломмач, Андреас; Гипп, Бела (12 марта 2016 г.). «На пути к воспроизводимости в исследованиях рекомендательных систем» . Пользовательское моделирование и взаимодействие с пользователем . 26 (1): 69–101. дои : 10.1007/s11257-016-9174-x . ISSN 0924-1868 . S2CID 388764 .

[112] Сказал, Алан; Беллогин, Алехандро (1 октября 2014 г.). «Сравнительная оценка рекомендательной системы». Материалы 8-й конференции ACM по рекомендательным системам . РекСис '14. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 129–136. дои : 10.1145/2645710.2645746 . hdl : 10486/665450 . ISBN 978-1-4503-2668-1 . S2CID 15665277 .

[113] Верма, П.; Шарма, С. (2020). «Система рекомендаций на основе искусственного интеллекта». 2020 2-я Международная конференция по достижениям в области вычислений, управления связью и сетями (ICACCCN) . стр. 669–673. дои : 10.1109/ICACCCN51052.2020.9362962 . ISBN 978-1-7281-8337-4 . S2CID 232150789 .

[114] Ханал, СС (июль 2020 г.). «Систематический обзор: системы рекомендаций на основе машинного обучения для электронного обучения». Образовательные информационные технологии . 25 (4): 2635–2664. дои : 10.1007/s10639-019-10063-9 . S2CID 254475908 .

[Artificial_intelligence_in_recommen-115] Jump up to: ^а ^б Чжан, Ц. (февраль 2021 г.). «Искусственный интеллект в рекомендательных системах» . Сложные и интеллектуальные системы . 7 : 439–457. дои : 10.1007/s40747-020-00212-w .

[116] Ву, Л. (май 2023 г.). «Опрос по нейронным рекомендациям, ориентированным на точность: от совместной фильтрации к информативным рекомендациям». Транзакции IEEE по знаниям и инженерии данных . 35 (5): 4425–4445. arXiv : 2104.13030 . дои : 10.1109/TKDE.2022.3145690 .

[117] Самек, В. (март 2021 г.). «Объяснение глубоких нейронных сетей и не только: обзор методов и приложений» . Труды IEEE . 109 (3): 247–278. arXiv : 2003.07631 . дои : 10.1109/JPROC.2021.3060483 .

[118] Эйзенштейн, Дж. (октябрь 2019 г.). Введение в обработку естественного языка . Пресс-центр МТИ. ISBN 9780262042840 .

[119] Миркин, Сима (4 июня 2014 г.). « Расширение и настройка Content Discovery для Legal Academic Com», Сима Миркин» . Статьи в журналах Law Reviews и других академических журналах . Digital Commons @ Юридический колледж Вашингтонского университета Американского университета . Проверено 31 декабря 2015 г.

[120] «Мендли, Elsevier и важность открытия контента для академических издателей» . Архивировано из оригинала 17 ноября 2014 года . Проверено 8 декабря 2014 г.

[121] Торберн, Люк; Овадья, Авив (31 октября 2023 г.). «Алгоритмы социальных сетей можно перепроектировать, чтобы преодолеть разногласия — вот как» . Ниман Лаборатория . Проверено 17 июля 2024 г.

[:5-122] Jump up to: ^а ^б Овадья, Авив (17 мая 2022 г.). «Рейтинг на основе мостов» . Белфер-центр Гарвардского университета . стр. 1, 14–28 . Проверено 17 июля 2024 г.

[123] Смолли, Алекс Махадеван, Сет (8 ноября 2022 г.). «Илон Маск сохраняет Birdwatch живым — под новым именем» . Пойнтер . Проверено 17 июля 2024 г. {{cite web}}: CS1 maint: несколько имен: список авторов ( ссылка )

[124] Шанклин, Уилл (17 июня 2024 г.). «Функция заметок сообщества YouTube вырывает страницу из книги X» . Engadget . Проверено 17 июля 2024 г.

[125] Новак, Мэтт (17 июня 2024 г.). «YouTube добавляет экспериментальную функцию заметок сообщества для борьбы с дезинформацией» . Гизмодо . Проверено 17 июля 2024 г.

[126] Овадья, Авив (17 мая 2022 г.). «Рейтинг на основе мостов» . Белферовский центр науки и международных отношений Гарвардского университета . стр. 21–23 . Проверено 17 июля 2024 г.

[127] Новое лицо телевидения

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

[ 24 ]

[ 25 ]

[ 26 ]

[ 27 ]

[ 28 ]

[ 29 ]

[ 30 ]

[ 31 ]

[ 32 ]

[ 33 ]

[ 34 ]

[ 35 ]

[ 36 ]

[ 37 ]

[ 38 ]

[ 39 ]

[ 40 ]

[ 41 ]

[ 42 ]

[ 43 ]

[ 44 ]

[ 45 ]

[ 46 ]

[ 47 ]

[ 48 ]

[ 49 ]

[ 50 ]

[ 51 ]

[ 52 ]

[ 53 ]

[ 54 ]

[ 55 ]

[ 56 ]

[ 57 ]

[ 58 ]

[ 59 ]

[ 60 ]

[ 61 ]

[ 62 ]

[ 63 ]

[ 64 ]

[ 65 ]

[ 66 ]

[ 67 ]

[ 68 ]

[ 69 ]

[ 70 ]

[ 71 ]

[ 72 ]

[ 73 ]

[ 74 ]

[ 75 ]

[ 76 ]

[ 77 ]

[ 78 ]

[ 79 ]

[ 80 ]

[ 81 ]

[ 82 ]

[ 83 ]

[ 84 ]

[ 85 ]

[ 86 ]

[ 87 ]

[ 88 ]

[ 89 ]

[ 90 ]

[ 91 ]

[ 92 ]

[ 93 ]

[ 94 ]

[ 95 ]

[ 96 ]

[ 97 ]

[ 98 ]

[ 99 ]

[ 100 ]