Группа исследований линз
 | |
 | |
| Учредил | 1992 |
|---|---|
Область исследований | рекомендательные системы , социальные вычисления |
| Факультет | 5 |
| Персонал | 2 |
| Студенты | 20 аспирантов |
| Расположение | Миннеаполис , Миннесота , США |
Операционное агентство | Колледж науки и техники , Университет Миннесоты |
| Веб-сайт | www.grouplens.org |
44 ° 58'27 "с.ш. 93 ° 13'57" з.д. / 44,974280 ° с.ш. 93,232502 ° з.д.
| Рекомендательные системы |
|---|
| Концепции |
| Методы и проблемы |
| Реализации |
| Исследовать |
GroupLens Research — это исследовательская лаборатория взаимодействия человека и компьютера на факультете компьютерных наук и инженерии Университета Миннесоты в городах-побратимах, специализирующаяся на рекомендательных системах и онлайн-сообществах . GroupLens также работает с мобильными и повсеместно распространенными технологиями, цифровыми библиотеками и местными географическими информационными системами .
Лаборатория GroupLens была одной из первых, кто изучал автоматизированные рекомендательные системы, создав рекомендатель GroupLens, механизм рекомендаций статей Usenet , и MovieLens , популярный сайт рекомендаций фильмов, используемый для изучения механизмов рекомендаций, систем тегов и пользовательских интерфейсов. Лаборатория также получила известность благодаря работе своих членов по изучению сообществ с открытым контентом, таких как Cyclopath , гео-вики , которая использовалась в городах-побратимах для помощи в планировании региональной велосипедной системы. [1] [2]
История [ править ]
Формирование [ править ]
В 1992 году Джон Ридл и Пол Резник посетили CSCW Конференция вместе. После того, как они услышали выступление основного докладчика Шумпей Кумонао своем видении информационной экономики , [3] они начали работать над совместной фильтрацией система новостей Usenet . Система собирала рейтинги читателей Usenet и использовала эти рейтинги, чтобы предсказать, насколько статья понравится другим читателям, прежде чем они ее прочитают. Этот рекомендательный механизм был одной из первых автоматизированных систем совместной фильтрации, в которых использовались алгоритмы для автоматического формирования прогнозов на основе исторических закономерностей рейтингов. [4] Вся система называлась рекомендателем GroupLens, а серверы, собиравшие рейтинги и выполнявшие вычисления, назывались «Better Bit Bureau». Позже это имя было исключено по запросу Better Business Bureau . «GroupLens» теперь используется как название как для этой рекомендательной системы, так и для исследовательской лаборатории Университета Миннесоты.
. MIT было проведено технико-экономическое обоснование Между MIT и Университете Миннесоты, и была опубликована исследовательская работа, включающаяалгоритм обоснования , конструкция системы и результаты технико-экономического исследование на конференции CSCW 1994 года. [5]
В 1993 году Ридль и Резник пригласили Джозефа Констана присоединиться к группе.команда. Вместе они решили создать более производительныйреализация алгоритмов для поддержки более масштабных развертываний.Летом 1995 года команда собрала Брэдли Миллер , Дэвид Мальц , Джон Херлокер и Марк Клейпул для «Hack Week» создаютновую реализацию и спланировать следующий раунд экспериментов. [6]
Весной 1996 года состоялся первый семинар по совместная фильтрация была разработана Резником и Хэл Вариан из Калифорнийского университета в Беркли . [7] Там исследователи из проектов по всей территории СШАкоторые изучали подобные системы, собрались вместе, чтобы поделиться идеями иопыт.
Чистое восприятие [ править ]
Летом 1996 года Дэвид Гардинер , бывший доктор философии. Студент Ридла познакомил Джона Ридла со Стивеном Снайдером. Снайдер был одним из первых сотрудников Microsoft , но покинул Microsoft, чтобы приехать в Миннесоту, чтобы получить докторскую степень. в области психологии . Он осознал коммерческий потенциал совместной фильтрации и призвал команду основать компанию в апреле 1996 года. К июню Гардинер, Снайдер, Миллер, Ридл и Констан зарегистрировали свою компанию, а к июлю у них был первый раунд финансирования. от компании Hummer Winblad Venture Partners венчурной . [8] Net Perceptions впоследствии стала одной из ведущих компаний вперсонализации во время интернет-бума конца 1990-х годов и осталасьв бизнесе до 2004 года. [9] [10] Основываясь на своем опыте, Ридл и Констан написали книгу об уроках, извлеченных из практического применения рекомендателей. [11] С тех пор рекомендательные системы стали повсеместными в онлайн-мире: ведущие поставщики, такие как Amazon и Netflix, развертывают весьма сложные рекомендательные системы. [12] Netflix даже предложил приз в 1 миллион долларов за улучшение технологии рекомендаций. [13]
Когда фильм Каждый [14] сайт закрылся в 1997 году, исследователи, стоящие за ним, опубликовалианонимные рейтинговые данные, которые они собрали, для других исследователейиспользовать. Исследовательская группа GroupLens под руководством Брента Далена и ДжонаХерлокер использовал этот набор данных , чтобы дать толчок рекомендации нового фильма.сайт под названием MovieLens , который стал очень заметной исследовательской платформой, включая подробное обсуждение в статье New Yorker, Малкольм Гладуэлл , [15] и репортаж в полном выпуске ABC Nightline. [16]
В период с 1997 по 2002 год группа продолжала исследования поколлаборативная фильтрация, которая стала известна в сообществе благодаряболее общий термин рекомендательных систем . Благодаря опыту Джо Констана в области пользовательских интерфейсов , [17] [18] команда начала изучать проблемы интерфейса в рекомендателях, такие как пояснения, [19] и системы метарекомендаций. [20]
Изучение интернет-сообществ [ править ]
В 2002 году GroupLens расширилась до социальных вычислений и онлайн-сообществ с добавлением Лорена Тервина , который был известен своими исследованиями систем социальных рекомендаций, таких как PHOAKS. [21] [22]
Чтобы расширить набор исследовательских идей и инструментов, которые они использовали,Ридл, Констан и Тервин пригласили коллег по социальной психологии ( Роберт Краут и Сара Кислер , из Институт взаимодействия человека с компьютером Карнеги-Меллона ) иэкономический и социальный анализ ( Пол Резник и Ян Чен из Школа информации Мичиганского университета ) для сотрудничества.новая, более крупная команда приняла название CommunityLab и выгляделакак правило, от воздействия технологических вмешательств наэффективность интернет-сообществ. Например, некоторые из ихисследования изучали технологию для улучшения систем разговора, [23] в то время как другие исследования изучали личные, социальные и экономическиемотивация пользовательских рейтингов. [24] [25]
В 2008 году GroupLens запустила Cyclopath. [26] вычислительная гео-вики для велосипедистов в городе. [2] [27]
В 2010 году GroupLens выиграла ежегодную награду за программные системы ACM . [28] Ридл умер в 2013 году. [29]
Брент Хехт присоединился к факультету GroupLens в 2013 году, специализируясь на географическом взаимодействии человека и компьютера. Лана Ярош присоединилась к профессорско-преподавательскому составу GroupLens в 2014 году; она работает с социальными вычислениями и взаимодействием ребенка с компьютером. Третий профессор, Хайи Чжу , присоединился к нам в 2015 году. Хайи публиковал исследования в Facebook и других социальных сетях. Стиви Ченселлор , исследователь человеко-ориентированных вычислений и социальных вычислений , присоединился к профессорско-преподавательскому составу GroupLens в 2020 году. [30]
Взносы [ править ]
- Система рекомендаций MovieLens: MovieLens — это некоммерческая система рекомендаций фильмов, которая работает с 1997 года и по состоянию на 2009 год посетила более 164 000 уникальных посетителей, которые поставили более 15 миллионов оценок фильмам. [31]
- Наборы данных рейтингов MovieLens. На заре существования рекомендательных систем исследования замедлялись из-за отсутствия общедоступных наборов данных. В ответ на запросы других исследователей GroupLens опубликовала три набора данных: [32] набор рейтинговых данных MovieLens 100 000, набор рейтинговых данных MovieLens 1 миллион и набор рейтинговых данных MovieLens 10 миллионов. Эти наборы данных стали стандартными наборами данных для рекомендательных исследований и использовались исследователями по всему миру в более чем 300 статьях. Набор данных также используется для обучения рекомендательным технологиям. [33]
- Набор данных для тегирования MovieLens: GroupLens добавила теги в MovieLens в 2006 году. С тех пор пользователи предоставили более 85 000 приложений с 14 000 уникальными тегами для фильмов. [34] Набор данных MovieLens с 10 миллионами рейтингов также включает в себя набор данных из 100 000 теговых приложений, которые могут использовать исследователи.
- Утечка информации из наборов данных рекомендателей: в документе, представленном на конференции по поиску информации , анализируются риски для конфиденциальности пользователей, связанные с публикацией больших наборов данных рекомендателей. Основной обнаруженный риск заключается в том, что анонимный набор данных может быть объединен с общедоступной информацией для идентификации пользователя. Например, пользователь, написавший о своих предпочтениях в отношении фильмов на онлайн-форумах, может быть связан с определенной строкой в наборах данных MovieLens. В некоторых случаях эти ассоциации могут привести к утечке информации, которую пользователь предпочел бы сохранить в тайне. [35] [36]
- Исследование Википедии: Исследование ценности и вандализма в Википедии, опубликованное в 2007 году. [37] описал концентрацию вклада редакторов Википедии. Эта статья была одной из первых, в которой основное внимание уделялось продолжительности времени, в течение которого вклад сохраняется в Википедии, как показателю его ценности. В статье также исследовалось влияние вандализма на читателей Википедии, измеряя вероятность того, что при просмотре страницы эта страница будет запечатлена в испорченном состоянии. GroupLens также изучила способы помочь редакторам найти страницы, в которые они могут эффективно внести свой вклад, с помощью рекомендации OfferBot. [38] Группа также изучила эволюцию норм Википедии, определяющих, какие статьи принимаются или отклоняются, а также влияние изменений в этих нормах на « длинный хвост» статей Википедии. [39] GroupLens также изучила функционирование неформальной системы рецензирования в Википедии, чтобы обнаружить, почему на принимаемые решения ненадлежащим образом влияет право собственности , и этот опыт, похоже, не сильно меняет работу редактора. [40] [41] Исследователи GroupLens также изучили визуализацию истории редактирования статей Википедии. [42] В 2011 году исследователи GroupLens завершили научное исследование гендерного дисбаланса среди популярных редакторов Википедии, в результате чего выяснилось, что существует большой разрыв между редакторами-мужчинами и женщинами. [43]
- Рекомендательные системы Шиллинга: GroupLens исследовала способы, с помощью которых пользователи рекомендательных систем могут попытаться ненадлежащим образом повлиять на рекомендации, предоставляемые другим пользователям. [44] Они называют такое поведение шиллингом из-за его связи с практикой найма сотрудников, которые притворяются восторженными клиентами . Они показали, что некоторые виды шиллингов могут оказаться эффективными на практике. Одна из проблем, связанных с шиллингом, заключается в том, что ложные прогнозы могут изменить мнения последующих пользователей, что еще больше исказит рекомендации. [45] [46]
- Cyclopath: Начиная с 2008 года GroupLens запустила Cyclopath, вычислительную гео-вики для местных велосипедистов. С тех пор циклопат использовался сотнями велосипедистов в городах-побратимах . [47] Совсем недавно Cyclopath был принят столичным советом городов-побратимов для помощи в планировании региональной велосипедной системы. [1]
Ссылки [ править ]
- ^ Jump up to: Перейти обратно: а б «Циклоплан» . Архивировано из оригинала 3 июля 2011 г. Проверено 4 января 2010 г.
- ^ Jump up to: Перейти обратно: а б Гонсалес, Тони (18 июля 2008 г.). «Велосайт объединяет опыт велосипедистов» . Звездная Трибьюн . Миннеаполис . Проверено 4 января 2010 г.
- ^ Кумон, Шумпей (1992). «От богатства к мудрости: смена социальной парадигмы». Материалы конференции ACM 1992 года по совместной работе с компьютерной поддержкой . Совместная работа с компьютерной поддержкой. АКМ Пресс. п. 3. дои : 10.1145/143457.371587 . ISBN 0-89791-542-9 .
- ^ Гольдман, Элвин I (1999). Знание в социальном мире . Издательство Оксфордского университета. дои : 10.1093/0198238207.001.0001 . ISBN 978-0-19-823820-1 .
Другая возможность — системы «социальной фильтрации», такие как GroupLens.
- ^ Резник, Пол; Якову, Неофитос; Сучак, Митеш; Бергстрем, Питер; Ридл, Джон (1994). «GroupLens: открытая архитектура для совместной фильтрации сетевых новостей». Материалы Международной конференции ACM 1994 года по совместной работе с компьютерной поддержкой . Совместная работа с компьютерной поддержкой. АКМ Пресс. стр. 175–186. дои : 10.1145/192844.192905 . ISBN 0-89791-689-1 .
- ^ Борчерс, Эл; Херлокер, Джон; Констан, Джозеф; Ридл, Джон (апрель 1998 г.). «Объединение из-за информационной перегрузки». Компьютер . 31 (4): 106–108. дои : 10.1109/2.666847 . ISSN 0018-9162 .
- ^ «Совместная фильтрация» . 16 марта 1996 года . Проверено 30 декабря 2009 г.
- ^ «Миннесота в эпоху .Com» (PDF) . Общественное радио Миннесоты. 1999 . Проверено 30 декабря 2009 г.
- ^ «Фирмы, удостоенные наград в области электронной коммерции» . Массачусетский технологический институт. 19 мая 1999 года.
- ^ Драган, Ричард (январь 2001 г.), «Чистое восприятие электронной коммерции 6.0» , журнал PC Magazine.
- ^ Ридл, Джон; Констан, Джозеф; Вруман, Эрик (август 2002 г.). Мышиное слово: маркетинговая сила совместной фильтрации . Гранд Сентрал. ISBN 978-0-7595-2727-0 .
- ^ Зейчик, Стивен (18 июля 2008 г.). «Технологии становятся личными» . Уолл Стрит Джорнал . п. В9 . Проверено 23 декабря 2009 г.
- ^ Хафнер, Кэти (2 октября 2006 г.). «Netflix предлагает деньги за хорошие предложения» . Нью-Йорк Таймс . Проверено 23 декабря 2009 г.
- ^ Лим, Мёнын; Ким, Хунтэ (2001). «Адаптивная рекомендательная система с агентом-координатором» . Материалы Первой Азиатско-Тихоокеанской конференции по веб-разведке: исследования и разработки . Азиатско-Тихоокеанская конференция по веб-разведке. Конспекты лекций по информатике. Том. 2198/2001. Шпрингер Берлин/Гейдельберг. стр. 438–442 . дои : 10.1007/3-540-45490-X_56 . ISBN 978-3-540-42730-8 . Проверено 30 декабря 2009 г.
- ^ Гладуэлл, Малкольм (4 октября 1999 г.). «Анналы маркетинга: наука о спящем: как век информации может стереть с лица земли блокбастеры» . Житель Нью-Йорка . 75 (29): 48–55. Архивировано из оригинала 30 декабря 2009 года . Проверено 29 декабря 2009 г.
- ^ Крулвич, Роберт (10 декабря 1999 г.). «ABC Nightline: Родственная душа» . АВС.
- ^ «Результаты выборов SIGCHI 2003» . Бюллетень СИГЧИ . 35 (3). Июль – август 2003 г. Проверено 4 января 2010 г.
- ^ Констан, Джозеф (март – апрель 2004 г.). «Доклад президента: развитие отрасли» . Бюллетень СИГЧИ . 36 (2) . Проверено 30 декабря 2009 г.
- ^ Херлокер, Джон; Констан, Джозеф; Ридл, Джон (2000). «Объяснение рекомендаций по совместной фильтрации». Материалы конференции ACM 2000 года по совместной работе, поддерживаемой компьютером . Совместная работа с компьютерной поддержкой . АКМ Пресс. стр. 241–259. дои : 10.1145/358916.358995 . ISBN 1-58113-222-0 .
- ^ Шафер, Дж. Бен; Констан, Джозеф; Ридл, Джон (2002). «Системы метарекомендаций: управляемая пользователем интеграция разнообразных рекомендаций» . Материалы одиннадцатой международной конференции по управлению информацией и знаниями . Конференция по управлению информацией и знаниями . АКМ Пресс. стр. 43–51. дои : 10.1145/584792.584803 . ISBN 1-58113-492-4 . Проверено 6 января 2010 г.
- ^ Люг, Кристофер; Фишер, Дэниел, ред. (2003). От Usenet к CoWebs: взаимодействие с социальными информационными пространствами . Спрингер. ISBN 978-1-85233-532-8 .
- ^ Тервин, Лорен; Хилл, Уилл; Аменто, Брайан; Макдональд, Дэвид; Кретер, Джош (март 1997 г.). «ФОАКС: система обмена рекомендациями». Коммуникации АКМ . 40 (3): 59–62. CiteSeerX 10.1.1.103.8264 . дои : 10.1145/245108.245122 . ISSN 0001-0782 . S2CID 207201836 .
- ^ Харпер, Ф. Максвелл; Франковски, Дэн; Дреннер, Сара; Рен, Юйцин; Кислер, Сара; Тервин, Лорен; Краут, Роберт; Ридл, Джон (2007). «Поговорите между собой: приглашаем пользователей участвовать в онлайн-беседах» . Материалы 12-й международной конференции по интеллектуальным пользовательским интерфейсам . Международная конференция по интеллектуальным пользовательским интерфейсам . АКМ Пресс. стр. 62–71. дои : 10.1145/1216295.1216313 . ISBN 978-1-59593-481-9 . Проверено 29 декабря 2009 г.
- ^ Харпер, Ф. Максвелл; Ли, Синь; Чен, Ян; Констан, Джозеф (2005). «Экономическая модель рейтинга пользователей в онлайн-рекомендательной системе» . Пользовательское моделирование . Труды 2005 г. 10-я Международная конференция по пользовательскому моделированию . Конспекты лекций по информатике. Том. 3538. Спрингер. стр. 307–316. дои : 10.1007/11527886_40 . ISBN 978-3-540-27885-6 . Проверено 29 декабря 2009 г.
- ^ Рашид, Аль Мамунур; Линг, Кимберли; Тассоне, Регина Д.; Резник, Пол; Краут, Роберт; Ридл, Джон (2006). «Мотивация участия путем демонстрации ценности вклада» . Материалы конференции ОМС 2006 года . Конференция ACM SIGCHI по человеческому фактору в вычислительных системах . Конспекты лекций по информатике. Том. 3538. Спрингер. стр. 955–958. дои : 10.1145/1124772.1124915 . ISBN 1-59593-372-7 . Проверено 30 декабря 2009 г.
- ^ «циклопат.орг» . Cyclopath.org . Проверено 6 января 2012 г.
- ^ Чин, Ричард (19 июля 2008 г.). «Карт-квест для велосипедного набора» . Сент-Пол Пионер Пресс . п. А1. Архивировано из оригинала 18 февраля 2015 года. .
- ^ «Премия в области программных систем — победители: список по годам» . acm.org .
- ^ «Некролог: Джон Ридл из U был пионером рекомендательных систем» . Звездная Трибьюн . Проверено 14 марта 2021 г.
- ^ «Новый профессор уделяет особое внимание машинному обучению, ориентированному на человека» . 5 июня 2020 г.
- ^ Виг, Джесси; Сен, Шилад; Ридл, Джон (2009). «Тегипланации: объяснение рекомендаций с помощью тегов» . Материалы 13-й международной конференции по интеллектуальным пользовательским интерфейсам . Международная конференция по интеллектуальным пользовательским интерфейсам . АКМ Пресс. стр. 47–56. дои : 10.1145/1502650.1502661 . ISBN 978-1-60558-168-2 . Проверено 30 декабря 2009 г.
- ^ «КиноЛинз» . 6 сентября 2013 г.
- ^ Сегаран, Тоби (август 2007 г.). Программирование коллективного разума: создание приложений Smart Web 2.0 . О'Рейли Медиа. ISBN 978-0-596-52932-1 .
- ^ Сен, Шилад; Виг, Джесси; Ридл, Джон (2009). «Тагомендеры: подключение пользователей к объектам через теги» . Материалы 18-й международной конференции по Всемирной паутине . Международная конференция Всемирной паутины . АКМ Пресс. стр. 671–680. дои : 10.1145/1526709.1526800 . ISBN 978-1-60558-487-4 . Проверено 29 декабря 2009 г.
- ^ Франковски, Дэн; Косли, Дэн; Сен, Шилад; Тервин, Лорен; Ридл, Джон (2006). «Вы то, что говорите: риски для конфиденциальности, связанные с публичными упоминаниями» . Материалы 29-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска . Ежегодная конференция ACM по исследованиям и разработкам в области информационного поиска . АКМ Пресс. стр. 565–572 . дои : 10.1145/1148170.1148267 . ISBN 1-59593-369-7 . Проверено 29 декабря 2009 г.
- ^ Шнайер, Брюс (август 2006 г.). «Шнайер о безопасности: блог, посвященный безопасности и технологиям безопасности» . Проверено 29 декабря 2009 г.
- ^ Приедгорский, Рид; Чен, Цзилинь; Лам, Шён (Тони); Пансьера, Кэтрин; Тервин, Лорен; Ридл, Джон (2007). «Создание, уничтожение и восстановление ценности в Википедии» . Материалы международной конференции ACM 2007 года по поддержке групповой работы . Конференция по поддержке групповой работы . АКМ Пресс. стр. 259–268. дои : 10.1145/1316624.1316663 . ISBN 978-1-59593-845-9 . Архивировано из оригинала 15 декабря 2010 г. Проверено 29 декабря 2009 г.
- ^ Косли, Дэн; Франковски, Дэн; Тервин, Лорен; Ридл, Джон (2008). «SuggestBot: использование интеллектуальной маршрутизации задач, чтобы помочь людям найти работу в Википедии» . Материалы 12-й международной конференции по интеллектуальным пользовательским интерфейсам . Конференция по интеллектуальным пользовательским интерфейсам. АКМ Пресс. стр. 32–41. дои : 10.1145/1216295.1216309 . ISBN 978-1-59593-481-9 . Проверено 4 января 2010 г.
- ^ Лам, Шьонг (Тони) К.; Ридл, Джон (2009). «Arc.Ask3.Ru отращивает более длинный хвост?» . Материалы международной конференции ACM 2009 года по поддержке групповой работы . Международная конференция по поддержке групповой работы . АКМ Пресс. стр. 105–114. дои : 10.1145/1531674.1531690 . ISBN 978-1-60558-500-0 . Проверено 4 января 2010 г.
- ^ Халфакер, Аарон ; Киттур, Аникет; Краут, Роберт; Ридл, Джон (2009). «Жюри ваших коллег: качество, опыт и право собственности в Википедии» . Материалы Международного симпозиума 2009 г. по вики-сайтам и открытому сотрудничеству . Международный симпозиум по Wiki и открытому сотрудничеству . АКМ Пресс. дои : 10.1145/1641309.1641332 . ISBN 978-1-60558-730-1 . Проверено 4 января 2010 г.
- ^ Пансьера, Кэтрин; Халфакер, Аарон; Тервин, Лорен (2009). «Википедистами рождаются, а не становятся: исследование влиятельных редакторов Википедии» . Материалы международной конференции ACM 2009 года по поддержке групповой работы . Международная конференция по поддержке групповой работы . АКМ Пресс. дои : 10.1145/1531674.1531682 . ISBN 978-1-60558-500-0 . Проверено 4 января 2010 г.
- ^ Экстранд, Майкл; Ридл, Джон (2009). «Ты тупой: выявление выброшенных работ в истории статей Wiki» . Материалы Международного симпозиума 2009 г. по вики-сайтам и открытому сотрудничеству . Международный симпозиум по Wiki и открытому сотрудничеству . АКМ Пресс. дои : 10.1145/1641309.1641317 . ISBN 978-1-60558-730-1 . Проверено 4 января 2010 г.
- ^ Лам, Шьонг К.; Анурадха, Удуваге; Чжэньхуа, Донг; Сен, Шилад; Ридл, Джон (2011). «WP: Клуб? Исследование гендерного дисбаланса в Википедии» . Материалы 7-го международного симпозиума по вики и открытому сотрудничеству . Международный симпозиум по Wiki и открытому сотрудничеству . АКМ Пресс. стр. 1–10. дои : 10.1145/2038558.2038560 . Архивировано из оригинала 20 сентября 2011 г. Проверено 25 октября 2011 г.
- ^ Лам, Шьонг К.; Ридл, Джон (2004). «Шиллинговые рекомендательные системы для удовольствия и прибыли» . Материалы 13-й международной конференции по Всемирной паутине . Международная конференция Всемирной паутины . АКМ Пресс. стр. 393–402. дои : 10.1145/988672.988726 . ISBN 1-58113-844-Х . Проверено 4 января 2010 г.
- ^ Чарльз, Джули (22 мая 2003 г.). «Ложные веб-рейтинги меняют мнение, говорится в исследовании» . Нью-Йорк Таймс . п. Г4 . Проверено 23 декабря 2009 г.
- ^ Косли, Дэн; Лам, Шьонг К.; Альберт, Иштван; Констан, Джозеф А.; Ридл, Джон (2003). «Видеть — значит верить? Как рекомендательные системы влияют на мнение пользователей» . Конференция ACM SIGCHI по человеческому фактору в вычислительных системах . Конференция «Человеческий фактор в вычислительных системах» . АКМ Пресс. дои : 10.1145/642611.642713 . ISBN 1-58113-630-7 . Проверено 4 января 2010 г.
- ^ Приедгорский, Рид; Масли, Михаил; Тервин, Лорен (2010). «Выявление и фокусирование географической волонтерской работы» . Материалы конференции ACM 2010 года по совместной работе с компьютерной поддержкой . Конференция по совместной работе с компьютерной поддержкой . АКМ Пресс. дои : 10.1145/1718918.1718931 . ISBN 978-1-60558-795-0 . Архивировано из оригинала 12 июня 2010 г. Проверено 2 марта 2010 г.
