Jump to content

Премия Netflix

(Перенаправлено с премии Netflix )

Премия Netflix представляла собой открытый конкурс на лучший совместной фильтрации алгоритм для прогнозирования пользовательских рейтингов фильмов на основе предыдущих рейтингов без какой-либо другой информации о пользователях или фильмах, то есть без идентификации пользователей, за исключением номеров, присвоенных для конкурса.

Конкурс проводился сервисом потокового видео Netflix и был открыт для всех, кто не связан с Netflix (нынешние и бывшие сотрудники, агенты, близкие родственники сотрудников Netflix и т. д.), а также не являются резидентами определенных заблокированных стран (таких как Куба или Северная Корея). [ 1 ] 21 сентября 2009 года главный приз в размере 1 000 000 долларов США был вручен команде Pragmatic Chaos компании BellKor, которая превзошла собственный алгоритм прогнозирования рейтингов Netflix на 10,06%. [ 2 ]

Проблемы и наборы данных

[ редактировать ]

Netflix предоставил обучающий набор данных из 100 480 507 оценок, которые 480 189 пользователей поставили 17 770 фильмам. Каждый тренировочный рейтинг представляет собой четверку вида <user, movie, date of grade, grade>. Поля пользователя и фильма представляют собой целочисленные идентификаторы, а оценки — от 1 до 5 ( целых ) звезд. [ 3 ]

Соответствующий набор данных содержит более 2 817 131 троек вида <user, movie, date of grade>, оценки которого известны только жюри. Алгоритм участвующей команды должен предсказать оценки по всему квалификационному набору, но им сообщаются оценки только для половины данных: набора викторин , состоящего из 1 408 342 оценок. Другая половина — это тестовый набор из 1 408 789, и результаты этого теста используются жюри для определения потенциальных победителей. Только судьи знают, какие рейтинги входят в набор викторин, а какие в тестовый набор - такое расположение предназначено для того, чтобы затруднить подъем на холм в тестовом наборе. Представленные прогнозы сравниваются с истинными оценками в форме среднеквадратической ошибки (RMSE), и цель состоит в том, чтобы максимально уменьшить эту ошибку. Обратите внимание: хотя фактические оценки представляют собой целые числа в диапазоне от 1 до 5, представленные прогнозы не обязательно должны быть такими. Netflix также выявил пробную подгруппу из 1 408 395 оценок в наборе обучающих данных. Наборы пробных , тестовых и тестовых данных были выбраны так, чтобы иметь схожие статистические свойства.

Вкратце, данные, использованные в Netflix Prize, выглядят следующим образом:

  • Обучающий набор (99 072 112 рейтингов, не включая набор датчиков; 100 480 507, включая набор датчиков)
    • Набор зондов (1 408 395 оценок)
  • Отборочный набор (2 817 131 рейтинг) в составе:
    • Тестовый набор (1 408 789 оценок), используемый для определения победителей.
    • Набор викторин (1 408 342 рейтинга), используемый для расчета результатов в таблице лидеров.

Для каждого фильма название и год выпуска указаны в отдельном наборе данных. Никакой информации о пользователях не предоставляется вообще. Чтобы защитить конфиденциальность клиентов, «некоторые рейтинговые данные для некоторых клиентов в обучающих и квалификационных наборах были намеренно изменены одним или несколькими из следующих способов: удалением рейтингов; вставкой альтернативных рейтингов и дат; и изменением рейтинга. даты». [ 2 ]

Обучающий набор построен таким образом, что средний пользователь оценил более 200 фильмов, а средний фильм оценили более 5000 пользователей. Но данные сильно разнятся : некоторые фильмы в обучающей выборке имеют всего 3 рейтинга, [ 4 ] а один пользователь оценил более 17 000 фильмов. [ 5 ]

Были некоторые разногласия относительно выбора RMSE в качестве определяющего показателя. Утверждалось, что даже такое небольшое улучшение, как 1% RMSE, приводит к значительной разнице в рейтинге «топ-10» наиболее рекомендуемых пользователю фильмов. [ 6 ]

Призы основывались на улучшении собственного алгоритма Netflix под названием Cinematch или на результатах прошлого года, если команда добилась улучшения, превышающего определенный порог. Тривиальный алгоритм, который прогнозирует для каждого фильма в наборе викторины его среднюю оценку на основе обучающих данных, дает RMSE 1,0540. Cinematch использует «простые статистические линейные модели с большим количеством обработки данных». [ 7 ]

Используя только обучающие данные, Cinematch получает RMSE 0,9514 для данных викторины, что примерно на 10 % лучше, чем у тривиального алгоритма. Cinematch на тестовом наборе показал аналогичную производительность — 0,9525. Чтобы выиграть главный приз в размере 1 000 000 долларов, участвующей команде пришлось улучшить этот показатель еще на 10%, чтобы достичь 0,8572 на тестовом наборе. [ 2 ] Такое улучшение набора тестов соответствует RMSE 0,8563.

Пока ни одна команда не выиграла главный приз, . каждый год за лучший результат на данный момент присуждается приз в размере 50 000 долларов США Однако, чтобы выиграть этот приз, алгоритм должен был улучшить RMSE в наборе викторин как минимум на 1% по сравнению с предыдущим победителем приза за прогресс (или над Cinematch в первый год). Если ни одна заявка не будет успешной, премия за прогресс в этом году не присуждается.

Чтобы выиграть прогресс или главный приз, участник должен был предоставить исходный код и описание алгоритма жюри в течение одной недели после обращения к нему. После проверки победитель также должен был предоставить Netflix неисключительную лицензию. Netflix опубликует только описание, а не исходный код системы. (Чтобы сохранить в секрете свой алгоритм и исходный код, команда могла отказаться претендовать на приз.) Жюри также держало свои прогнозы в секрете от других участников. Команда может отправить столько попыток предсказать оценки, сколько пожелает. Первоначально подача заявок была ограничена разом в неделю, но вскоре интервал был изменен до одного раза в день. Лучшая подача команды на данный момент засчитывается как ее текущая подача.

Как только одной из команд удавалось улучшить RMSE на 10% или более, жюри делало последний звонок , давая всем командам 30 дней на отправку своих заявок. Только тогда у команды, представившей лучшую заявку, запросили описание алгоритма, исходный код и неисключительную лицензию, и после успешной проверки; объявлен обладателем главного приза.

Конкурс продлится до тех пор, пока не будет объявлен обладатель главного приза. Если бы главный приз никто не получил, он бы длился как минимум пять лет (до 2 октября 2011 года). После этой даты конкурс мог быть прекращен в любое время по собственному усмотрению Netflix.

Прогресс с годами

[ редактировать ]

Соревнование началось 2 октября 2006 года. К 8 октября команда WXYZConsulting уже превзошла результаты Cinematch. [ 8 ]

К 15 октября три команды обыграли Cinematch, одна из них на 1,06%, что достаточно, чтобы претендовать на ежегодный приз прогресса. [ 9 ] К июню 2007 года для участия в соревновании зарегистрировались более 20 000 команд из более чем 150 стран. 2000 команд представили более 13 000 наборов прогнозов. [ 3 ]

В течение первого года соревнований несколько лидеров поменялись первыми местами. Наиболее выдающимися из них были: [ 10 ]

12 августа 2007 года множество участников собрались на KDD Cup and Workshop 2007, проходившем в Сан-Хосе, Калифорния . [ 11 ] Во время семинара все четыре лучшие команды в таблице лидеров на тот момент представили свои методы. Команда IBM Research — Ян Лю, Сахарон Россет, Клаудия Перлич и Чжэньчжэнь Коу — заняла третье место в задании 1 и первое место в задании 2.

За второй год соревнований на лидирующие позиции вышли только три команды:

  • BellKor, группа ученых из AT&T Labs (лидер в мае 2007 г. - сентябре 2008 г.)
  • BigChaos, команда австрийских ученых из Commendo Research & Consulting (лидер в одной команде с октября 2008 г.)
  • BellKor в BigChaos, объединенной команде двух ведущих одиночных команд (лидер с сентября 2008 г.)

Премия Прогресса 2007 г.

[ редактировать ]

2 сентября 2007 г. конкурс вступил в период «последнего звонка» на премию «Прогресс 2007». В конкурсе приняли участие более 40 000 команд из 186 стран. У них было тридцать дней на подачу предложений на рассмотрение. В начале этого периода лидирующей командой была BellKor со RMSE 0,8728 (улучшение на 8,26%), за ней следовала Dinosaur Planet (RMSE = 0,8769; улучшение на 7,83%), [ 12 ] и гравитация (RMSE = 0,8785; улучшение на 7,66%). В последний час последнего звонка первое место заняла работа "КорБелл". Оказалось, что это альтернативное название команды BellKor. [ 13 ]

13 ноября 2007 года команда KorBell (ранее BellKor) была объявлена ​​победителем премии Progress Prize в размере 50 000 долларов США со RMSE 0,8712 (улучшение на 8,43%). [ 14 ] В состав команды вошли три исследователя из AT&T Labs : Иегуда Корен, Роберт Белл и Крис Волинский. [ 15 ] По требованию они опубликовали описание своего алгоритма. [ 16 ]

Премия Прогресса 2008 г.

[ редактировать ]

Премию «Прогресс 2008» получила команда BellKor. Их работа в сочетании с другой командой BigChaos достигла RMSE 0,8616 с 207 наборами предикторов. [ 17 ] В объединенную команду вошли два исследователя из Commendo Research & Consulting GmbH, Андреас Тёшер и Михаэль Ярер (первоначально команда BigChaos), а также три исследователя из AT&T Labs , Иегуда Корен, Роберт Белл и Крис Волинский (первоначально команда BellKor). [ 18 ] По требованию они опубликовали описание своего алгоритма. [ 19 ] [ 20 ]

Это была последняя премия за прогресс, потому что достижения необходимого улучшения на 1% по сравнению с премией за прогресс 2008 года было бы достаточно, чтобы претендовать на главный приз. Призовые деньги были переданы благотворительным организациям, выбранным победителями.

25 июля 2009 года команда «The Ensemble», образовавшаяся в результате слияния команд «Grand Prize Team» и «Opera Solutions и Vandelay United», добилась улучшения на 10,09% по сравнению с Cinematch (RMSE викторины 0,8554). [ 21 ] [ 22 ]

26 июня 2009 года команда «BellKor's Pragmatic Chaos», слияние команд «Bellkor in BigChaos» и «Pragmatic Theory», добилась улучшения на 10,05% по сравнению с Cinematch (RMSE викторины 0,8558). Затем конкурс Netflix Prize вступил в период «последнего звонка» для получения главного приза. В соответствии с Правилами, у команд было тридцать дней, до 26 июля 2009 г., 18:42:37 UTC, чтобы подать заявки, которые будут рассматриваться для получения этого Приза. [ 23 ]

26 июля 2009 года Netflix прекратил сбор заявок на конкурс Netflix Prize. [ 24 ]

Окончательное положение таблицы лидеров на тот момент показало, что две команды соответствуют минимальным требованиям для получения главного приза. «Ансамбль» с улучшением на 10,10% по сравнению с Cinematch в квалификационном наборе (RMSE викторины 0,8553) и «Прагматический хаос BellKor» с улучшением на 10,09% по сравнению с Cinematch в квалификационном наборе (RMSE викторины 0,8554). [ 25 ] [ 26 ] Обладателем главного приза должен был стать тот, кто лучше покажет результаты на тестовом наборе.

18 сентября 2009 года Netflix объявил команду BellKor's Pragmatic Chaos победителем (тестовое RMSE 0,8567), и приз был вручен команде на церемонии 21 сентября 2009 года. [ 27 ] Команда «Ансамбль» совпала с результатом BellKor, но, поскольку BellKor представила свои результаты на 20 минут раньше, по правилам приз присуждается BellKor. [ 22 ] [ 28 ]

В состав совместной команды «Прагматический хаос BellKor» вошли два австрийских исследователя из Commendo Research & Consulting GmbH, Андреас Тёшер и Михаэль Ярер (первоначально команда BigChaos), два исследователя из AT&T Labs , Роберт Белл и Крис Волинский, Иегуда Корен из Yahoo! (первоначально команда BellKor) и два исследователя из Pragmatic Theory, Мартин Пиотт и Мартин Шабберт. [ 29 ] По требованию они опубликовали описание своего алгоритма. [ 30 ]

Сообщается, что команда получила «сомнительную награду» ( sic Netflix) худших RMSE в наборах данных викторин и тестов. Среди 44 014 заявок, поданных 5 169 командами, была «Lanterne Rouge» во главе с Дж. М. Линакром, который также был участник коллектива «Ансамбль».

Отменённое продолжение

[ редактировать ]

12 марта 2010 года Netflix объявил, что не будет проводить второй конкурс премии, о котором он объявил в августе прошлого года. Решение было принято в ответ на судебный иск и опасения Федеральной торговой комиссии по конфиденциальности. [ 31 ]

Проблемы конфиденциальности

[ редактировать ]

Хотя наборы данных были созданы для сохранения конфиденциальности клиентов, Премия подверглась критике со стороны защитников конфиденциальности. В 2007 году два исследователя из Техасского университета в Остине ( Виталий Шматиков и Арвинд Нараянан) смогли идентифицировать отдельных пользователей путем сопоставления наборов данных с рейтингами фильмов в базе данных фильмов в Интернете . [ 32 ] [ 33 ]

17 декабря 2009 года четыре пользователя Netflix подали коллективный иск против Netflix, утверждая, что Netflix нарушил законы США о справедливой торговле и Закон о защите конфиденциальности видео, выпустив наборы данных. [ 34 ] Были публичные дебаты о конфиденциальности участников исследования . 19 марта 2010 года Netflix достигла мирового соглашения с истцами, после чего они добровольно отклонили иск.

См. также

[ редактировать ]
  1. ^ «Правила премии Netflix» (PDF) . Архивировано из оригинала (PDF) 10 мая 2020 г. Проверено 6 ноября 2019 г.
  2. ^ Перейти обратно: а б с «Приз Netflix» . Архивировано из оригинала 24 сентября 2009 г. Проверено 9 июля 2012 г.
  3. ^ Перейти обратно: а б Джеймс Беннетт; Стэн Лэннинг (12 августа 2007 г.). «Приз Netflix» (PDF) . Материалы Кубка и Семинара KDD 2007 . Архивировано из оригинала (PDF) 27 сентября 2007 года . Проверено 25 августа 2007 г.
  4. ^ Сигмовидная кривая (08 октября 2006 г.). «Мисс Конгениальность» . Форум премии Netflix . Архивировано из оригинала 6 февраля 2012 г. Проверено 25 августа 2007 г.
  5. ^ потрясающе (06.10.2006). «Один клиент, поставивший оценку 17 000 фильмов» . Форум премии Netflix . Архивировано из оригинала 6 февраля 2012 г. Проверено 25 августа 2007 г.
  6. ^ Иегуда Корен (18 декабря 2007 г.). «Насколько полезно более низкое RMSE?» . Форум премии Netflix . Архивировано из оригинала 6 февраля 2012 г.
  7. ^ «Часто задаваемые вопросы о премии Netflix» . Архивировано из оригинала 21 августа 2007 г. Проверено 21 августа 2007 г.
  8. ^ «Рейтинг премий Netflix» . Взлом NetFlix . 9 октября 2006 г. Архивировано из оригинала 30 октября 2006 г. Проверено 21 августа 2007 г.
  9. ^ «Приз Netflix (Я пытался сопротивляться, но…)» . Блог Юхо Снеллмана . 15 октября 2006 года . Проверено 21 августа 2007 г.
  10. ^ «Таблица главных претендентов на премию «Прогресс 2007»» .
  11. ^ «Кубок и мастер-класс КДД 2007» .
  12. ^ «Планета динозавров» . 08.12.2022.
  13. ^ админ (28 августа 2022 г.). «Прагматический хаос BellKor выиграл приз Netflix в 1 миллион долларов за считанные минуты» . Численность населения . Проверено 28 августа 2022 г.
  14. ^ Призмастер (13 ноября 2007 г.). «Премия Netflix Progress Prize 2007 присуждена команде KorBell» . Форум премии Netflix . Архивировано из оригинала 6 февраля 2012 г.
  15. ^ «Премия прогресса в размере 50 000 долларов вручается в первую годовщину премии Netflix в 1 миллион долларов» . Нетфликс .
  16. ^ Р. Белл; Ю. Корен; С. Волинский (2007). «Решение BellKor для премии Netflix». CiteSeerX   10.1.1.142.9009 .
  17. ^ Роберт Белл; Иегуда Корен; Крис Волинский (10 декабря 2008 г.). «Решение BellKor 2008 для премии Netflix» (PDF) . Форум премии Netflix .
  18. ^ «Netflix вручает премию за прогресс в размере 50 000 долларов США во втором году многолетнего многонационального конкурса премий Netflix» . Архивировано из оригинала 30 июня 2009 г. Проверено 22 июня 2009 г.
  19. ^ А. Тёшер; М. Ярер (2008). «Решение BigChaos для премии Netflix 2008» (PDF) . Архивировано из оригинала (PDF) 16 февраля 2012 г. Проверено 24 июня 2009 г.
  20. ^ Р. Белл; Ю. Корен; С. Волинский (2008). «Решение BellKor для премии Netflix 2008» (PDF) . Архивировано из оригинала (PDF) 16 февраля 2012 г. Проверено 24 июня 2009 г.
  21. ^ «Ансамбль» . 08.12.2022. Архивировано из оригинала 27 декабря 2014 г.
  22. ^ Перейти обратно: а б «Таблица лидеров премии Netflix» . 26 июля 2009 г. Архивировано из оригинала 13 декабря 2013 г. Проверено 9 декабря 2013 г.
  23. ^ «Прагматический хаос BellKor» . 26 июня 2009 г.
  24. ^ «Конкурс закрыт» . 26 июля 2009 г. Архивировано из оригинала 28 июля 2009 г. Проверено 27 июля 2009 г.
  25. ^ Лестер Макки (08 декабря 2022 г.). «Обратный отсчет окончательного представления» . Архивировано из оригинала 27 декабря 2014 г.
  26. ^ «Приз Netflix приходит к ошеломляющему и острому финалу» . 26 июля 2009 г.
  27. ^ «Гран-при вручен команде BellKor's Pragmatic Chaos» . Форум премии Netflix. 21 сентября 2009 г. Архивировано из оригинала 7 мая 2012 г.
  28. ^ Стив Лор (21 сентября 2009 г.). «Исследовательская сделка на 1 миллион долларов для Netflix и, возможно, модель для других» . Нью-Йорк Таймс .
  29. ^ «Netflix вручает премию Netflix в 1 миллион долларов и объявляет второй конкурс на 1 миллион долларов» . Архивировано из оригинала 25 сентября 2009 г. Проверено 24 сентября 2009 г.
  30. ^ Андреас Тёшер и Михаэль Ярер (5 сентября 2009 г.). «Решение BigChaos для главного приза Netflix» (PDF) . коммендо исследования и консалтинг . Проверено 2 ноября 2022 г.
  31. ^ «Обновление премии Netflix» . Форум премии Netflix. 12 марта 2010 г.
  32. ^ Нарайанан, Арвинд; Шматиков, Виталий (2006). «Как нарушить анонимность набора данных Netflix Prize». arXiv : cs/0610105 .
  33. ^ Демерджян, Дэйв (15 марта 2007 г.). «Восстание хакеров Netflix» . проводной.com . Проводной . Проверено 13 декабря 2014 г.
  34. ^ Сингел, Райан. «Netflix раскрыл секрет вашей Горбатой горы, иск» . Проводной . Проверено 11 августа 2017 г.
[ редактировать ]
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 86b4b4ae1697ec0be11fb0f21ecf2248__1709077200
URL1:https://arc.ask3.ru/arc/aa/86/48/86b4b4ae1697ec0be11fb0f21ecf2248.html
Заголовок, (Title) документа по адресу, URL1:
Netflix Prize - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)