Тенденции Google по гриппу
Google Flu Trends ( GFT ) — веб-сервис , управляемый Google . В нем предоставлены оценки активности гриппа в более чем 25 странах. Объединив поисковые запросы Google , они попытались сделать точные прогнозы об активности гриппа. Этот проект был впервые запущен Google.org в 2008 году для прогнозирования вспышек гриппа. [1]
Google Flu Trends прекратил публикацию текущих оценок 9 августа 2015 года. Исторические оценки по-прежнему доступны для загрузки, а текущие данные предлагаются для заявленных исследовательских целей. [2]
История [ править ]
Идея Google Flu Trends заключалась в том, что путем мониторинга онлайн-поведения миллионов пользователей, отслеживающих состояние здоровья, можно проанализировать большое количество собранных поисковых запросов Google, чтобы выявить наличие среди населения гриппоподобных заболеваний. Google Flu Trends сравнил эти результаты с историческим базовым уровнем активности гриппа для соответствующего региона, а затем сообщил об уровне активности как минимальном, низком, умеренном, высоком или интенсивном. Эти оценки в целом согласуются с обычными данными эпиднадзора, собранными агентствами здравоохранения как на национальном, так и на региональном уровне.
Рони Зейгер участвовал в разработке Google Flu Trends. [3]
Методы [ править ]
Google Flu Trends был описан как использующий следующий метод для сбора информации о тенденциях гриппа. [4] [5]
Сначала вычисляется временной ряд примерно для 50 миллионов распространенных запросов, вводимых еженедельно в Соединенных Штатах с 2003 по 2008 год. Временной ряд запроса рассчитывается отдельно для каждого штата и нормализуется в дробь путем деления количества каждого запроса на количество все запросы в этом состоянии. Путем идентификации IP-адреса, связанного с каждым поиском, можно определить состояние, в котором был введен этот запрос.
Линейная модель используется для расчета логарифмических шансов посещения врача при гриппоподобном заболевании (ГПЗ) и логарифмических шансов поискового запроса, связанного с ГПЗ:
P — процент посещений врача по ГПЗ, а Q — доля запросов, связанных с ГПЗ, вычисленная на предыдущих этапах. β 0 — это точка пересечения, а β 1 — это коэффициент, а ε — это член ошибки. [ нужна цитата ]
Каждый из 50 миллионов запросов тестируется как Q, чтобы увидеть, может ли результат, вычисленный по одному запросу, соответствовать фактическим историческим данным ГПЗ, полученным из Центров США по контролю и профилактике заболеваний (CDC). В результате этого процесса создается список самых популярных запросов, который дает наиболее точные прогнозы данных CDC ILI при использовании линейной модели. Затем выбираются 45 самых популярных запросов, поскольку при агрегировании эти запросы наиболее точно соответствуют историческим данным. Используя сумму 45 самых популярных запросов, связанных с ГПЗ, линейная модель подгоняется к еженедельным данным ГПЗ за период с 2003 по 2007 год, чтобы можно было получить коэффициент. Наконец, обученная модель используется для прогнозирования вспышек гриппа во всех регионах США.
Впоследствии этот алгоритм был пересмотрен Google, частично в ответ на опасения по поводу точности, и попытки воспроизвести его результаты показали, что разработчики алгоритма «чувствовали невыраженную необходимость скрыть фактические идентифицированные поисковые запросы». [6]
Проблемы конфиденциальности [ править ]
Google Flu Trends пытается избежать нарушений конфиденциальности, агрегируя только миллионы анонимных поисковых запросов без идентификации лиц, выполнявших поиск. [1] [7] Их журнал поиска содержит IP-адрес пользователя, который можно использовать для отслеживания региона, в котором изначально был отправлен поисковый запрос. Google запускает на компьютерах программы для доступа к данным и их расчета, поэтому в этом процессе не участвует человек. Google также реализовал политику анонимизации IP-адреса в своих журналах поиска через 9 месяцев. [8]
Однако Google Flu Trends вызвал обеспокоенность среди некоторых групп по защите конфиденциальности. Информационный центр электронной конфиденциальности и права пациентов на конфиденциальность направили письмо Эрику Шмидту в 2008 году, тогдашнему генеральному директору Google. [9] Они признали, что использование данных, генерируемых пользователями, может существенно поддержать усилия общественного здравоохранения, но выразили обеспокоенность тем, что «расследования конкретных пользователей могут быть проведены, даже несмотря на возражения Google, по решению суда или по решению президента».
Влияние [ править ]
Первоначальной мотивацией для GFT было то, что возможность раннего выявления активности заболевания и быстрого реагирования может снизить воздействие сезонного и пандемического гриппа. В одном из отчетов говорилось, что Google Flu Trends смог предсказать региональные вспышки гриппа за 10 дней до того, как о них сообщил CDC (Центры по контролю и профилактике заболеваний). [10]
Во время пандемии гриппа 2009 года Google Flu Trends отслеживала информацию о гриппе в Соединенных Штатах. [11] В феврале 2010 года CDC выявил всплеск случаев гриппа в среднеатлантическом регионе США. Однако данные поисковых запросов Google о симптомах гриппа смогли показать тот же всплеск за две недели до публикации отчета CDC. [ нужна цитата ]
«Чем раньше будет предупреждение, тем раньше можно будет принять меры профилактики и контроля, и это может предотвратить случаи гриппа», — сказала д-р Лин Финелли , руководитель отдела эпиднадзора за гриппом Центра по контролю и профилактике заболеваний (CDC). «Каждый год от 5 до 20 процентов населения страны заболевают гриппом, что приводит в среднем к примерно 36 000 смертям». [10]
Google Flu Trends — это пример коллективного разума , который можно использовать для выявления тенденций и расчета прогнозов. Данные, собранные поисковыми системами, очень информативны, поскольку поисковые запросы отражают нефильтрованные желания и потребности людей. «Это кажется действительно умным способом использования данных, которые непреднамеренно создаются пользователями Google, чтобы увидеть закономерности в мире, которые в противном случае были бы невидимы», — сказал Томас В. Мэлоун, профессор Школы менеджмента Слоана в Массачусетском технологическом институте. «Я думаю, что мы лишь прикасаемся к тому, что возможно с помощью коллективного разума». [10]
Точность [ править ]
В первоначальном документе Google говорилось, что прогнозы Google Flu Trends были на 97% точными по сравнению с данными CDC. [4] Однако в последующих отчетах утверждалось, что прогнозы Google Flu Trends были очень неточными, особенно в двух громких случаях. Google Flu Trends не смог предсказать весеннюю пандемию 2009 года [12] и за период 2011–2013 гг. он постоянно завышал относительную заболеваемость гриппом, [6] прогнозируя вдвое больше посещений врачей за один интервал в сезоне гриппа 2012-2012 гг., чем зафиксировал CDC. [6] [13] Исследование 2022 года, опубликованное (с комментариями) в Международном журнале прогнозирования. [14] обнаружили, что Google Flu Trends превосходит эвристику недавних событий, пример так называемого «наивного» прогнозирования, когда прогнозируемая заболеваемость гриппом равна последней наблюдаемой заболеваемости гриппом. Для всех недель с 18 марта 2007 г. по 9 августа 2015 г. (горизонт, для которого доступны прогнозы Google Flu Trends), средняя абсолютная ошибка Google Flu Trends составляла 0,38, а эвристики новизны - 0,20 (оба в процентных пунктах; линейные). регрессия с единственным предиктором (самая последняя зарегистрированная заболеваемость гриппом) имела среднюю абсолютную ошибку также 0,20, а эталон случайного прогнозирования имел 1,80).
Одним из источников проблем является то, что люди, выполняющие поиск в Google, связанный с гриппом, могут очень мало знать о том, как диагностировать грипп; поиск гриппа или симптомов гриппа вполне может означать исследование симптомов заболевания, которые похожи на грипп, но на самом деле им не являются. [15] Кроме того, анализ поисковых слов, которые, как сообщается, отслеживает Google, таких как «лихорадка» и «кашель», а также влияние изменений в их алгоритме поиска с течением времени, вызвали обеспокоенность по поводу смысла его прогнозов. [6] Осенью 2013 года Google начал пытаться компенсировать рост поисковых запросов из-за большого внимания к теме гриппа в новостях, что, как выяснилось, ранее искажало результаты. [16] Однако один анализ пришел к выводу, что «объединив данные GFT и запаздывающие данные CDC, а также динамическую повторную калибровку GFT, мы можем существенно улучшить производительность GFT или только CDC». [6] Более позднее исследование также показывает, что данные поиска Google действительно можно использовать для улучшения оценок, уменьшая ошибки, наблюдаемые в модели, использующей только данные CDC, до 52,7 процента. [17]
Переоценив первоначальную модель GFT, исследователи обнаружили, что модель агрегирует запросы о различных состояниях здоровья, что может привести к завышенному прогнозу заболеваемости ГПЗ; в той же работе был предложен ряд более продвинутых линейных и нелинейных, более эффективных подходов к моделированию ГПЗ. [18]
Тем не менее, последующая работа смогла существенно повысить точность GFT за счет использования модели случайной лесной регрессии, обученной как на заболеваемости гриппоподобными заболеваниями, так и на результатах исходной модели GFT. [19]
Связанные системы [ править ]
Подобные проекты, такие как проект по прогнозированию гриппа. [20] Института когнитивных наук Университета Оснабрюка продвигает основную идею, объединяя социальных сетей данные , например Twitter , с данными CDC , а также структурные модели, которые делают вывод о пространственном и временном распределении. [21] болезни.
Ссылки [ править ]
- ^ Перейти обратно: а б «Тенденции Google Flu | Как» . Архивировано из оригинала 22 октября 2012 года . Проверено 10 ноября 2012 г.
- ^ Фред О'Коннор (20 августа 2015 г.). «Google Flu Trends объявляет больным на неопределенный срок» . ПКМир . Архивировано из оригинала 23 августа 2015 года . Проверено 23 августа 2015 г.
- ^ Зейгер, Рони (6 октября 2009 г.). «Обзор тенденций Google в отношении гриппа» . youtube.com . YouTube . Архивировано из оригинала 6 июня 2013 года . Проверено 6 июня 2013 г.
- ^ Перейти обратно: а б Гинзберг, Джереми (2009). «Обнаружение эпидемий гриппа с использованием данных поисковых запросов» (PDF) . Природа . 457 (7232): 1012–1014. Бибкод : 2009Natur.457.1012G . дои : 10.1038/nature07634 . ПМИД 19020500 . S2CID 125775 . Архивировано (PDF) из оригинала 4 сентября 2012 года . Проверено 10 ноября 2012 г.
- ^ Гинзберг, Джереми; Мохебби, Мэтью Х.; Патель, Раджан С.; Браммер, Линнетт; Смолинский, Марк С.; Бриллиант, Ларри (19 февраля 2009 г.). «Выявление эпидемий гриппа с использованием данных поисковых запросов» . Природа . 457 (7232): 1012–1014. Бибкод : 2009Natur.457.1012G . дои : 10.1038/nature07634 . ПМИД 19020500 . S2CID 125775 .
- ^ Перейти обратно: а б с д Это Лазер, Дэвид; Кеннеди, Райан; Кинг, Гэри; Веспиньяни, Алессандро (14 марта 2014 г.). «Притча о Google Flu: ловушки в анализе больших данных» (PDF) . Наука . 343 (6176): 1203–1205. Бибкод : 2014Sci...343.1203L . дои : 10.1126/science.1248506 . ПМИД 24626916 . S2CID 206553739 . Архивировано (PDF) из оригинала 19 ноября 2019 года . Проверено 19 декабря 2019 г.
- ^ Хелфт, Мигель (13 ноября 2008 г.). «Есть ли риск конфиденциальности в Google Flu Trends?» . Нью-Йорк Таймс . Архивировано из оригинала 6 ноября 2012 года . Проверено 10 ноября 2012 г.
- ^ «Политика конфиденциальности – Политика и принципы – Google» . Архивировано из оригинала 3 ноября 2012 года . Проверено 10 ноября 2012 г.
- ^ Пил, Дебора. «Письмо EPIC в Google от 12 ноября 2008 г. относительно тенденций Google Flu» (PDF) . Архивировано (PDF) из оригинала 15 ноября 2012 года . Проверено 10 ноября 2012 г.
- ^ Перейти обратно: а б с «Google использует поисковые запросы для отслеживания распространения гриппа» (PDF) . Архивировано (PDF) из оригинала 15 ноября 2012 года . Проверено 10 ноября 2012 г.
- ^ Готовит еду.; Конрад, К.; Фаулкс, Алабама; Мохебби, Миннесота (2011). Коулинг, Бенджамин Дж (ред.). «Оценка эффективности Google Flu Trends в США во время пандемии вируса гриппа A (H1N1) в 2009 году» . ПЛОС ОДИН . 6 (8): е23610. Бибкод : 2011PLoSO...623610C . дои : 10.1371/journal.pone.0023610 . ПМК 3158788 . ПМИД 21886802 .
- ^ Шмидт, Чарльз (18 сентября 2019 г.). «Отслеживание гриппа в режиме реального времени» . Природа . 573 (7774): С58–С59. дои : 10.1038/d41586-019-02755-6 .
- ^ Батлер, Деклан (13 февраля 2013 г.). «Когда Google неправильно понял грипп» . Природа . 494 (7436): 155–156. Бибкод : 2013Natur.494..155B . дои : 10.1038/494155a . ПМИД 23407515 .
- ^ Кацикопулос, Константинос В.; Шимшек, Озгюр; Бакманн, Маркус; Гигеренцер, Герд (01 апреля 2022 г.). «Прозрачное моделирование заболеваемости гриппом: большие данные или единая точка данных из психологической теории?» . Международный журнал прогнозирования . 38 (2): 613–619. doi : 10.1016/j.ijforecast.2020.12.006 . hdl : 21.11116/0000-0007-E16A-4 . ISSN 0169-2070 . S2CID 234053376 .
- ^ «Google Flu Trends: случай, когда большие данные пошли не так?» . КремниевыйУГОЛ . 24 марта 2014 г.
- ^ Ричард Харрис (13 марта 2014 г.). «Трекер Google от гриппа страдает от насморка» . ЭНЕРГЕТИЧЕСКИЙ ЯДЕРНЫЙ РЕАКТОР. Архивировано из оригинала 19 марта 2019 г. Проверено 19 декабря 2019 г.
- ^ Прейс, Тобиас; Мот, Хелен Сюзанна (29 октября 2014 г.). «Адаптивный прогноз текущей погоды о вспышках гриппа с использованием поиска в Google» . Королевское общество открытой науки . 1 (2): 140095. Цифровой код : 2014RSOS....140095P . дои : 10.1098/rsos.140095 . ПМЦ 4448892 . ПМИД 26064532 .
- ^ Лампос, Василейос; Миллер, Эндрю С.; Кроссан, Стив; Стефансен, Кристиан (3 августа 2015 г.). «Достижения в прогнозировании показателей заболеваемости гриппоподобными заболеваниями с использованием журналов поисковых запросов» . Научные отчеты . 5 (12760): 12760. Бибкод : 2015NatSR...512760L . дои : 10.1038/srep12760 . ПМЦ 4522652 . ПМИД 26234783 .
- ^ Кандула, Сасикиран; Шаман, Джеффри (2 августа 2019 г.). «Переоценка полезности Google Flu Trends» . PLOS Вычислительная биология . 15 (8): e1007258. Бибкод : 2019PLSCB..15E7258K . дои : 10.1371/journal.pcbi.1007258 . ПМК 6693776 . ПМИД 31374088 .
- ^ «Проект прогнозирования гриппа Университета Оснабрюка и IBM WATSON» . Архивировано из оригинала 27 мая 2019 г. Проверено 19 декабря 2019 г.
- ^ Шумахер Йоханнес (2015). «Статистическая основа для определения задержки и направления потока информации на основе измерений сложных систем» . Нейронные вычисления . 27 (8): 1555–1608. дои : 10.1162/NECO_a_00756 . ПМИД 26079751 . S2CID 25156368 . Архивировано из оригинала 12 февраля 2019 г. Проверено 20 марта 2016 г.
