Большие данные

Эта статья о больших коллекциях данных. Информацию о группе см. в разделе Большие данные (группа) . О практике покупки и продажи личных и потребительских данных см. «Капитализм наблюдения» .

Нелинейный рост глобальной емкости цифрового хранения информации и сокращение аналогового хранилища

Большие данные в первую очередь относятся к наборам данных , которые слишком велики или сложны, чтобы с ними можно было справиться с помощью традиционного для обработки данных прикладного программного обеспечения . Данные с большим количеством записей (строк) обеспечивают большую статистическую мощность , тогда как данные с более высокой сложностью (больше атрибутов или столбцов) могут привести к более высокому уровню ложного обнаружения . Несмотря на то, что термин иногда используется небрежно, отчасти из-за отсутствия формального определения, лучшая интерпретация состоит в том, что это большой объем информации, который невозможно понять, если использовать его только в небольших количествах.

Задачи анализа больших данных включают сбор данных , хранение данных , анализ данных , поиск, совместное использование , передачу , визуализацию , запросы , обновление, конфиденциальность информации и источник данных. Первоначально большие данные ассоциировались с тремя ключевыми понятиями: объем , разнообразие и скорость . При анализе больших данных возникают проблемы с выборкой, поэтому раньше можно было использовать только наблюдения и выборку. Таким образом, четвертое понятие, достоверность, относится к качеству или полноте данных. Без достаточных инвестиций в экспертные знания, необходимые для обеспечения достоверности больших данных, объем и разнообразие данных могут привести к затратам и рискам, которые превышают возможности организации по созданию и извлечению ценности из больших данных .

Текущее использование термина « большие данные» , как правило, относится к использованию прогнозной аналитики , анализа поведения пользователей или некоторых других передовых методов анализа данных, которые извлекают ценность из больших данных и редко из набора данных определенного размера. «Нет никаких сомнений в том, что объемы доступных сейчас данных действительно велики, но это не самая важная характеристика этой новой экосистемы данных». Анализ наборов данных может найти новые корреляции для «выявления бизнес-тенденций, предотвращения заболеваний, борьбы с преступностью и так далее». Ученые, руководители предприятий, практикующие врачи, рекламщики и правительства регулярно сталкиваются с трудностями при работе с большими наборами данных в таких областях, как поиск в Интернете , финансовые технологии , медицинская аналитика, географические информационные системы, городская информатика и бизнес-информатика . Ученые сталкиваются с ограничениями в работе в области электронных наук , включая метеорологию , геномику , коннектомика , сложное физическое моделирование, биология и исследования окружающей среды.

Размер и количество доступных наборов данных быстро растут, поскольку данные собираются с помощью таких устройств, как мобильные устройства , воспринимающие информацию , дешевые и многочисленные устройства Интернета вещей , воздушное оборудование ( дистанционного зондирования ), журналы программного обеспечения, камеры , микрофоны, радиочастоты. считыватели идентификации (RFID) и беспроводные сенсорные сети . С 1980-х годов мировая технологическая способность хранить информацию на душу населения примерно удваивалась каждые 40 месяцев; по состоянию на 2012 год , каждый день 2,5 экзабайта (2,17×2 ⁶⁰ байт) данных. Согласно прогнозу отчета IDC , глобальный объем данных будет расти экспоненциально с 4,4 зеттабайта до 44 зеттабайт в период с 2013 по 2020 год. По прогнозам IDC, к 2025 году объем данных составит 163 зеттабайта. По данным IDC, глобальные расходы на решения для больших данных и бизнес-аналитики (BDA) в 2021 году достигнут $215,7 млрд. По данным Statista , к 2027 году мировой рынок больших данных вырастет до 103 миллиардов долларов. В 2011 году компания McKinsey & Company сообщила, что если бы здравоохранение США творчески и эффективно использовало большие данные для повышения эффективности и качества, этот сектор мог бы приносить более 300 миллиардов долларов прибыли каждый год. В развитых странах Европы государственные администраторы могли бы сэкономить более 100 миллиардов евро (149 миллиардов долларов США) только на повышении операционной эффективности за счет использования больших данных. А пользователи услуг, основанных на данных о личном местоположении, могут получить потребительский излишек в размере 600 миллиардов долларов. Одним из вопросов для крупных предприятий является определение того, кому следует принадлежать инициативы в области больших данных, которые влияют на всю организацию.

Системы управления реляционными базами данных и пакеты настольного статистического программного обеспечения, используемые для визуализации данных, часто сталкиваются с трудностями при обработке и анализе больших данных. Обработка и анализ больших данных может потребовать «массово параллельного программного обеспечения, работающего на десятках, сотнях или даже тысячах серверов». То, что квалифицируется как «большие данные», варьируется в зависимости от возможностей тех, кто их анализирует, и их инструментов. Более того, расширяющиеся возможности делают большие данные движущейся целью. столкнувшихся с сотнями гигабайт данных, может возникнуть необходимость пересмотреть варианты управления данными. Для других могут пройти десятки или сотни терабайт, прежде чем размер данных станет значимым фактором». «Для некоторых организаций, впервые

Определение

Термин « большие данные» используется с 1990-х годов, причем некоторые отдают должное Джону Мэши за популяризацию этого термина. Большие данные обычно включают наборы данных, размер которых превышает возможности широко используемых программных инструментов для сбора , хранения , управления и обработки данных в течение приемлемого прошедшего времени. Философия больших данных включает в себя неструктурированные, полуструктурированные и структурированные данные; однако основное внимание уделяется неструктурированным данным. «Размер» больших данных — это постоянно меняющаяся цель; по состоянию на 2012 год от нескольких десятков терабайт до многих зеттабайт данных. Большие данные требуют набора методов и технологий с новыми формами интеграции, позволяющими получать ценную информацию из наборов данных , которые разнообразны, сложны и имеют огромные масштабы.

«Объем», «разнообразие», «скорость» и различные другие буквы «V» добавляются некоторыми организациями для описания этого изменения, которое оспаривается некоторыми отраслевыми властями. Против больших данных часто называют «три против», «четыре против» и «пять против». Они отражали качества больших данных по объему, разнообразию, скорости, достоверности и ценности. Вариативность часто рассматривается как дополнительное качество больших данных.

В определении 2018 года говорится: «Большие данные — это то место, где для обработки данных необходимы инструменты параллельных вычислений », и отмечается: «Это представляет собой отчетливое и четко определенное изменение в используемой информатике за счет теорий параллельного программирования и потери некоторых гарантий и возможности, созданные реляционной моделью Кодда ».

В сравнительном исследовании больших наборов данных Китчин и МакАрдл обнаружили, что ни одна из обычно рассматриваемых характеристик больших данных не проявляется последовательно во всех проанализированных случаях. По этой причине другие исследования определили переопределение динамики власти в открытии знаний как определяющую черту. Вместо того, чтобы сосредотачиваться на внутренних характеристиках больших данных, эта альтернативная точка зрения продвигает реляционное понимание объекта, утверждая, что важно то, как данные собираются, хранятся, становятся доступными и анализируются.

Большие данные против бизнес-аналитики

Растущая зрелость концепции более четко определяет разницу между «большими данными» и « бизнес-аналитикой »:

• Бизнес-аналитика использует инструменты прикладной математики и описательную статистику с данными с высокой плотностью информации для измерения показателей, выявления тенденций и т. д.
• Большие данные используют математический анализ, оптимизацию, индуктивную статистику и концепции идентификации нелинейных систем. выводить законы (регрессии, нелинейные связи и причинно-следственные связи) на основе больших наборов данных с низкой плотностью информации. для выявления взаимосвязей и зависимостей или для прогнозирования результатов и поведения.

Характеристики

На этом изображении показан рост основных характеристик больших данных: объема, скорости и разнообразия.

Большие данные можно описать следующими характеристиками:

Объем

Количество сгенерированных и сохраненных данных. Размер данных определяет ценность и потенциальную ценность, а также то, можно ли их считать большими данными или нет. Размер больших данных обычно превышает терабайты и петабайты.

Разнообразие

Тип и характер данных. Более ранние технологии, такие как СУБД, были способны эффективно и результативно обрабатывать структурированные данные. Однако изменение типа и характера от структурированного к полуструктурированному или неструктурированному бросило вызов существующим инструментам и технологиям. Технологии больших данных развивались с основной целью сбора, хранения и обработки полуструктурированных и неструктурированных (разнообразных) данных, генерируемых с высокой скоростью (скоростью) и огромными по размеру (объему). Позже эти инструменты и технологии были изучены и использованы для обработки структурированных данных, но предпочтительно для хранения. В конце концов, обработка структурированных данных по-прежнему оставалась необязательной: либо с использованием больших данных, либо с использованием традиционных СУБД. Это помогает анализировать данные для эффективного использования скрытой информации, полученной из данных, собранных через социальные сети, файлы журналов, датчики и т. д. Большие данные извлекаются из текста, изображений, аудио, видео; плюс он дополняет недостающие части посредством объединения данных .

Скорость

Скорость, с которой данные генерируются и обрабатываются для удовлетворения потребностей и задач, стоящих на пути роста и развития. Большие данные часто доступны в режиме реального времени. По сравнению с небольшими данными , большие данные создаются более непрерывно. Два типа скорости, связанные с большими данными, — это частота генерации и частота обработки, записи и публикации.

Правдивость

Правдивость или надежность данных, которая относится к качеству и ценности данных. Большие данные должны быть не только большими по размеру, но и надежными, чтобы их анализ мог принести пользу. Качество . собранных данных может сильно различаться, что влияет на точность анализа

Ценить

Ценность информации, которую можно получить путем обработки и анализа больших наборов данных. Ценность также можно измерить путем оценки других качеств больших данных. Ценность также может отражать прибыльность информации, полученной в результате анализа больших данных.

Вариативность

Характеристика меняющихся форматов, структуры или источников больших данных. Большие данные могут включать структурированные, неструктурированные данные или комбинации структурированных и неструктурированных данных. Анализ больших данных может объединять необработанные данные из нескольких источников. Обработка необработанных данных может также включать преобразование неструктурированных данных в структурированные.

Другими возможными характеристиками больших данных являются:

исчерпывающий

Будет ли вся система (т. е. ${\textstyle n}$=все) захватывается или записывается или нет. Большие данные могут включать или не включать все доступные данные из источников.

Детализированный и уникальный лексический состав

Соответственно, доля конкретных данных каждого элемента на каждый собранный элемент, а также правильность индексации или идентификации элемента и его характеристик.

Реляционный

Если собранные данные содержат общие поля, которые позволят объединить или метаанализировать различные наборы данных.

Экстенсиональный

Если новые поля в каждом элементе собранных данных могут быть легко добавлены или изменены.

Масштабируемость

Если размер системы хранения больших данных может быстро расширяться.

Архитектура

Репозитории больших данных существовали во многих формах и часто создавались корпорациями с особыми потребностями. Коммерческие поставщики исторически предлагали параллельные системы управления базами данных для больших данных, начиная с 1990-х годов. В течение многих лет WinterCorp публиковала самый крупный отчет по базе данных.

Корпорация Teradata в 1984 году выпустила на рынок систему параллельной обработки DBC 1012 . Системы Teradata были первыми, кто смог хранить и анализировать 1 терабайт данных в 1992 году. В 1991 году жесткие диски имели емкость 2,5 ГБ, поэтому определение больших данных постоянно развивается. Teradata установила первую систему на базе СУБД петабайтного класса в 2007 году. По состоянию на 2017 год Установлено несколько десятков реляционных баз данных Teradata петабайтного класса, размер крупнейшей из которых превышает 50 ПБ. Системы до 2008 года представляли собой 100% структурированные реляционные данные. С тех пор Teradata добавила неструктурированные типы данных, включая XML , JSON и Avro.

В 2000 году компания Seisint Inc. (теперь LexisNexis Risk Solutions ) разработала основанную на C++ распределенную платформу для обработки данных и выполнения запросов, известную как платформа HPCC Systems . Эта система автоматически разделяет, распределяет, хранит и доставляет структурированные, полуструктурированные и неструктурированные данные на несколько обычных серверов. Пользователи могут писать конвейеры обработки данных и запросы на декларативном языке программирования потоков данных, называемом ECL. Аналитикам данных, работающим в ECL, не требуется заранее определять схемы данных, они могут сосредоточиться на конкретной проблеме, изменяя данные наилучшим образом по мере разработки решения. В 2004 году LexisNexis приобрела Seisint Inc. и их высокоскоростную платформу параллельной обработки и успешно использовали эту платформу для интеграции систем данных Choicepoint Inc., когда они приобрели эту компанию в 2008 году. В 2011 году системная платформа HPCC была открыта под лицензией Apache v2.0.

ЦЕРН и другие физические эксперименты собирали большие наборы данных на протяжении многих десятилетий, обычно анализируя их с помощью высокопроизводительных вычислений , а не с помощью архитектур сокращения карт, обычно подразумеваемых нынешним движением «больших данных».

В 2004 году Google опубликовал статью о процессе MapReduce , использующем аналогичную архитектуру. Концепция MapReduce предоставляет модель параллельной обработки, и была выпущена соответствующая реализация для обработки огромных объемов данных. С помощью MapReduce запросы разбиваются, распределяются по параллельным узлам и обрабатываются параллельно (шаг «карта»). Затем результаты собираются и доставляются (этап «сокращение»). Рамочная программа оказалась очень успешной, поэтому другие захотели повторить алгоритм. Поэтому реализация платформы MapReduce была принята проектом Apache с открытым исходным кодом под названием Hadoop . Apache Spark был разработан в 2012 году в ответ на ограничения парадигмы MapReduce, поскольку он добавляет обработку в памяти и возможность настройки множества операций (а не только сопоставления с последующим сокращением).

MIKE2.0 — это открытый подход к управлению информацией, который признает необходимость внесения изменений в связи с последствиями для больших данных, указанными в статье под названием «Предложение решений для больших данных». Методология рассматривает обработку больших данных с точки зрения полезных перестановок источников данных, сложности взаимосвязей и трудностей удаления (или изменения) отдельных записей.

Исследования 2012 года показали, что многоуровневая архитектура является одним из вариантов решения проблем, связанных с большими данными. Распределенная параллельная архитектура распределяет данные по нескольким серверам; эти среды параллельного выполнения могут значительно повысить скорость обработки данных. Этот тип архитектуры вставляет данные в параллельную СУБД, которая реализует использование фреймворков MapReduce и Hadoop. Этот тип инфраструктуры призван сделать вычислительную мощность прозрачной для конечного пользователя за счет использования интерфейсного сервера приложений.

Озеро данных позволяет организации переключить свое внимание с централизованного управления на общую модель, чтобы реагировать на меняющуюся динамику управления информацией. Это позволяет быстро разделить данные в озере данных, тем самым сокращая накладные расходы.

Технологии

за 2011 год В отчете Глобального института McKinsey основные компоненты и экосистема больших данных характеризуются следующим образом:

• Методы анализа данных, такие как A/B-тестирование , машинное обучение и обработка естественного языка.
• Технологии больших данных, такие как бизнес-аналитика , облачные вычисления и базы данных.
• Визуализация, например диаграммы, графики и другие виды отображения данных.

Многомерные большие данные также можно представить в виде OLAP кубов данных или, математически, тензоров . Системы баз данных с массивами призваны обеспечить хранение и поддержку запросов высокого уровня для этого типа данных.Дополнительные технологии, применяемые к большим данным, включают эффективные тензорные вычисления, такие как мультилинейное обучение подпространству , базы данных с массовой параллельной обработкой ( MPP ), приложения для поиска , интеллектуальный анализ данных , распределенные файловые системы , распределенный кэш (например, пакетный буфер и Memcached ), распределенные базы данных , облачная инфраструктура и инфраструктура на базе HPC (приложения, хранилища и вычислительные ресурсы), и Интернет. Несмотря на то, что было разработано множество подходов и технологий, осуществлять машинное обучение с большими данными по-прежнему сложно.

Некоторые реляционные базы данных MPP могут хранить петабайты данных и управлять ими. Неявной является возможность загрузки, мониторинга, резервного копирования и оптимизации использования больших таблиц данных в СУБД .

DARPA Программа топологического анализа данных направлена ​​на изучение фундаментальной структуры огромных наборов данных, и в 2008 году эта технология стала достоянием общественности с запуском компании под названием «Ayasdi».

Специалисты по аналитике больших данных, как правило, враждебно относятся к более медленному общему хранилищу. отдавая предпочтение хранилищам с прямым подключением ( DAS ) в различных формах: от твердотельных накопителей ( SSD большой емкости ) до дисков SATA , скрытых внутри узлов параллельной обработки. Архитектуры общего хранения данных — сеть хранения данных (SAN) и сетевое хранилище (NAS) — воспринимаются как относительно медленные, сложные и дорогие. Эти качества несовместимы с системами анализа больших данных, которые преуспевают за счет производительности системы, стандартной инфраструктуры и низкой стоимости.

Доставка информации в режиме реального или близкого к реальному времени является одной из определяющих характеристик анализа больших данных. Поэтому задержки избегаются всегда и везде, где это возможно. Данные в памяти или на диске с прямым подключением — в порядке, а данные в памяти или на диске на другом конце соединения FC SAN — нет. Стоимость SAN в масштабе, необходимом для аналитических приложений, намного выше, чем у других методов хранения.

Приложения

Автобус с большими данными SAP припаркован возле IDF13

Большие данные настолько увеличили спрос на специалистов по управлению информацией, что Software AG , Oracle Corporation , IBM , Microsoft , SAP , EMC , HP и Dell потратили более 15 миллиардов долларов на компании-разработчики программного обеспечения, специализирующиеся на управлении данными и аналитике. В 2010 году эта отрасль стоила более 100 миллиардов долларов и росла почти на 10 процентов в год, что примерно в два раза быстрее, чем бизнес программного обеспечения в целом.

Развитые страны все чаще используют технологии, требующие больших объемов данных. Во всем мире насчитывается 4,6 миллиарда абонентов мобильных телефонов, а доступ к Интернету имеют от 1 до 2 миллиардов человек. В период с 1990 по 2005 год более 1 миллиарда человек во всем мире вошли в средний класс, а это означает, что больше людей стали более грамотными, что, в свою очередь, привело к росту информации. Эффективная емкость мира для обмена информацией через телекоммуникационные сети составляла 281 петабайт в 1986 году, 471 петабайт в 1993 году, 2,2 эксабайта в 2000 году, 65 эксабайт в 2007 году. По прогнозам, к 2014 году объем интернет-трафика составит 667 эксабайт в год. По одной из оценок, треть глобально хранящейся информации находится в форме буквенно-цифрового текста и данных неподвижных изображений. этот формат наиболее полезен для большинства приложений, работающих с большими данными. Это также показывает потенциал еще неиспользованных данных (т.е. в виде видео- и аудиоконтента).

В то время как многие вендоры предлагают готовые продукты для больших данных, эксперты поощряют разработку собственных систем, адаптированных под нужды компании, если у компании есть достаточные технические возможности.

Правительство

См. Также: Правительство по алгоритму

Использование и внедрение больших данных в правительственные процессы позволяют повысить эффективность с точки зрения затрат, производительности и инноваций. но не обходится без недостатков. Анализ данных часто требует совместной работы нескольких органов власти (центральных и местных) и создания новых и инновационных процессов для достижения желаемого результата. Обычной правительственной организацией, использующей большие данные, является Управление национальной безопасности ( АНБ ), которое постоянно отслеживает деятельность Интернета в поисках потенциальных моделей подозрительной или незаконной деятельности, которые может обнаружить их система.

Служба регистрации актов гражданского состояния и статистики естественного движения населения (CRVS) собирает все свидетельства о статусе от рождения до смерти. CRVS является источником больших данных для правительств.

Международное развитие

Исследования по эффективному использованию информационных и коммуникационных технологий в целях развития (также известные как «ICT4D») показывают, что технологии больших данных могут внести важный вклад, но также создают уникальные проблемы для международного развития . Достижения в области анализа больших данных открывают экономически эффективные возможности для улучшения процесса принятия решений в важнейших областях развития, таких как здравоохранение, занятость, экономическая производительность , преступность, безопасность, стихийные бедствия и управление ресурсами. Кроме того, данные, генерируемые пользователями, открывают новые возможности дать возможность высказаться тем, кто не услышан. Однако давние проблемы развивающихся регионов, такие как неадекватная технологическая инфраструктура, а также нехватка экономических и человеческих ресурсов, усугубляют существующие проблемы с большими данными, такие как конфиденциальность, несовершенство методологии и проблемы совместимости. Задача «больших данных для развития» в настоящее время развивается в направлении применения этих данных посредством машинного обучения, известного как «искусственный интеллект для развития» (AI4D).

Преимущества

Основным практическим применением больших данных в целях развития стала «борьба с бедностью с помощью данных». В 2015 году Блюменшток и его коллеги оценили прогнозируемую бедность и богатство на основе метаданных мобильных телефонов. а в 2016 году Джин и его коллеги объединили спутниковые снимки и машинное обучение, чтобы предсказать бедность. Использование данных цифровых трасс для изучения рынка труда и цифровой экономики в Латинской Америке, Хилберт и коллеги. утверждают, что цифровые данные трассировки имеют ряд преимуществ, таких как:

• Тематический охват: включая области, которые ранее было трудно или невозможно измерить.
• Географический охват: предоставление крупных и сопоставимых данных почти по всем странам, включая множество небольших стран, которые обычно не включаются в международные реестры.
• Уровень детализации: предоставление детальных данных со многими взаимосвязанными переменными и новыми аспектами, такими как сетевые подключения.
• Своевременность и временные ряды: графики могут быть построены в течение нескольких дней после их сбора.

Проблемы

В то же время работа с данными цифровых трасс вместо традиционных данных обследований не устраняет традиционных проблем, возникающих при работе в области международного количественного анализа. Приоритеты меняются, но основные дискуссии остаются прежними. Среди основных задач можно назвать:

• Репрезентативность. В то время как традиционная статистика развития в основном занимается репрезентативностью выборок случайных обследований, данные цифровых трассировок никогда не являются случайной выборкой.
• Обобщаемость. Хотя данные наблюдений всегда очень хорошо представляют этот источник, они представляют только то, что представляют, и не более того. Хотя возникает соблазн обобщить конкретные наблюдения одной платформы на более широкие условия, это часто очень обманчиво.
• Гармонизация. Данные цифровых трассировок по-прежнему требуют международной гармонизации показателей. Это добавляет проблему так называемого «объединения данных», гармонизации различных источников.
• Перегрузка данных. Аналитики и учреждения не привыкли эффективно работать с большим количеством переменных, что эффективно достигается с помощью интерактивных информационных панелей. Практикам до сих пор не хватает стандартного рабочего процесса, который позволил бы исследователям, пользователям и политикам эффективно и результативно работать с данными.

Финансы

Большие данные быстро внедряются в финансах для 1) ускорения обработки и 2) предоставления более качественных и обоснованных выводов как внутри самих финансовых учреждений, так и для клиентов финансовых учреждений. Финансовые применения больших данных варьируются от инвестиционных решений и торговли (одновременная обработка объемов доступных ценовых данных, книг лимитных заказов, экономических данных и т. д.) до управления портфелем (оптимизация все большего количества финансовых инструментов, потенциально выбранных из разных классов активов), управление рисками (кредитный рейтинг на основе расширенной информации) и любой другой аспект, в котором объем входных данных велик. Большие данные также являются типичной концепцией в сфере альтернативных финансовых услуг . Некоторые из основных областей включают краудфандинговые платформы и биржи криптовалют.

Здравоохранение

Аналитика больших данных используется в здравоохранении для обеспечения персонализированной медицины и предписывающей аналитики , вмешательства в клинические риски и прогнозной аналитики, сокращения отходов и изменчивости ухода, автоматизированной внешней и внутренней отчетности данных пациентов, стандартизированных медицинских терминов и регистров пациентов. Некоторые области улучшений являются более амбициозными, чем фактически реализованными. Уровень данных, генерируемых в системах здравоохранения , нетривиален. С дальнейшим внедрением мобильного здравоохранения, электронного здравоохранения и носимых технологий объем данных будет продолжать расти. Сюда входят данные электронных медицинских карт , данные визуализации, данные, созданные пациентами, данные датчиков и другие формы данных, которые трудно обрабатывать. В настоящее время существует еще большая потребность в таких средах уделять больше внимания качеству данных и информации. «Большие данные очень часто означают « грязные данные », и доля неточностей в данных увеличивается с ростом объема данных». Человеческий контроль в масштабе больших данных невозможен, и существует острая потребность в службах здравоохранения в интеллектуальных инструментах для контроля точности и правдоподобности и обработки пропущенной информации. Хотя обширная информация в здравоохранении теперь доступна в электронном виде, она вписывается в категорию больших данных, поскольку большая ее часть неструктурирована и сложна в использовании. Использование больших данных в здравоохранении породило серьезные этические проблемы, начиная от рисков для прав личности, конфиденциальности и автономии и заканчивая прозрачностью и доверием.

Большие данные в медицинских исследованиях особенно многообещающи с точки зрения поисковых биомедицинских исследований, поскольку анализ, основанный на данных, может продвигаться вперед быстрее, чем исследования, основанные на гипотезах. Затем тенденции, наблюдаемые в анализе данных, могут быть проверены в ходе традиционных, основанных на гипотезах последующих биологических исследований и, в конечном итоге, клинических исследований.

Связанной областью применения в сфере здравоохранения, которая в значительной степени опирается на большие данные, является компьютерная диагностика в медицине. Например, для мониторинга эпилепсии принято ежедневно создавать от 5 до 10 ГБ данных. Аналогичным образом, одно несжатое изображение томосинтеза молочной железы в среднем содержит 450 МБ данных. Это лишь некоторые из многих примеров, когда компьютерная диагностика использует большие данные. По этой причине большие данные были признаны одной из семи ключевых проблем, которые необходимо преодолеть системам компьютерной диагностики, чтобы выйти на новый уровень производительности.

Образование

Исследование McKinsey Global Institute выявило нехватку 1,5 миллиона высококвалифицированных специалистов по данным и менеджеров. и ряд университетов включая Университет Теннесси и Калифорнийский университет в Беркли , создали магистерские программы для удовлетворения этого спроса. Частные учебные лагеря также разработали программы для удовлетворения этого спроса, в том числе платные программы, такие как «Инкубатор данных» или «Генеральная Ассамблея» . В специфической области маркетинга одна из проблем, подчеркиваемых Веделем и Каннаном, заключается в том, что маркетинг имеет несколько поддоменов (например, реклама, продвижение по службе,разработка продуктов, брендинг), которые используют разные типы данных.

СМИ

Чтобы понять, как средства массовой информации используют большие данные, сначала необходимо представить некоторый контекст механизма, используемого для медиапроцесса. Ник Кадри и Джозеф Туроу предположили, что специалисты в области средств массовой информации и рекламы подходят к большим данным как к множеству полезных сведений о миллионах людей. Похоже, что индустрия отходит от традиционного подхода к использованию конкретной медиа-среды, такой как газеты, журналы или телешоу, и вместо этого привлекает потребителей с помощью технологий, которые достигают целевых людей в оптимальное время и в оптимальных местах. Конечная цель — предоставить или передать сообщение или контент, который (статистически говоря) соответствует мышлению потребителя. Например, издательская среда все чаще адаптирует сообщения (рекламу) и контент (статьи) так, чтобы они были привлекательными для потребителей и были получены исключительно с помощью различных мероприятий по сбору данных .

• Ориентация на потребителей (для рекламы маркетологов)
• Сбор данных
• Журналистика данных : издатели и журналисты используют инструменты больших данных для предоставления уникальных и инновационных идей и инфографики .

Channel 4 , британская общественная телекомпания, является лидером в области больших данных и анализа данных .

Страхование

Поставщики медицинского страхования собирают данные о социальных «детерминантах здоровья», таких как потребление еды и телевидения , семейное положение, размер одежды и покупательские привычки, на основе которых они делают прогнозы о расходах на здравоохранение, чтобы выявить проблемы со здоровьем у своих клиентов. Спорно, используются ли эти прогнозы в настоящее время для ценообразования.

Интернет вещей (IoT)

Основная статья: Интернет вещей

Дополнительная информация: Периферийные вычисления.

Большие данные и Интернет вещей работают вместе. Данные, извлеченные из устройств Интернета вещей, обеспечивают отображение взаимосвязи устройств. Такие сопоставления используются медиаиндустрией, компаниями и правительствами для более точного таргетирования своей аудитории и повышения эффективности СМИ. Интернет вещей также все чаще применяется в качестве средства сбора сенсорных данных, и эти сенсорные данные используются в медицине, производство и транспорт контексты.

Кевин Эштон , эксперт по цифровым инновациям, которому приписывают создание этого термина, определяет Интернет вещей в этой цитате: «Если бы у нас были компьютеры, которые знали бы все, что нужно знать о вещах, — используя данные, которые они собрали без какой-либо помощи с нашей стороны, — мы были бы в состоянии отслеживать и подсчитывать все, а также значительно сократить потери и потери». и стоимость. Мы будем знать, когда что-то нужно заменить, отремонтировать или отозвать, а также являются ли они свежими или уже не в лучшем состоянии».

Информационные технологии

Особенно с 2015 года большие данные стали играть важную роль в бизнес-операциях как инструмент, помогающий сотрудникам работать более эффективно и оптимизирующий сбор и распространение информационных технологий (ИТ). Использование больших данных для решения проблем ИТ и сбора данных на предприятии называется аналитикой ИТ-операций (ITOA). Применяя принципы больших данных к концепциям машинного интеллекта и глубоких вычислений, ИТ-отделы могут прогнозировать потенциальные проблемы и предотвращать их. Компании ITOA предлагают платформы для управления системами , которые объединяют хранилища данных и генерируют ценную информацию на основе всей системы, а не на основе изолированных карманов данных.

Обзорная наука

По сравнению со сбором данных на основе опросов , большие данные имеют низкую стоимость за единицу данных, используют методы анализа с помощью машинного обучения и интеллектуального анализа данных и включают разнообразные и новые источники данных, например, регистры, социальные сети, приложения и другие формы цифровых данных. С 2018 года ученые-исследователи начали изучать, как большие данные и опросная наука могут дополнять друг друга, позволяя исследователям и практикам улучшить производство статистики и ее качество. В 2018, 2020 (виртуальном), 2023 и по состоянию на 2023 год было проведено три конференции Big Data Meets Survey Science (BigSurv). одна конференция состоится в 2025 году, специальный выпуск журнала Social Science Computer Review , специальный выпуск в журнале Королевского статистического общества , и специальный выпуск в EP J Data Science , и книга « Большие данные встречаются с социальными науками». под редакцией Крейга Хилла и пяти других членов Американской статистической ассоциации . В 2021 году члены-основатели BigSurv получили Премию новаторов Уоррена Дж. Митофски от Американской ассоциации исследований общественного мнения .

Маркетинг

Большие данные примечательны в маркетинге благодаря постоянной «датафикации». ежедневных потребителей Интернета, в котором отслеживаются все формы данных. Информацию о потребителях можно определить как количественную оценку многих или всех видов человеческого поведения в целях маркетинга. Все более цифровой мир быстрой обработки данных делает эту идею актуальной для маркетинга, поскольку объем данных постоянно растет в геометрической прогрессии. Прогнозируется, что в течение пяти лет он увеличится с 44 до 163 зеттабайт. Маркетологам часто бывает сложно ориентироваться в размерах больших данных. В результате пользователи больших данных могут оказаться в невыгодном положении. Алгоритмических выводов может быть трудно достичь с такими большими наборами данных. Большие данные в маркетинге — это очень прибыльный инструмент, который может использоваться крупными корпорациями, поскольку его ценность заключается в возможности прогнозирования значительных тенденций, интересов или статистических результатов с учетом интересов потребителей.

Есть три важных фактора в использовании больших данных в маркетинге:

1. Большие данные позволяют маркетологам выявлять модели поведения клиентов, поскольку все человеческие действия выражаются в читаемых цифрах, которые маркетологи могут анализировать и использовать в своих исследованиях. Кроме того, большие данные также можно рассматривать как инструмент индивидуальной рекомендации продуктов. В частности, поскольку большие данные эффективны при анализе покупательского поведения клиентов и моделей просмотра, эта технология может помочь компаниям в продвижении конкретных персонализированных продуктов для конкретных клиентов.
2. Реакция рынка в режиме реального времени важна для маркетологов из-за способности перенаправлять маркетинговые усилия и корректировать их в соответствии с текущими тенденциями, что помогает поддерживать актуальность для потребителей. Это может предоставить корпорациям информацию, необходимую для заранее прогнозирования желаний и потребностей потребителей.
3. Амбидекстрия рынка, основанная на данных, в значительной степени подпитывается большими данными. Разрабатываются новые модели и алгоритмы, позволяющие делать значимые прогнозы относительно определенных экономических и социальных ситуаций.

Тематические исследования

Правительство

Китай

• Интегрированная совместная операционная платформа (IJOP, Integrated Joint Operations Platform) используется правительством для мониторинга населения, особенно уйгуров . Биометрические данные , включая образцы ДНК, собираются в рамках программы бесплатных медосмотров.
• К 2020 году Китай планирует дать всем своим гражданам личный рейтинг «социального кредита», основанный на их поведении. Система социального кредита , пилотируемая в настоящее время в ряде китайских городов, считается формой массовой слежки , в которой используется технология анализа больших данных.

Индия

• Анализ больших данных был опробован для того, чтобы БДП выиграла всеобщие выборы в Индии в 2014 году.
• Индийское правительство использует многочисленные методы, чтобы выяснить, как индийский электорат реагирует на действия правительства, а также идеи по усилению политики.

Израиль

• Персонализированное лечение диабета можно создать с помощью решения для обработки больших данных GlucoMe.

Великобритания

Примеры использования больших данных в государственных услугах:

• Данные о рецептурных лекарствах: связав происхождение, место и время каждого рецепта, исследовательское подразделение смогло проиллюстрировать и изучить значительную задержку между выпуском любого конкретного лекарства и адаптацией Национального института здравоохранения и здравоохранения в масштабах всей Великобритании. Рекомендации по обеспечению превосходного ухода . Это говорит о том, что новым или наиболее современным лекарствам требуется некоторое время, чтобы дойти до обычного пациента.
• Объединение данных: местные власти объединили данные об услугах, таких как дежурство по уборке дорог, с услугами для людей из группы риска, такими как «Еда на колесах» . Подключение данных позволило местным властям избежать задержек, связанных с погодой.

Соединенные Штаты

• В 2012 году администрация Обамы объявила об Инициативе по исследованию и развитию больших данных, призванной изучить, как большие данные могут быть использованы для решения важных проблем, с которыми сталкивается правительство. Инициатива состоит из 84 различных программ по работе с большими данными, распределенных по шести департаментам.
• Анализ больших данных сыграл большую роль в Барака Обамы успешной предвыборной кампании в 2012 году .
• Федеральному правительству США принадлежат четыре из десяти самых мощных суперкомпьютеров в мире.
• Центр обработки данных штата Юта США был построен Агентством национальной безопасности . После завершения объект сможет обрабатывать большой объем информации, собираемой АНБ через Интернет. Точный объем дискового пространства неизвестен, но более поздние источники утверждают, что он будет порядка нескольких эксабайт . Это создало проблемы безопасности в отношении анонимности собранных данных.

Розничная торговля

• Walmart обрабатывает более 1 миллиона транзакций клиентов каждый час, которые импортируются в базы данных, которые, по оценкам, содержат более 2,5 петабайт (2560 терабайт) данных, что в 167 раз превышает объем информации, содержащейся во всех книгах Библиотеки Конгресса США .
• Windermere Real Estate использует информацию о местонахождении почти 100 миллионов водителей, чтобы помочь покупателям нового жилья определить типичное время поездки на работу и обратно в разное время дня.
• Система обнаружения карт FICO защищает счета по всему миру.
• Омниканальная розничная торговля использует большие онлайн-данные для улучшения оффлайн-опыта.

Наука

• Эксперименты Большого адронного коллайдера представляют собой около 150 миллионов датчиков, передающих данные 40 миллионов раз в секунду. В секунду происходит около 600 миллионов столкновений. После фильтрации и воздержания от записи более 99,99995% из этих потоков происходит 1000 столкновений интересов в секунду.
  • В результате, работая только с менее чем 0,001% данных потока датчиков, поток данных всех четырех экспериментов БАК представляет собой годовую скорость 25 петабайт до репликации (по состоянию на 2012 г.). ). После репликации это становится почти 200 петабайтами.
  • Если бы все данные датчиков записывались на БАК, с потоком данных было бы чрезвычайно сложно работать. До начала репликации поток данных превысит 150 миллионов петабайт в год, или почти 500 эксабайт в день. Для сравнения: это эквивалентно 500 квинтиллионам (5×10 ²⁰ ) байт в день, что почти в 200 раз больше, чем у всех остальных источников мира, вместе взятых.
• Квадратный километр представляет собой радиотелескоп, состоящий из тысяч антенн. Ожидается, что он будет введен в эксплуатацию к 2024 году. Ожидается, что в совокупности эти антенны будут собирать 14 эксабайт и хранить один петабайт в день. Это считается одним из самых амбициозных научных проектов, когда-либо предпринимавшихся.
• Когда в 2000 году Слоановский цифровой обзор неба (SDSS) начал собирать астрономические данные, за первые несколько недель он собрал больше, чем все данные, собранные за всю историю астрономии ранее. Продолжая работу со скоростью около 200 ГБ за ночь, SDSS накопил более 140 терабайт информации. Когда Большой синоптический обзорный телескоп , преемник SDSS, будет запущен в эксплуатацию в 2020 году, его разработчики ожидают, что он будет собирать такой объем данных каждые пять дней.
• Первоначально расшифровка генома человека заняла 10 лет; теперь этого можно достичь менее чем за день. Секвенаторы ДНК за последние десять лет разделили стоимость секвенирования на 10 000, что в 100 раз дешевле, чем снижение стоимости, предсказанное законом Мура .
• Центр НАСА по моделированию климата (NCCS) хранит 32 петабайта данных климатических наблюдений и моделирования в суперкомпьютерном кластере Discover.
• DNAStack от Google собирает и систематизирует образцы ДНК генетических данных со всего мира для выявления заболеваний и других медицинских дефектов. Эти быстрые и точные расчеты исключают любые «точки трения» или человеческие ошибки, которые мог допустить один из многочисленных экспертов в области науки и биологии, работающих с ДНК. DNAStack, часть Google Genomics, позволяет ученым мгновенно использовать обширную выборку ресурсов с поискового сервера Google для масштабирования социальных экспериментов, которые обычно занимают годы.
• содержит 23andme База данных ДНК генетическую информацию более чем 1 000 000 человек по всему миру. Компания рассматривает возможность продажи «анонимных агрегированных генетических данных» другим исследователям и фармацевтическим компаниям для исследовательских целей, если пациенты дадут свое согласие. Ахмад Харири, профессор психологии и нейробиологии в Университете Дьюка , который использует 23andMe в своих исследованиях с 2009 года, утверждает, что наиболее важным аспектом нового сервиса компании является то, что он делает генетические исследования доступными и относительно дешевыми для ученых. Исследование, которое выявило 15 сайтов генома, связанных с депрессией, в базе данных 23andMe, привело к резкому росту запросов на доступ к хранилищу: 23andMe отправила почти 20 запросов на доступ к данным о депрессии в течение двух недель после публикации статьи.
• Вычислительная гидродинамика ( CFD ) и исследования гидродинамической турбулентности генерируют огромные наборы данных. Базы данных Джонса Хопкинса по турбулентности ( JHTDB ) содержат более 350 терабайт пространственно-временных полей, полученных в результате прямого численного моделирования различных турбулентных потоков. Такими данными было трудно поделиться с помощью традиционных методов, таких как загрузка выходных файлов плоского моделирования. Доступ к данным в JHTDB можно получить с помощью «виртуальных датчиков» с различными режимами доступа, начиная от прямых запросов веб-браузера, доступа через программы Matlab, Python, Fortran и C, выполняющиеся на клиентских платформах, до отключения служб для загрузки необработанных данных. Данные были использованы в более чем 150 научных публикациях.

Спорт

Большие данные можно использовать для улучшения тренировок и понимания конкурентов с помощью спортивных датчиков. Также можно предсказать победителей в матче с помощью анализа больших данных. Будущие результаты игроков также можно предсказать. Таким образом, стоимость и зарплата игроков определяется данными, собранными в течение сезона.

В гонках Формулы-1 гоночные автомобили с сотнями датчиков генерируют терабайты данных. Эти датчики собирают данные о давлении в шинах и эффективности сжигания топлива. На основе данных инженеры и аналитики данных решают, следует ли внести изменения, чтобы выиграть гонку. Кроме того, используя большие данные, гоночные команды пытаются заранее предсказать время, когда они финишируют в гонке, на основе моделирования с использованием данных, собранных за сезон.

Технология

• По состоянию на 2013 год eBay.com и 40 ПБ , использует два хранилища данных объемом 7,5 петабайт а также кластер Hadoop объемом 40 ПБ для поиска, рекомендаций потребителям и мерчандайзинга.
• Amazon.com ежедневно обрабатывает миллионы серверных операций, а также запросы от более чем полумиллиона сторонних продавцов. Основная технология, обеспечивающая работу Amazon, основана на Linux, и по состоянию на 2005 г. у них были три крупнейшие в мире базы данных Linux емкостью 7,8 ТБ, 18,5 ТБ и 24,7 ТБ.
• Facebook обрабатывает 50 миллиардов фотографий своей пользовательской базы. По состоянию на июнь 2017 г. Facebook достиг 2 миллиардов активных пользователей в месяц .
• По состоянию на август 2012 года Google обрабатывал около 100 миллиардов поисковых запросов в месяц. .

COVID-19

Во время пандемии COVID-19 большие данные использовались как способ минимизировать последствия болезни. Важные применения больших данных включали минимизацию распространения вируса, выявление случаев заболевания и разработку методов лечения.

Правительства использовали большие данные для отслеживания инфицированных людей, чтобы минимизировать распространение. Среди первых последователей были Китай, Тайвань, Южная Корея и Израиль.

Исследовательская деятельность

Зашифрованный поиск и формирование кластеров в больших данных были продемонстрированы в марте 2014 года в Американском обществе инженерного образования. Гаутам Сивах участвовал в проекте «Решение проблем больших данных» Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института , а Амир Эсмаилпур из Исследовательской группы UNH исследовали ключевые особенности больших данных, такие как формирование кластеров и их взаимосвязей. Они сосредоточились на безопасности больших данных и ориентации этого термина на наличие различных типов данных в зашифрованной форме в облачном интерфейсе, предоставив необработанные определения и примеры в реальном времени в рамках технологии. Более того, они предложили подход к определению метода кодирования для продвижения к ускоренному поиску по зашифрованному тексту, что приведет к повышению безопасности больших данных.

В марте 2012 года Белый дом объявил о национальной «Инициативе по большим данным», в которую входят шесть федеральных департаментов и агентств, выделивших более 200 миллионов долларов на проекты исследования больших данных.

Инициатива включала грант Национального научного фонда «Экспедиции в области вычислений» в размере 10 миллионов долларов США на пять лет для AMPLab. в Калифорнийском университете в Беркли. AMPLab также получила средства от DARPA и более десятка промышленных спонсоров и использует большие данные для решения широкого спектра проблем, включая прогнозирование пробок на дорогах. для борьбы с раком.

Инициатива Белого дома по большим данным также включала обязательство Министерства энергетики предоставить 25 миллионов долларов США в течение пяти лет для создания Института управления масштабируемыми данными, анализа и визуализации (SDAV). Министерства энергетики под руководством Национальной лаборатории Лоуренса Беркли . Институт SDAV стремится объединить опыт шести национальных лабораторий и семи университетов для разработки новых инструментов, которые помогут ученым управлять данными и визуализировать их на суперкомпьютерах департамента.

В мае 2012 года американский штат Массачусетс объявил об Массачусетской инициативе по работе с большими данными, которая обеспечивает финансирование со стороны правительства штата и частных компаний различным исследовательским учреждениям. В Массачусетском технологическом институте находится Научно-технологический центр Intel для больших данных в Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института , который объединяет государственное, корпоративное и институциональное финансирование и исследовательские усилия.

Европейская комиссия финансирует двухлетний государственно-частный форум по большим данным в рамках своей Седьмой рамочной программы, чтобы привлечь компании, ученых и другие заинтересованные стороны к обсуждению проблем больших данных. Целью проекта является определение стратегии в области исследований и инноваций, которая будет служить руководством для поддержки действий Европейской комиссии по успешному внедрению экономики больших данных. Результаты этого проекта будут использованы в качестве исходных данных для Horizon 2020 , их следующей рамочной программы .

В марте 2014 года британское правительство объявило об основании Института Алана Тьюринга , названного в честь пионера компьютеров и взломщика кодов, который сосредоточится на новых способах сбора и анализа больших наборов данных.

На Дне вдохновения канадского опыта открытых данных (CODE) в кампусе Университета Ватерлоо в Стратфорде участники продемонстрировали, как использование визуализации данных может повысить понимание и привлекательность наборов больших данных, а также донести их историю до мира.

Вычислительные социальные науки . Любой может использовать интерфейсы прикладного программирования (API), предоставляемые держателями больших данных, такими как Google и Twitter, для проведения исследований в области социальных и поведенческих наук. Часто эти API предоставляются бесплатно. Тобиас Прейс и др. использовали данные Google Trends, чтобы продемонстрировать, что пользователи Интернета из стран с более высоким валовым внутренним продуктом (ВВП) на душу населения с большей вероятностью будут искать информацию о будущем, чем информацию о прошлом. Результаты показывают, что может существовать связь между поведением в Интернете и реальными экономическими показателями. Авторы исследования изучили журналы запросов Google, составленные по соотношению объема поисков за предстоящий год (2011 г.) к объему поисков за предыдущий год (2009 г.), который они называют « индексом ориентации на будущее ». Они сравнили индекс ориентации на будущее с ВВП на душу населения в каждой стране и обнаружили сильную тенденцию в странах, где пользователи Google больше интересуются будущим, иметь более высокий ВВП.

Тобиас Прейс и его коллеги Хелен Сюзанна Моат и Х. Юджин Стэнли представили метод определения онлайн-предвестников движений фондового рынка, используя торговые стратегии, основанные на данных об объеме поиска, предоставленных Google Trends. Их анализ объема поиска в Google по 98 терминам различной финансовой значимости, опубликованный в журнале Scientific Reports , предполагает, что увеличение объема поиска по финансово значимым поисковым запросам, как правило, предшествует крупным потерям на финансовых рынках.

Большие наборы данных сопряжены с алгоритмическими проблемами, которых раньше не существовало. Следовательно, некоторые считают, что необходимо фундаментально изменить способы обработки.

Выборка больших данных

Исследовательский вопрос, который задают в отношении больших наборов данных, заключается в том, необходимо ли рассматривать полные данные, чтобы сделать определенные выводы о свойствах данных, или достаточно хороша выборка. Само название «большие данные» содержит термин, связанный с размером, и это важная характеристика больших данных. Но выборка позволяет выбрать правильные точки данных из большего набора данных для оценки характеристик всей совокупности. При производстве различные типы сенсорных данных, таких как акустика, вибрация, давление, ток, напряжение и данные контроллера, доступны через короткие промежутки времени. Чтобы спрогнозировать время простоя, возможно, нет необходимости просматривать все данные, но выборки может быть достаточно. Большие данные можно разбить по различным категориям данных, таким как демографические, психографические, поведенческие и транзакционные данные. Имея большие наборы данных, маркетологи могут создавать и использовать более индивидуальные сегменты потребителей для более стратегического таргетинга.

Критика

Критика парадигмы больших данных бывает двух видов: та, которая ставит под сомнение последствия самого подхода, и та, которая ставит под сомнение то, как это делается в настоящее время. Одним из подходов к этой критике является изучение критических данных .

Критика парадигмы больших данных

«Основная проблема заключается в том, что мы мало что знаем о лежащих в основе эмпирических микропроцессах, которые приводят к появлению типичных сетевых характеристик больших данных». В своей критике Снейдерс, Мацат и Рейпс отмечают, что часто в отношении математических свойств делаются очень сильные предположения, которые могут вообще не отражать то, что на самом деле происходит на уровне микропроцессов. Марк Грэм подверг резкой критике утверждение Криса Андерсона о том, что большие данные означают конец теории: уделяя особое внимание идее о том, что большие данные всегда должны быть контекстуализированы в социальном, экономическом и политическом контекстах. Даже несмотря на то, что компании инвестируют восьмизначные и девятизначные суммы, чтобы получить представление о потоке информации от поставщиков и клиентов, менее 40% сотрудников обладают достаточно зрелыми процессами и навыками для этого. Согласно статье в Harvard Business Review , чтобы преодолеть этот дефицит понимания, большие данные, независимо от того, насколько они полны или хорошо проанализированы, должны быть дополнены «большим суждением».

Во многом в том же духе было отмечено, что решения, основанные на анализе больших данных, неизбежно «информируются миром, каким он был в прошлом или, в лучшем случае, таким, какой он есть в настоящее время». Основываясь на большом количестве данных о прошлом опыте, алгоритмы могут предсказывать будущее развитие, если будущее похоже на прошлое. Если динамика будущего системы изменится (если это не стационарный процесс ), прошлое мало что может сказать о будущем. Чтобы делать прогнозы в изменяющихся условиях, необходимо иметь глубокое понимание динамики систем, что требует теории. В ответ на эту критику Алемани Оливер и Вэйр предлагают использовать «абдуктивные рассуждения в качестве первого шага в исследовательском процессе, чтобы привнести контекст в цифровые следы потребителей и вызвать появление новых теорий». Кроме того, было предложено объединить подходы, основанные на больших данных, с компьютерным моделированием, например, с агентными моделями. и сложные системы . Агентные модели становятся все лучше в прогнозировании результатов социальных сложностей даже неизвестных сценариев будущего с помощью компьютерного моделирования, основанного на наборе взаимозависимых алгоритмов. Наконец, использование многомерных методов, которые исследуют скрытую структуру данных, таких как факторный анализ и кластерный анализ , оказалось полезным в качестве аналитических подходов, которые выходят далеко за рамки двумерных подходов (например, таблиц непредвиденных обстоятельств ), обычно используемых с меньшими данными. наборы.

В здравоохранении и биологии традиционные научные подходы основаны на экспериментах. Для этих подходов ограничивающим фактором являются соответствующие данные, которые могут подтвердить или опровергнуть первоначальную гипотезу. Сейчас в биологических науках принят новый постулат: информация, предоставляемая огромными объемами данных ( омики ) без предварительной гипотезы, дополняет, а иногда и необходима традиционным подходам, основанным на экспериментировании. В массовых подходах ограничивающим фактором является формулировка соответствующей гипотезы для объяснения данных. пределы индукции («Скандал о славе науки и философии», CD Broad , 1926). Логика поиска перевернута, и необходимо учитывать

Защитники конфиденциальности обеспокоены угрозой конфиденциальности, которую представляет увеличение объема хранения и интеграции личной информации ; Экспертные группы выпустили различные политические рекомендации, чтобы привести практику в соответствие с ожиданиями конфиденциальности. Неправомерное использование больших данных в ряде случаев средствами массовой информации, компаниями и даже правительством позволило ликвидировать доверие почти ко всем фундаментальным институтам, поддерживающим общество.

Барокас и Ниссенбаум утверждают, что одним из способов защиты отдельных пользователей является информирование о типах собираемой информации, о том, кому она передается, при каких ограничениях и для каких целей.

Критика модели «V»

Модель больших данных «V» вызывает беспокойство, поскольку она сосредоточена на вычислительной масштабируемости и лишена потерь в восприятии и понятности информации. Это привело к созданию концепции когнитивных больших данных , которая характеризует приложения больших данных в соответствии с:

• Полнота данных: понимание неочевидного из данных
• Корреляция данных, причинно-следственная связь и предсказуемость: причинность как необязательное требование для достижения предсказуемости
• Объяснимость и интерпретируемость: люди желают понять и принять то, что они понимают, тогда как алгоритмы с этим не справляются.
• Уровень автоматизированного принятия решений : алгоритмы, поддерживающие автоматизированное принятие решений и алгоритмическое самообучение.

Критика новизны

Большие наборы данных анализировались компьютерными машинами уже более ста лет, включая анализ переписи населения США, выполняемый . перфокарточными машинами IBM, которые вычисляли статистику, включая средние значения и отклонения населения по всему континенту В последние десятилетия научные эксперименты, такие как ЦЕРН, позволили получить данные такого же масштаба, что и нынешние коммерческие «большие данные». Однако в научных экспериментах данные, как правило, анализируются с использованием специализированных высокопроизводительных вычислительных (суперкомпьютерных) кластеров и сетей, а не облаков дешевых компьютеров, как в нынешней коммерческой волне, что подразумевает разницу как в культуре, так и в технологиях. куча.

Критика исполнения больших данных

Ульф-Дитрих Рейпс и Уве Мацат написали в 2014 году, что большие данные стали «причудой» в научных исследованиях. Исследователь Дана Бойд выразила обеспокоенность по поводу использования больших данных в науке, пренебрегая такими принципами, как выбор репрезентативной выборки , из-за чрезмерной озабоченности обработкой огромных объемов данных. Такой подход может привести к результатам, которые в той или иной степени имеют предвзятость . Интеграция разнородных ресурсов данных (некоторые из которых можно считать большими данными, а другие нет) представляет собой огромные логистические и аналитические проблемы, но многие исследователи утверждают, что такая интеграция, вероятно, представляет собой наиболее многообещающие новые рубежи в науке. В провокационной статье «Критические вопросы для больших данных» авторы называют большие данные частью мифологии : «большие наборы данных предлагают более высокую форму интеллекта и знаний [...] с аурой правды, объективности и точности». Пользователи больших данных часто «теряются в огромном количестве цифр», а «работа с большими данными по-прежнему носит субъективный характер, и то, что они определяют количественно, не обязательно имеет больше претензий на объективную истину». Последние разработки в области бизнес-аналитики, такие как упреждающая отчетность, в первую очередь направлены на повышение удобства использования больших данных за счет автоматической фильтрации бесполезных данных и корреляций . Большие структуры полны ложных корреляций либо из-за непричинных совпадений ( закон действительно больших чисел ), исключительно из-за природы большой случайности ( теория Рэмси ), или существование неучтенных факторов , поэтому надежда первых экспериментаторов заставить большие базы данных чисел «говорить сами за себя» и совершить революцию в научном методе подвергается сомнению. Кэтрин Такер указала на «ажиотаж» вокруг больших данных, написав: «Само по себе большие данные вряд ли будут иметь ценность». В статье поясняется: «Множество случаев, когда данные стоят дешево по сравнению с затратами на удержание специалистов для их обработки, позволяют предположить, что навыки обработки более важны, чем сами данные, в создании ценности для фирмы».

Анализ больших данных часто оказывается поверхностным по сравнению с анализом небольших наборов данных. Во многих проектах по работе с большими данными анализ больших данных не проводится, но проблема заключается в извлечении, преобразовании и загрузке части предварительной обработки данных.

Большие данные — это модное словечко и «расплывчатый термин». но в то же время "одержимость" с предпринимателями, консультантами, учеными и средствами массовой информации. Витрины больших данных, такие как Google Flu Trends, в последние годы не смогли дать хороших прогнозов, завысив количество вспышек гриппа в два раза. Точно так же награды Академии и прогнозы выборов, основанные исключительно на Твиттере, чаще оказывались неправильными, чем точными.Большие данные часто создают те же проблемы, что и малые данные; добавление дополнительных данных не решает проблемы предвзятости, но может подчеркнуть другие проблемы. В частности, такие источники данных, как Twitter, не являются репрезентативными для населения в целом, и результаты, полученные из таких источников, могут привести к неверным выводам. Google Translate , основанный на статистическом анализе текста на основе больших данных, хорошо справляется с переводом веб-страниц. Однако результаты из специализированных областей могут быть существенно искажены.С другой стороны, большие данные могут также создать новые проблемы, такие как проблема множественных сравнений : одновременная проверка большого набора гипотез может привести к множеству ложных результатов, которые ошибочно кажутся значимыми.Иоаннидис заявил, что «большинство опубликованных результатов исследований ложны». по сути, из-за одного и того же эффекта: когда каждая из множества научных групп и исследователей проводит много экспериментов (т.е. обрабатывает большой объем научных данных; хотя и не с помощью технологии больших данных), вероятность того, что «значимый» результат окажется ложным, быстро растет — даже больше так, когда публикуются только положительные результаты.Более того, результаты анализа больших данных хороши настолько, насколько хороша модель, на которой они основаны. Например, большие данные использовались при попытке предсказать результаты президентских выборов в США в 2016 году. с разной степенью успеха.

Критика полицейской деятельности и наблюдения за большими данными

Большие данные используются в полиции и наблюдении такими учреждениями, как правоохранительные органы и корпорации . Из-за менее заметного характера наблюдения на основе данных по сравнению с традиционными методами полицейской деятельности, возражения против работы полиции с использованием больших данных возникают с меньшей вероятностью. Согласно книге Сары Брейн «Наблюдение за большими данными: случай работы полиции» , Работа полиции с большими данными может воспроизводить существующее социальное неравенство тремя способами:

• Помещение людей под усиленное наблюдение с использованием математического и, следовательно, беспристрастного алгоритма.
• Увеличение охвата и числа людей, которые подлежат отслеживанию со стороны правоохранительных органов, и усугубление существующей расовой чрезмерной представленности в системе уголовного правосудия.
• Поощрение членов общества отказаться от взаимодействия с учреждениями, которые могут создать цифровой след, создавая тем самым препятствия для социальной интеграции.

Если эти потенциальные проблемы не будут исправлены или урегулированы, последствия контроля за большими данными могут продолжать формировать социальные иерархии. Сознательное использование больших данных может предотвратить превращение предубеждений на индивидуальном уровне в институциональные предубеждения, отмечает Брейн.

См. также

Список компаний и инструментов см. также: Категория: Большие данные.

• Этика больших данных - Этика анализа массовых данных
• Модель зрелости больших данных - аспект информатики
• Большая память – большой объем оперативной памяти.
• Курирование данных — работа, выполняемая для обеспечения значимого и постоянного доступа к страницам данных, отображающим описания викиданных в качестве запасного варианта.
• Хранилище, определяемое данными . Маркетинговый термин, обозначающий управление данными путем объединения уровней приложений, информации и хранения.
• Инженерия данных - подход к разработке программного обеспечения к проектированию и разработке информационных систем.
• Происхождение данных – происхождение и события данных
• Данные филантропии – Аспект культуры
• Наука о данных - область исследования, направленная на извлечение информации из данных.
• Датафикация – технологический тренд
• Документоориентированная база данных - Тип компьютерной программы.
• Список компаний, занимающихся большими данными
• Очень большая база данных — база данных, содержащая очень большой объем данных.
• XLDB - серия ежегодных конференций по базам данных, управлению данными и аналитике. Страницы, отображающие описания викиданных в качестве запасного варианта.

Библиография

• Хилберт, М. (2016), «Большие данные для развития: обзор обещаний и проблем», Обзор политики развития , 34 (1): 135–74, doi : 10.1111/dpr.12142 ; свободный доступ , Архивировано 21 апреля 2021 г. на Wayback Machine.
• Снейдерс, К.; Мацат, У.; Рейпс, У.-Д. (2012). « Большие данные: большие пробелы в знаниях в области Интернета» . Международный журнал интернет-науки . 7 : 1–5. Архивировано из оригинала 23 ноября 2019 года . Проверено 13 апреля 2013 г.
• Янасэ, Дж; Триантафиллу, Э (2019). «Систематический обзор компьютерной диагностики в медицине: прошлые и настоящие разработки». Экспертные системы с приложениями . 138 : 112821. doi : 10.1016/j.eswa.2019.112821 . S2CID   199019309 .

Дальнейшее чтение

• Питер Киннэрд; Инбал Талгам-Коэн, ред. (2012). «Большие данные» . XRDS: Crossroads, Журнал ACM для студентов . Том. 19, нет. 1. Ассоциация вычислительной техники . ISSN   1528-4980 . OCLC   779657714 .
• Юре Лесковец ; Ананд Раджараман ; Джеффри Д. Уллман (2014). Интеллектуальный анализ огромных наборов данных . Издательство Кембриджского университета. ISBN  978-1-10707723-2 . OCLC   888463433 .
• Виктор Майер-Шенбергер ; Кеннет Кукиер (2013). Большие данные: революция, которая изменит то, как мы живем, работаем и думаем . Хоутон Миффлин Харкорт. ISBN  978-1-29990302-9 . OCLC   828620988 .
• Пресс, Гил (9 мая 2013 г.). «Очень краткая история больших данных» . Forbes.com . Джерси-Сити, Нью-Джерси . Проверено 17 сентября 2016 г.
• Стивенс-Давидовиц, Сет (2017). Все лгут: большие данные, новые данные и что Интернет может рассказать нам о том, кто мы на самом деле . Книги Дей-Стрит. ISBN  978-0-06239085-1 .
• «Большие данные: революция в управлении» . Гарвардское деловое обозрение . Октябрь 2012.
• О'Нил, Кэти (2017). Оружие математического разрушения: как большие данные увеличивают неравенство и угрожают демократии . Бродвейские книги. ISBN  978-0-55341883-5 .

Внешние ссылки

• СМИ, связанные с большими данными, на Викискладе?
• Словарное определение больших данных в Викисловаре