Сетка данных
 | В этой статье есть несколько проблем. Пожалуйста, помогите улучшить его или обсудите эти проблемы на странице обсуждения . ( Узнайте, как и когда удалять эти шаблонные сообщения )
|
Сетка данных — это социотехнический подход к построению децентрализованной архитектуры данных путем использования предметно-ориентированного самообслуживающегося дизайна (с точки зрения разработки программного обеспечения), который заимствует теорию Эрика Эванса о проектировании, ориентированном на предметную область. [1] и теория командных топологий Мануэля Паиса и Мэтью Скелтона. [2] Сетка данных в основном касается самих данных, а озеро данных и конвейеры являются второстепенной задачей. [3] Основное предложение — масштабирование аналитических данных за счет предметно-ориентированной децентрализации. [4] При использовании сетки данных ответственность за аналитические данные переносится с центральной группы данных на группы предметной области, поддерживаемые командой платформы данных , которая обеспечивает платформу данных, независимую от предметной области. [5] Это позволяет уменьшить беспорядочность данных или существование изолированных хранилищ данных благодаря наличию централизованной системы, которая обеспечивает согласованное использование фундаментальных принципов между различными узлами в ячейке данных и позволяет совместно использовать данные в разных областях. [6]
История [ править ]
Термин «сетка данных» был впервые определен Жамаком Дегани в 2019 году. [7] когда она работала главным консультантом в технологической компании Thoughtworks . [8] [9] Дегани представил этот термин в 2019 году, а затем более подробно рассказал о его принципах и логической архитектуре на протяжении 2020 года. Прогнозировалось, что этот процесс станет «большим претендентом» для компаний в 2022 году. [10] [11] Сети данных были реализованы такими компаниями, как Zalando , [12] Нетфликс , [13] Интуиция , [14] ВистаПринт , PayPal [15] и другие.
В 2022 году Дегани покинул Thoughtworks и основал Nextdata Technologies, чтобы сосредоточиться на децентрализованных данных. [16]
Принципы [ править ]
Сетка данных основана на четырех основных принципах: [17]
- Владение доменом
- Данные как продукт [18]
- самообслуживания Платформа данных
- Федеративное вычислительное управление
В дополнение к этим принципам Дегани пишет, что продукты данных, созданные каждой командой предметной области, должны быть обнаруживаемыми, адресуемыми, заслуживающими доверия, обладать самоописываемой семантикой и синтаксисом, быть совместимыми, безопасными и регулироваться глобальными стандартами и контролем доступа. [19] Другими словами, к данным следует относиться как к готовому к использованию и надежному продукту. [20]
На практике [ править ]
После введения в 2019 г. [7] несколько компаний начали внедрять сетку данных [12] [14] [15] и поделиться своим опытом. Проблемы (C) и лучшие практики (BP) для практиков включают:
- С1. Управление федеративными данными
- Компании сообщают о трудностях с внедрением федеративной структуры управления для деятельности и процессов, которые ранее находились в централизованном владении и обеспечении соблюдения. Это особенно актуально для вопросов безопасности, конфиденциальности и регулирования. [21] [22] [23]
- С2. Смена ответственности
- В сетке данных отдельные лица в доменах несут полную ответственность за продукты данных. Эта новая ответственность может оказаться сложной, поскольку она редко компенсируется и обычно приносит пользу другим областям. [21] [22]
- С3. Понимание
- Исследования показали серьезное непонимание парадигмы сетки данных среди сотрудников компаний, реализующих сетку данных. [21]
- БП1. Междоменный блок
- Что касается C1, организациям следует создать междоменное управляющее подразделение, отвечающее за стратегическое планирование, определение приоритетов вариантов использования и соблюдение конкретных правил управления, особенно в отношении вопросов безопасности, регулирования и конфиденциальности. Тем не менее, блок междоменного управления может лишь дополнять и поддерживать структуру федеративного управления и может устареть по мере роста зрелости сети данных. [21] [24]
- БП2. Отслеживайте и наблюдайте
- Обращаясь к C2., организации должны наблюдать и оценивать качество продуктов данных, поскольку отслеживание и ранжирование ключевых продуктов данных может стимулировать высококачественные предложения, мотивировать владельцев доменов и поддерживать переговоры по бюджету. [21]
- БП3. Сознательное усыновление
- Организации должны тщательно оценить свои существующие системы данных, рассмотреть организационные факторы и взвесить потенциальные выгоды, прежде чем внедрять сетку данных. При внедрении сетки данных рекомендуется осторожно и сознательно вводить терминологию сетки данных, чтобы обеспечить четкое понимание концепции (C3). [21]
Сообщество [ править ]
Скотт Хирлеман основал сообщество Data Mesh, в котором на его канале Slack насчитывается более 7500 человек. [25]
См. также [ править ]
- Управление данными
- Платформа данных
- Моделирование хранилища данных , метод моделирования данных с хранением данных из различных операционных систем и отслеживанием происхождения данных, упрощение аудита, скорость загрузки и устойчивость.
- Хранилище данных — хорошо зарекомендовавший себя тип системы баз данных для тематической организации данных.
- ЭТЛ и ЭЛТ
Ссылки [ править ]
- ^ Эванс, Эрик (2004). Проектирование, ориентированное на предметную область: решение проблем, лежащих в основе программного обеспечения . Бостон: Аддисон-Уэсли. ISBN 0-321-12521-5 . OCLC 52134890 .
- ^ Скелтон, Мэтью (2019). Топологии команд: организация бизнес- и технологических команд для быстрого потока . Мануэль Паис. Портленд, Орегон. ISBN 978-1-942788-84-3 . OCLC 1108538721 .
{{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка ) - ^ Мачадо, Инес Араужо; Коста, Карлос; Сантос, Марибель Ясмина (1 января 2022 г.). «Сетка данных: концепции и принципы смены парадигмы в архитектурах данных» . Procedia Информатика . Международная конференция по информационным системам предприятия / ProjMAN - Международная конференция по управлению проектами / HCist - Международная конференция по информационным системам и технологиям здравоохранения и социальной защиты 2021. 196 : 263–271. дои : 10.1016/j.procs.2021.12.013 . hdl : 1822/78127 . ISSN 1877-0509 . S2CID 245864612 .
- ^ «Архитектура сетки данных» . datamesh-architecture.com . Проверено 13 июня 2022 г.
- ^ Дехгани, Жамак (2022). Сетка данных . Севастополь, Калифорния. ISBN 978-1-4920-9236-0 . OCLC 1260236796 .
{{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка ) - ^ Мачадо, Инес Араужо; Коста, Карлос; Сантос, Марибель Ясмина (1 января 2022 г.). «Сетка данных: концепции и принципы смены парадигмы в архитектурах данных» . Procedia Информатика . Международная конференция по информационным системам предприятия / ProjMAN - Международная конференция по управлению проектами / HCist - Международная конференция по информационным системам и технологиям здравоохранения и социальной защиты 2021. 196 : 263–271. дои : 10.1016/j.procs.2021.12.013 . hdl : 1822/78127 . ISSN 1877-0509 .
- ↑ Перейти обратно: Перейти обратно: а б «Как перейти от монолитного озера данных к распределенной сетке данных» . martinfowler.com . Проверено 28 января 2022 г.
- ^ Баер (dbInsight), Тони. «Data Mesh: Стоит ли попробовать это дома?» . ЗДНет . Проверено 10 февраля 2022 г.
- ^ Энди Мотт (12 января 2022 г.). «Ускорение получения аналитических данных с помощью сетки данных» . RTInsights . Проверено 01 марта 2022 г.
- ^ «Разработки, которые будут определять управление данными и операционную безопасность в 2022 году» . Помогите Net Security . 28 декабря 2021 г. Проверено 01 марта 2022 г.
- ^ Бэйн, Энди. «Сообщение совета: куда движется промышленная трансформация в 2022 году?» . Форбс . Проверено 01 марта 2022 г.
- ↑ Перейти обратно: Перейти обратно: а б Шульц, Макс; Видер, Ариф (2021). Сетка данных на практике . ISBN 978-1-09-810849-6 .
- ^ Сетка данных Netflix: составная обработка данных - Джастин Каннингем , получено 29 апреля 2022 г.
- ↑ Перейти обратно: Перейти обратно: а б Бейкер, Тристан (22 февраля 2021 г.). «Стратегия сетки данных Intuit» . Интуитивная инженерия . Проверено 29 апреля 2022 г.
- ↑ Перейти обратно: Перейти обратно: а б «Следующее поколение платформ данных — это Data Mesh» . 03.08.2022 . Проверено 8 февраля 2023 г.
- ^ «Почему мы запустили Nextdata» . 16 января 2022 г. Проверено 8 февраля 2023 г.
- ^ Дехгани, Жамак (2022). Сетка данных . Севастополь, Калифорния. ISBN 978-1-4920-9236-0 . OCLC 1260236796 .
{{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка ) - ^ «Определение сетки данных | Блог Джеймса Серры» . 16 февраля 2021 г. Проверено 28 января 2022 г.
- ^ «Аналитика в 2022 году означает овладение политикой распределенных данных» . Новый стек . 29 декабря 2021 г. Проверено 3 марта 2022 г.
- ^ «Разработки, которые будут определять управление данными и операционную безопасность в 2022 году» . Помогите Net Security . 28 декабря 2021 г. Проверено 01 марта 2022 г.
- ↑ Перейти обратно: Перейти обратно: а б с д и ж Боде, Ян; Круто, Никлас; Кройцбергер, Доминик; Хиршль, Себастьян; Холтманн, Карстен (04 мая 2023 г.). «Сетка данных: мотивационные факторы, проблемы и лучшие практики». arXiv : 2302.01713v2 [ cs.AI ].
- ↑ Перейти обратно: Перейти обратно: а б Вестюс, Кэтрин; Ханссен, Гейр Кьетил; Микалсен, Мариус; Буан, Тор Александр; Конбой, Киран (2022). «Гибкое управление данными в NAV: практический пример». Гибкие процессы в программной инженерии и экстремальном программировании . Конспекты лекций по обработке деловой информации 445 LNBIP. Том. 445. Спрингер. стр. 220–235. дои : 10.1007/978-3-031-08169-9_14 . ISBN 978-3-031-08168-2 .
- ^ Джоши, Дивья; Пратик, Шитал; Рао, Мадху Подила (2021). «Управление данными в ячеистой инфраструктуре данных: пример банка Saxo». Материалы Международной конференции по электронному бизнесу (ICEB) . Том. 21. С. 599–604.
- ^ Уайт, Мартин; Оденкирхен, Андреас; Баутц, Стефан; Херингер, Агнес; Круков, Оливер (2022). «Data Mesh — просто еще одно модное словечко или платформа данных следующего поколения?» . Исследование PwC 2022: Изменение платформ данных .
- ^ «Глобальный дом для сетки данных» . Глобальный дом для Data Mesh . Проверено 24 апреля 2022 г.