Data-ориентированные вычисления
 | Судя по всему, основной автор этой статьи тесно связан с ее предметом. ( Июль 2022 г. ) |
Вычисления, ориентированные на данные, — это новая концепция, имеющая отношение к информационной архитектуре и проектированию центров обработки данных . Он описывает информационную систему, в которой данные хранятся независимо от приложений, которую можно модернизировать без дорогостоящей и сложной миграции данных. Это радикальный сдвиг в информационных системах, который потребуется для удовлетворения потребностей организаций в хранении, извлечении, перемещении и обработке экспоненциально растущих наборов данных. [1]
Фон
[ редактировать ]Традиционные архитектуры информационных систем основаны на подходе, ориентированном на приложения. Традиционно приложения устанавливались, оставались относительно статичными, нечасто обновлялись и использовали фиксированный набор вычислительных, хранилищных и сетевых элементов для обработки относительно небольшого набора структурированных данных. [2]
Этот подход хорошо работал на протяжении десятилетий, но за последнее десятилетие рост данных, особенно неструктурированных данных, оказал новое давление на организации, информационные архитектуры и инфраструктуру центров обработки данных. 90% новых данных неструктурированы, и, согласно отчету за 2018 год, 59% организаций управляют более чем 10 миллиардами файлов и объектов. [3] распределены по большому количеству серверов и узлов хранения. Организации изо всех сил пытаются справиться с экспоненциальным ростом объемов данных, одновременно ища более эффективные подходы к извлечению информации из этих данных с помощью таких сервисов, как аналитика больших данных и машинное обучение . Однако существующие архитектуры не созданы для удовлетворения требований к обслуживанию в петабайтном масштабе и выше без значительных ограничений производительности. [4]
Традиционные архитектуры не могут полностью хранить, извлекать, перемещать и использовать эти данные из-за ограничений аппаратной инфраструктуры, а также проектирования, разработки и управления ориентированных на приложения систем. [5]
Рабочие нагрузки, ориентированные на данные
Существуют две проблемы, на решение которых направлены вычисления, ориентированные на данные.
- Организациям необходимо использовать все доступные данные, но традиционные приложения недостаточно гибки и гибки. Новые сдвиги в сторону постоянных инноваций в сфере услуг, поддерживаемые новыми подходами к предоставлению услуг (включая микросервисы и контейнеры), открывают новые возможности, которые отходят от традиционного мышления, ориентированного на приложения.
- Существующие ограничения на оборудование центров обработки данных также ограничивают полное перемещение, управление и использование наборов неструктурированных данных. Обычные процессоры снижают производительность, поскольку не обладают специализированными возможностями, необходимыми для хранения, работы в сети и анализа. [6] Медленная работа хранилища, включая жесткие диски и твердотельные диски SAS/SATA по сети, может снизить производительность и ограничить доступность данных. [7] Требуются новые аппаратные возможности.
Data-ориентированные вычисления
Вычисления, ориентированные на данные, — это подход, объединяющий инновационное аппаратное и программное обеспечение, позволяющий рассматривать данные, а не приложения, как постоянный источник ценности. [8] Вычисления, ориентированные на данные, направлены на переосмысление как аппаратного, так и программного обеспечения, чтобы извлечь как можно больше пользы из существующих и новых источников данных. Это повышает гибкость, отдавая приоритет передаче и вычислению данных, а не статической производительности и устойчивости приложений.
Аппаратное и программное обеспечение, ориентированное на обработку данных
Для достижения целей вычислений, ориентированных на данные, аппаратная инфраструктура центров обработки данных будет развиваться с учетом огромных масштабов, быстрого роста, потребности в очень высокопроизводительном перемещении данных и требований к обширным вычислениям.
- Распределенные аппаратные инфраструктуры становятся нормой, при этом данные и сервисы распределяются по множеству вычислительных узлов и узлов хранения, как в общедоступных облаках, так и локально.
- уплощения закона Мура Из- за [9] Появляются новые процессоры, повышающие производительность, снижающие нагрузку на ЦП за счет выполнения интенсивных задач, включая перемещение данных, защиту и безопасность данных. [10]
- Новые технологии, такие как диски NVMe и сетевые технологии, такие как NVMeoF, станут стандартными компонентами вычислительных архитектур, ориентированных на данные. [11]
Что касается программного обеспечения, то вычисления, ориентированные на данные, ускоряют исчезновение традиционных статических приложений. [12] Приложения становятся недолговечными, их постоянно добавляют, обновляют или удаляют по мере появления и исчезновения алгоритмов . Программное обеспечение переработано для проведения анализа всех доступных данных, а не их подмножеств. Микросервисы обрабатывают данные, проводят вычисления и выражают результаты своих процессов со скоростью, превосходящей обычные подходы.
Ссылки
[ редактировать ]- ^ «Информационно-центрическая революция» . TDAN.com . Сентябрь 2015 года . Проверено 7 декабря 2019 г.
- ^ Бхагешпур, Киран (06 октября 2016 г.). «Появление датацентрических вычислений» . Следующая платформа . Проверено 7 декабря 2019 г.
- ^ Бхагешпур, Киран. «Состояние управления неструктурированными данными в 2018 году» (PDF) . Магматический . Архивировано из оригинала (PDF) 18 июля 2020 г. Проверено 7 декабря 2019 г.
- ^ «Требования к неструктурированным данным петабайтного масштаба» . StorageSwiss.com — дом хранения данных в Швейцарии . 14 октября 2019 г. Проверено 7 декабря 2019 г.
- ^ Джордж С. Дэвидсон, Кевин В. Бояк, Рон А. Захарски, Стивен К. Хельмрайх и Джим Р. Коуи (апрель 2006 г.). «Даноцентрические вычисления с архитектурой Netezza» (PDF) . Sandia.gov . Проверено 7 декабря 2019 г.
{{cite web}}: CS1 maint: несколько имен: список авторов ( ссылка ) - ^ Почему нам нужны открытые дата-центрические вычислительные архитектуры , получено 7 декабря 2019 г.
- ^ Штаты, Остин, Техас Юнайтед (10 ноября 2016 г.). «Сеть — новое узкое место в системе хранения данных» . Датанами . Проверено 7 декабря 2019 г.
- ^ «Манифест дата-центричности» . datacentricmanifesto.org . Проверено 7 декабря 2019 г.
- ^ Симонит, Том. «Основы инноваций в компьютерной индустрии рушатся. Что может заменить их?» . Обзор технологий Массачусетского технологического института . Проверено 7 декабря 2019 г.
- ^ «DPU: Программируемый процессор блока обработки данных» . Взаимозаменяемый . Архивировано из оригинала 5 августа 2020 г. Проверено 7 декабря 2019 г.
- ^ Киран, Майк (21 марта 2019 г.). «Когда вы реализуете NVMe поверх фабрик, фабрика действительно имеет значение» . Блог NetApp . Проверено 7 декабря 2019 г.
- ^ «Импульс микросервисов ускоряется» . DevOps.com . 10 мая 2018 г. Проверено 7 декабря 2019 г.