Виртуализация данных

Виртуализация данных — это подход к управлению данными, который позволяет приложению извлекать данные и манипулировать ими, не требуя технических подробностей о данных, например, о том, как они форматируются в источнике или где они физически расположены. и может предоставить единое представление для клиента (или единое представление любого другого объекта) общих данных.

В отличие от традиционного процесса извлечения, преобразования и загрузки («ETL»), данные остаются на месте, и исходной системе предоставляется доступ к данным в реальном времени. Это снижает риск ошибок данных, рабочей нагрузки, перемещающей данные, которые никогда не могут быть использованы, и не пытается навязать данным единую модель данных (примером разнородных данных является система объединенных баз данных ). Технология также поддерживает запись обновлений данных транзакций обратно в исходные системы. Чтобы устранить различия в исходных и потребительских форматах и ​​семантике, используются различные методы абстракции и преобразования. Эта концепция и программное обеспечение представляют собой подмножество интеграции данных и обычно используются в бизнес-аналитике , сервис-ориентированной архитектуры службах данных , облачных вычислениях , корпоративном поиске и управлении основными данными .

Применение, преимущества и недостатки

Определяющей особенностью виртуализации данных является то, что используемые данные остаются в исходных местоположениях, а доступ в реальном времени обеспечивается для обеспечения аналитики из нескольких источников. Это помогает решить некоторые технические трудности, такие как проблемы совместимости при объединении данных с разных платформ, снизить риск ошибки, вызванной ошибочными данными, и гарантировать использование новейших данных. Кроме того, отказ от создания новой базы данных, содержащей личную информацию, может облегчить соблюдение правил конфиденциальности. В результате виртуализация данных создает новые возможности для использования данных.

Исходя из этого, реальная ценность виртуализации данных, особенно для пользователей, заключается в ее декларативном подходе. В отличие от традиционных методов интеграции данных, которые требуют указания каждого шага интеграции, этот подход может быть менее подвержен ошибкам и более эффективен. Традиционные методы утомительны, особенно при адаптации к изменяющимся требованиям, требующим внесения изменений в несколько этапов. Виртуализация данных, напротив, позволяет пользователям просто описать желаемый результат. Затем программное обеспечение автоматически генерирует необходимые шаги для достижения этого результата. Если желаемый результат меняется, достаточно обновить описание, и программное обеспечение соответствующим образом корректирует промежуточные этапы. Такая гибкость может ускорить процессы до пяти раз, подчеркивая основное преимущество виртуализации данных.

Однако при виртуализации данных подключение ко всем необходимым источникам данных должно быть работоспособным, поскольку локальная копия данных отсутствует, что является одним из основных недостатков подхода. Проблемы с подключением чаще возникают в сложных системах, где один или несколько важных источников иногда недоступны. Интеллектуальная буферизация данных, например сохранение данных из нескольких последних запросов в буфере системы виртуализации, может помочь решить эту проблему.

Более того, поскольку решения виртуализации данных могут использовать большое количество сетевых подключений для чтения исходных данных и таблиц виртуализации сервера в другие решения по сети, безопасность системы требует большего внимания, чем в случае с традиционными озерами данных. В традиционной системе озера данных данные можно импортировать в озеро, выполнив определенные процедуры в одной среде. При использовании системы виртуализации среда должна отдельно устанавливать безопасные соединения с каждым источником данных, который обычно находится в среде, отличной от самой системы виртуализации.

Безопасность персональных данных и соблюдение правил могут стать серьезной проблемой при внедрении новых услуг или попытке объединить различные источники данных. Когда данные доставляются для анализа, виртуализация данных может помочь решить проблемы, связанные с конфиденциальностью. Виртуализация позволяет объединять персональные данные из разных источников без физического копирования их в другое место, а также ограничивает просмотр всеми другими собранными переменными. Однако виртуализация не устраняет требования подтверждать безопасность и конфиденциальность результатов анализа, прежде чем сделать их более широко доступными. Независимо от выбранного метода интеграции данных, все результаты, основанные на данных личного уровня, должны быть защищены соответствующими требованиями конфиденциальности.

Виртуализация данных и хранилища данных

Некоторые корпоративные среды заполнены разрозненными источниками данных, включая несколько хранилищ данных , витрин данных и/или озер данных , хотя хранилище данных, если оно реализовано правильно, должно быть уникальным и единственным источником достоверной информации . Виртуализация данных может эффективно связывать данные между хранилищами данных, витринами данных и озерами данных без необходимости создания совершенно новой интегрированной физической платформы данных. Существующая инфраструктура данных может продолжать выполнять свои основные функции, в то время как уровень виртуализации данных просто использует данные из этих источников. Этот аспект виртуализации данных делает ее дополняющей все существующие источники данных и повышает доступность и использование корпоративных данных.

Виртуализацию данных также можно рассматривать как альтернативу ETL и хранилищам данных, но из соображений производительности ее не рекомендуется использовать для очень больших хранилищ данных. Виртуализация данных по своей сути направлена ​​на быстрое и своевременное получение аналитической информации из нескольких источников без необходимости запуска крупного проекта обработки данных с обширным ETL и хранилищем данных. Однако виртуализация данных может быть расширена и адаптирована для удовлетворения потребностей в хранении данных. Это потребует понимания требований к хранению и истории данных, а также планирования и проектирования для включения правильного типа стратегий виртуализации, интеграции и хранения данных, а также оптимизации инфраструктуры/производительности (например, потоковая передача, хранение в памяти, гибридное хранилище).

Примеры

• The Phone House — торговое название европейского подразделения британской сети розничной торговли мобильными телефонами Carphone Warehouse — внедрила технологию виртуализации данных Denodo между транзакционными системами своей испанской дочерней компании и веб-системами мобильных операторов.
• Novartis внедрила инструмент виртуализации данных TIBCO , чтобы дать возможность исследователям быстро объединять данные из внутренних и внешних источников в виртуальное хранилище данных с возможностью поиска.
• Независимая от системы хранения Primary Data (несуществующая, переименованная в Hammerspace) представляла собой платформу виртуализации данных, которая позволяла приложениям, серверам и клиентам получать прозрачный доступ к данным во время их миграции между напрямую подключенными, сетевыми, частными и общедоступными облачными хранилищами.
• Связанные данные могут использовать одно имя источника данных ( DSN ) на основе гиперссылки для обеспечения подключения к уровню виртуальной базы данных, который внутренне подключен к различным внутренним источникам данных с использованием ODBC , JDBC , OLE DB , ADO.NET , SOA. сервисы в стиле и/или шаблоны REST .
• Виртуализация базы данных может использовать один DSN на базе ODBC для обеспечения подключения к аналогичному уровню виртуальной базы данных.
• Alluxio , виртуальная распределенная файловая система с открытым исходным кодом (VDFS), была запущена в Калифорнийского университета в Беркли AMPLab . Система абстрагирует данные из различных файловых систем и хранилищ объектов.

Функциональность

Программное обеспечение виртуализации данных предоставляет некоторые или все из следующих возможностей:

• Абстракция. Абстрагируйте технические аспекты хранимых данных, такие как местоположение, структура хранения, API, язык доступа и технология хранения.
• Виртуализированный доступ к данным. Подключайтесь к различным источникам данных и делайте их доступными из общей логической точки доступа к данным.
• Преобразование данных . Преобразование, улучшение качества, переформатирование, агрегирование и т. д. исходных данных для использования потребителями.
• Объединение данных . Объедините наборы результатов из нескольких исходных систем.
• Доставка данных. Публикуйте наборы результатов в виде представлений и/или служб данных, выполняемых клиентским приложением или пользователями по запросу.

Программное обеспечение для виртуализации данных может включать в себя функции разработки, эксплуатации и/или управления.

Механизм метаданных собирает, хранит и анализирует информацию о данных и метаданных (данные о данных), используемых в домене.

Преимущества включают в себя:

• Снижение риска ошибок данных
• Снизьте рабочую нагрузку на системы, не перемещая данные.
• Увеличение скорости доступа к данным в режиме реального времени
• Позволяет обрабатывать запросы, передаваемые в источник данных, а не на средний уровень.
• Большинство систем позволяют конечным пользователям, имеющим доступ к исходным системам, самостоятельно создавать виртуальные базы данных.
• Улучшить управление и снизить риски за счет использования политик
• Уменьшите требуемое хранилище данных
• Ускорьте процессы до пяти раз за счет декларативного подхода

К недостаткам относятся:

• Может повлиять на время отклика операционных систем, особенно если оно недостаточно масштабировано для обработки непредвиденных запросов пользователей или не настроено на ранней стадии.
• Не навязывает гетерогенную модель данных, что означает, что пользователь должен интерпретировать данные, если только это не сочетается с объединением данных и бизнес-пониманием данных.
• Требуется определенный подход к управлению, чтобы избежать проблем с бюджетированием общих служб.
• Не подходит для записи исторических снимков данных. Хранилище данных лучше для этого подходит
• Управление изменениями «является огромными накладными расходами, поскольку любые изменения должны быть приняты всеми приложениями и пользователями, использующими один и тот же комплект виртуализации».
• Дизайнеры всегда должны учитывать соображения производительности.

Избегайте использования:

• Для доступа к системам операционных данных (проблемы с производительностью и операционной целостностью)
• Для объединения или централизации всех данных организации (вопросы безопасности и взлома)
• Для создания очень большого виртуального хранилища данных (проблемы с производительностью)
• Как процесс ETL (вопросы управления и производительности)
• Если у вас есть только один или два источника данных для виртуализации

История

Интеграция корпоративной информации (EII) (впервые придуманная Metamatrix), теперь известная как виртуализация данных Red Hat JBoss, и федеративные системы баз данных — это термины, используемые некоторыми поставщиками для описания основного элемента виртуализации данных: возможности создавать реляционные соединения в федеративной среде. ВИД.

Технология

Некоторые решения и поставщики виртуализации данных:

• Виртуализация данных IBM
• Виртуализация данных Actifio Copy
• Капсента Ультраобертка, приобретено data.world в 2019 г.
• Виртуальность данных
• Датаворкс
• Платформа виртуализации данных Delphix
• Платформа виртуализации данных и фабрики данных Denodo
• Платформа данных Microsoft Gluent
• Керона
• Red Hat JBoss Виртуализация данных платформы корпоративных приложений (снято с производства)
• Платформа виртуализации данных Stone Bond Technologies Enterprise Enabler
• Генеративная фабрика данных Stratio AI
• Teeid , часть студии разработчиков JBoss
• TIBCO Виртуализация данных
• Файловая система обеспечения Veritas / Виртуализация данных Veritas Technologies
• Торопиться

Еще один, более актуальный список с рейтингами пользователей составлен Gartner.

См. также

• Интеграция данных – объединение данных из разных источников и предоставление единого представления.
• Интеграция корпоративной информации – поддержка единого представления данных и информации для всей организации (EII).
• Управление основными данными – практика управления корпоративными данными
• Система федеративных баз данных - тип системы управления метабазами данных, которая прозрачно отображает несколько автономных систем баз данных в единую федеративную базу данных. Страницы, отображающие описания викиданных в качестве запасного варианта.
• Разрозненная система - Система обработки данных без взаимодействия с другими компьютерными системами обработки данных.

Дальнейшее чтение

• Джудит Р. Дэвис; Роберт Ева (2011). Виртуализация данных: выход за рамки традиционной интеграции данных для достижения гибкости бизнеса . ISBN  978-0979930416 .
• Рик ван дер Ланс (2012). Виртуализация данных для систем бизнес-аналитики: революция в интеграции данных для хранилищ данных . ISBN  9780123944252 .
• Энтони Джордано (2010). План интеграции данных и моделирование: методы масштабируемой и устойчивой архитектуры . IBM Пресс. ISBN  9780137085309 .