Миграция данных
| Преобразование данных |
|---|
| Концепции |
| Языки трансформации |
| Техники и трансформации |
| Приложения |
| Связанный |
Миграция данных — это процесс выбора, подготовки, извлечения и преобразования данных и их постоянного переноса из одной компьютерной системы хранения в другую. Кроме того, проверка полноты перенесенных данных и вывод из эксплуатации устаревшего хранилища данных считаются частью всего процесса миграции данных. [1] [2] Миграция данных является ключевым моментом при любом внедрении, обновлении или консолидации системы, и обычно она выполняется таким образом, чтобы быть максимально автоматизированной, освобождая человеческие ресурсы от утомительных задач. Миграция данных происходит по разным причинам, включая замену серверов или оборудования хранения, обслуживание или обновление, миграцию приложений , консолидацию веб-сайтов, аварийное восстановление и перемещение центра обработки данных . [2]
Стандартные этапы [ править ]
По состоянию на 2011 год [update], «почти 40 процентов проектов по миграции данных превысили сроки, превысили бюджет или полностью провалились». [1] [3] Таким образом, правильное планирование имеет решающее значение для эффективной миграции данных. Хотя особенности плана миграции данных могут различаться (иногда значительно) от проекта к проекту, IBM предполагает, что в большинстве проектов миграции данных есть три основных этапа: планирование, миграция и последующая миграция. [2] Каждый из этих этапов имеет свои собственные этапы. В ходе планирования анализируются зависимости и требования, разрабатываются и тестируются сценарии миграции, а также создается план проекта, включающий предварительную информацию. На этапе миграции план применяется, а во время постмиграции полнота и тщательность миграции проверяются, документируются и закрываются, включая любой необходимый вывод из эксплуатации устаревших систем. [2] Для приложений средней и высокой сложности эти этапы миграции данных могут повторяться несколько раз, прежде чем новая система будет считаться полностью проверенной и развернутой.
Планирование : данные и приложения, подлежащие переносу, выбираются на основе бизнес-, проектных и технических требований и зависимостей. Анализируются требования к оборудованию и пропускной способности. Разрабатываются возможные сценарии миграции и возврата, а также соответствующие тесты, сценарии автоматизации, сопоставления и процедуры. Требования к очистке и преобразованию данных также оцениваются для форматов данных для улучшения качества данных и устранения избыточной или устаревшей информации. Принимается решение и разрабатывается архитектура миграции, приобретаются все необходимые лицензии на программное обеспечение и запускаются процессы управления изменениями. [1] [2]
Миграция : требования к аппаратному и программному обеспечению проверяются, а процедуры миграции настраиваются по мере необходимости. Также может быть проведено своего рода предварительное тестирование, чтобы убедиться, что требования и индивидуальные настройки функционируют должным образом. Если все в порядке, начинается миграция, включая основные действия по извлечению данных , когда данные считываются из старой системы, и загрузке данных , когда данные записываются в новую систему. Дополнительные этапы проверки гарантируют, что разработанный план миграции будет введен в действие в полном объеме. [1] [2]
Пост-миграция : после миграции данных результаты подвергаются проверке, чтобы определить, были ли данные точно переведены, являются ли они полными и поддерживают ли процессы в новой системе. Во время проверки может возникнуть необходимость в параллельном запуске обеих систем для выявления областей несоответствия и предотвращения ошибочной потери данных . По проекту миграции ведется дополнительная документация и отчетность, и после подтверждения завершения миграции устаревшие системы также могут быть выведены из эксплуатации. Заключительные встречи по миграции официально завершат процесс миграции. [1] [2]
Проект процесса против
Существует разница между миграцией данных и деятельностью по интеграции данных . Миграция данных — это проект, в рамках которого данные будут перемещены или скопированы из одной среды в другую, а также удалены или выведены из эксплуатации в источнике. Во время миграции (которая может длиться месяцы или даже годы) данные могут передаваться в разных направлениях, и может происходить несколько одновременных миграций. Действия ETL ( извлечение, преобразование, загрузка ) будут необходимы, хотя средства их достижения могут отличаться от тех, которые традиционно ассоциируются с аббревиатурой ETL.
Интеграция данных, напротив, является неотъемлемой частью ИТ-архитектуры и отвечает за то, как данные передаются между различными приложениями и хранилищами данных, и представляет собой процесс, а не проектную деятельность. Стандартные технологии ETL, предназначенные для доставки данных из операционных систем в хранилища данных, подходят под последнюю категорию. [4]
Категории [ править ]
Данные хранятся на различных носителях в файлах или базах данных , генерируются и используются программными приложениями , которые, в свою очередь, поддерживают бизнес-процессы . Необходимость переноса и преобразования данных может быть обусловлена множеством бизнес-требований, и подход к миграции зависит от этих требований. На этой основе предлагаются четыре основные категории миграции.
Миграция хранилища [ править ]
Компания может решить рационализировать физические носители, чтобы воспользоваться преимуществами более эффективных технологий хранения. [2] Это приведет к необходимости перемещать физические блоки данных с одной ленты или диска на другую, часто с использованием виртуализации методов . Формат данных и само содержимое обычно не изменяются в процессе и обычно могут быть достигнуты с минимальным воздействием или вообще без воздействия на вышележащие уровни. [5]
Миграция базы данных [ править ]
Аналогичным образом может возникнуть необходимость перехода от одного поставщика базы данных к другому или обновления используемого программного обеспечения базы данных. В последнем случае с меньшей вероятностью потребуется физическая миграция данных, но это может произойти при крупных обновлениях. В этих случаях может потребоваться процесс физического преобразования, поскольку базовый формат данных может существенно измениться. Это может повлиять или не повлиять на поведение на уровне приложений, во многом в зависимости от того, изменился ли язык или протокол манипулирования данными. [6] Однако некоторые современные приложения почти полностью не зависят от технологии баз данных. [7] поэтому переход с Sybase , MySQL , IBM Db2 или SQL Server на Oracle должен требовать только цикла тестирования, чтобы убедиться, что как функциональная, так и нефункциональная производительность не пострадает.
Миграция приложений [ править ]
Смена поставщика приложения — например, новая платформа CRM или ERP — неизбежно повлечет за собой существенную трансформацию, поскольку почти каждое приложение или пакет работает на своей собственной конкретной модели данных, а также взаимодействует с другими приложениями и системами в среде интеграции корпоративных приложений . [8] Более того, чтобы обеспечить возможность продажи приложения на максимально широком рынке, коммерческие готовые пакеты обычно настраиваются для каждого клиента с использованием метаданных . Интерфейсы прикладного программирования (API) могут предоставляться поставщиками для защиты целостности данных, которые они должны обрабатывать.
Миграция бизнес-процессов [ править ]
Бизнес-процессы осуществляются посредством сочетания действий человека и прикладных систем, часто управляемых инструментами управления бизнес-процессами . Когда они изменяются, они могут потребовать перемещения данных из одного хранилища, базы данных или приложения в другое, чтобы отразить изменения в организации и информации о клиентах, продуктах и операциях. Примерами таких движущих сил миграции являются слияния и поглощения, оптимизация бизнеса и реорганизация для выхода на новые рынки или реагирования на конкурентные угрозы. [9]
Первые две категории миграции обычно представляют собой рутинную операционную деятельность, о которой ИТ-отдел заботится без участия остального бизнеса. Последние две категории напрямую влияют на операционных пользователей процессов и приложений, они обязательно сложны, и их реализация без значительных простоев бизнеса может оказаться сложной задачей. Высокоадаптивный подход, параллельная синхронизация, возможности бизнес-ориентированного аудита и четкая видимость миграции для заинтересованных сторон — через офис управления проектами или команду управления данными — вероятно, будут ключевыми требованиями при такой миграции. [9]
форма цифрового сохранения Миграция как
Миграция, которая фокусируется на самом цифровом объекте, представляет собой процесс переноса или перезаписи данных с устаревшего носителя на текущий носитель и на протяжении многих лет считается единственным жизнеспособным подходом к долгосрочному сохранению цифровых объектов. . [10] Воспроизведение хрупких газет на микрофильмах является примером такой миграции.
Недостатки [ править ]
- Миграция решает проблему возможного устаревания носителя данных, но не решает проблему того, что некоторые технологии, использующие данные, могут быть полностью отменены, что сделает миграцию бесполезной.
- Требует много времени: миграция — это непрерывный процесс, который необходимо повторять каждый раз, когда носитель устаревает, для всех объектов данных, хранящихся на определенном носителе.
- Дороговато – учреждение должно приобретать дополнительные носители данных при каждой миграции. [11]
См. также [ править ]
- Миграция контента – перемещение контента из одной системы в другую.
- Преобразование данных
- Курирование данных
- Сохранение данных
- Преобразование данных
- Цифровое сохранение
- Извлечение, преобразование, загрузка (ETL)
- Миграция системы
Ссылки [ править ]
- ^ Jump up to: Перейти обратно: а б с д и Моррис, Дж. (2012). «Глава 1: Миграция данных: в чем тут вся суета?» . Практическая миграция данных (2-е изд.). BCS Learning & Development Ltd., стр. 7–15. ISBN 9781906124847 .
- ^ Jump up to: Перейти обратно: а б с д и ж г час Дюфран, Б.; Вармут, А.; Аппель, Дж.; и др. (2017). «Глава 1: Знакомство с миграцией дисковых данных». DS8870 Методы миграции данных . Красные книги IBM. стр. 1–16. ISBN 9780738440606 .
- ^ Ховард, П. (23 августа 2011 г.). «Отчет о миграции данных – 2011» . Блур Рисерч Интернэшнл Лимитед . Проверено 20 июля 2018 г.
- ^ Кинг, Т. (17 августа 2016 г.). «Интеграция данных и миграция данных: в чем разница?» . Обзор решений — Интеграция данных . ЛидСпарк, Инк . Проверено 20 июля 2018 г.
- ^ Зейверт, К.; Клее, П.; Маринес, Л.; и др. (2012). «Глава 2: Методы и процессы миграции» . Миграция данных в дисковые системы хранения IBM . Красные книги IBM. стр. 7–30. ISBN 9780738436289 .
- ^ Фаулер, М.; Бек, К.; Брант, Дж.; и др. (2012). Рефакторинг: улучшение дизайна существующего кода . Аддисон-Уэсли. стр. 63–4. ISBN 9780133065268 .
- ^ Фронк, А. (1 марта 2015 г.). «Приложения, не зависящие от баз данных» . DBA представляет . Проверено 20 июля 2018 г.
- ^ Пливна, Г. (1 июля 2006 г.). «Миграция данных из старого приложения в новое: опыт» . gplivna.eu . Проверено 20 июля 2018 г.
- ^ Jump up to: Перейти обратно: а б Аллен, М.; Черво, Д. (2015). Многодоменное управление основными данными: расширенное MDM и управление данными на практике . Морган Кауфманн. стр. 61–2. ISBN 9780128011478 .
- ^ ван дер Хувен, Джеффри; Брэм Ломан; Ремко Вердегем (2007). «Эмуляция цифрового сохранения на практике: результаты» . Международный журнал цифрового курирования . 2 (2): 123–132. дои : 10.2218/ijdc.v2i2.35 .
- ^ Муира, Грегори (2007). «Раздвигая границы политики традиционного наследия: сохранение долгосрочного доступа к мультимедийному контенту» (PDF) . Журнал ИФЛА . 33 (4): 323–326. дои : 10.1177/0340035207086058 . S2CID 110505620 .
Внешние ссылки [ править ]
| Базы данных органов управления : Национальные |
|---|
