Миграция данных

Миграция данных - это процесс выбора, подготовки, извлечения и преобразования данных и постоянной передачи из одной системы хранения компьютера в другую. Кроме того, проверка мигрированных данных для полноты и вывод из эксплуатации устаревшего хранилища данных считаются частью всего процесса миграции данных. ^{[ 1 ]}^{[ 2 ]} Миграция данных является ключевым фактором для любой реализации, обновления или консолидации системы, и обычно выполняется таким образом, чтобы быть максимально автоматизированным, освобождая человеческие ресурсы от утомительных задач. Миграция данных происходит по разным причинам, включая замену сервера или оборудования для хранения, обслуживание или обновления, миграцию приложений , консолидацию веб -сайта, аварийное восстановление и перемещение центров обработки данных . ^{[ 2 ]}

Стандартные фазы

По состоянию на 2011 год ^[update], «Почти 40 процентов проектов по миграции данных были со временем, из -за бюджета или полностью провалились». ^{[ 1 ]}^{[ 3 ]} Таким образом, правильное планирование имеет решающее значение для эффективной миграции данных. Хотя специфика плана миграции данных может варьироваться-иногда значительно-от проекта до проекта, IBM предполагает, что существует три основных этапа для большинства любого проекта по миграции данных: планирование, миграция и пост-миграция. ^{[ 2 ]} Каждый из этих этапов имеет свои шаги. Во время планирования анализируются зависимости и требования, сценарии миграции разрабатываются и протестируются, а также создается план проекта, который включает в себя предыдущую информацию. На этапе миграции план принят, а во время после миграции полнота и тщательность миграции подтверждаются, задокументированы и закрываются, включая любые необходимые выводы устаревших систем. ^{[ 2 ]} Для приложений от умеренной или высокой сложности эти этапы миграции данных могут повторяться несколько раз, прежде чем новая система будет полностью проверена и развернута.

Планирование : данные и приложения, которые должны быть мигрированы, выбираются на основе бизнеса, проекта и технических требований и зависимостей. Аппаратные требования и требования к пропускной способности проанализированы. Разрабатываются возможные сценарии миграции и выработки, а также соответствующие тесты, сценарии автоматизации, отображения и процедуры. Требования к очистке и преобразованию данных также измеряются для форматов данных для улучшения качества данных и устранения избыточной или устаревшей информации. Архитектура миграции определяется и разработана, получены любые необходимые лицензии на программное обеспечение, и начинаются процессы управления изменениями. ^{[ 1 ]}^{[ 2 ]}

Миграция : Аппаратные и программные требования подтверждены, а процедуры миграции настроены по мере необходимости. Некоторые виды тестирования до проверки также могут произойти, чтобы обеспечить функционирование требований и настроенных настроек, как и ожидалось. Если все считается хорошо, начинается миграция, включая основные действия извлечения данных , где данные считываются из старой системы и загрузку данных , где данные записываются в новую систему. Дополнительные этапы проверки гарантируют, что развитый план миграции был принят полностью. ^{[ 1 ]}^{[ 2 ]}

После миграции : после миграции данных результаты подвергаются проверке данных , чтобы определить, были ли данные точно переведены, завершены и поддерживают процессы в новой системе. Во время проверки может возникнуть необходимость в параллельном заезде обеих систем для выявления областей несоответствия и предотвращения ошибочной потери данных . Проводится дополнительная документация и отчетность о миграционном проекте, и после завершения миграции устаревшие системы также могут быть выведены из эксплуатации. Миграционные заседания официально прекратят процесс миграции. ^{[ 1 ]}^{[ 2 ]}

Проект против процесса

Существует разница между деятельностью по миграции данных и интеграцией данных . Миграция данных - это проект, посредством которого данные будут перемещены или скопированы из одной среды в другую, а также удалены или выведены из эксплуатации в источнике. Во время миграции (которая может происходить в течение нескольких месяцев или даже лет), данные могут течь в нескольких направлениях, и может быть несколько одновременных миграций. Действия ETL ( экстракт, преобразование, нагрузка ) будут необходимы, хотя средства их достижения могут не быть традиционно связанными с аббревиатурой ETL.

Интеграция данных, напротив, является постоянной частью ИТ -архитектуры и отвечает за то, как течет данных между различными приложениями и хранилищами данных - и является процессом, а не проектной деятельностью. Стандартные технологии ETL, предназначенные для подачи данных из операционных систем в хранилища данных, будут соответствовать последней категории. ^{[ 4 ]}

Категории

Данные хранятся в различных носителях в файлах или базах данных и генерируются и используются программными приложениями , которые, в свою очередь, поддерживают бизнес -процессы . Необходимость передачи и преобразования данных может быть обусловлена множеством бизнес -требований, а подход к миграции зависит от этих требований. На этой основе предлагаются четыре основные категории миграции.

Миграция хранения

Бизнес может выбрать рационализировать физические носители, чтобы воспользоваться более эффективными технологиями хранения. ^{[ 2 ]} Это приведет к тому, что необходимо перемещать физические блоки данных с одной ленты или диска на другую, часто используя виртуализации методы . Формат данных и сам контент обычно не изменяются в процессе и обычно могут быть достигнуты с минимальным или отсутствием влияния на уровни выше. ^{[ 5 ]}

Миграция базы данных

Точно так же может потребоваться перемещение от одного поставщика базы данных к другому или обновлять используемое программное обеспечение базы данных. Последний случай с меньшей вероятностью потребует миграции физических данных, но это может произойти с серьезными обновлениями. В этих случаях может потребоваться процесс физического преобразования, поскольку базовый формат данных может значительно измениться. Это может или не может влиять на поведение на уровне приложений, в зависимости от того, изменился ли язык или протокол манипулирования данными. ^{[ 6 ]} Тем не менее, некоторые современные приложения написаны почти полностью агностическими для технологии базы данных, ^{[ 7 ]} Таким образом, переход от Sybase , MySQL , IBM DB2 или SQL Server на Oracle должно потребовать только цикла тестирования, чтобы быть уверенным в том, что как функциональная, так и нефункциональная производительность не пострадала.

Приложение миграция

Изменение поставщика приложений - например, новая платформа CRM или ERP - неизбежно будет включать существенное преобразование, поскольку почти каждое приложение или набор работает на своей собственной конкретной модели данных, а также взаимодействует с другими приложениями и системами в среде интеграции предприятия . ^{[ 8 ]} Кроме того, чтобы позволить приложению быть проданным на самый широкий рынок, коммерческие готовые пакеты обычно настраиваются для каждого клиента с использованием метаданных . Интерфейсы прикладного программирования (API) могут поставлены поставщиками для защиты целостности данных, с которыми они должны обрабатывать.

Миграция бизнес -процессов

Бизнес -процессы работают посредством комбинации действий по системам человеческих и приложений, часто организованных инструментами управления бизнес -процессами . Когда эти изменения они могут потребовать перемещения данных из одного магазина, базы данных или приложения к другому, чтобы отразить изменения в организации и информацию о клиентах, продуктах и операциях. Примерами таких драйверов миграции являются слияния и поглощения, бизнес -оптимизация и реорганизация для нападения на новые рынки или реагировать на конкурентную угрозу. ^{[ 9 ]}

Первые две категории миграции, как правило, являются обычной оперативной деятельностью, о которой занимается ИТ -отдел без участия остальной части бизнеса. Последние две категории непосредственно влияют на оперативных пользователей процессов и приложений, обязательно являются сложными, и их предоставление без значительного времени простоя бизнеса может быть сложной задачей. Очень адаптивный подход, одновременная синхронизация, ориентированная на бизнес, возможность аудита и четкая видимость миграции для заинтересованных сторон-в связи с Управлением управления проектами или группой управления данными-вероятно, станет ключевыми требованиями при таких миграциях. ^{[ 9 ]}

Миграция как форма цифрового сохранения

Миграция, которая фокусируется на самом цифровом объекте, представляет собой акт передачи или переписывания данных с устаревшей среды в текущую среду и в течение многих лет считался единственным жизнеспособным подходом к долгосрочному сохранению цифровых объектов Полем ^{[ 10 ]} Воспроизведение хрупких газет на микрофильме является примером такой миграции.

Недостатки

Миграция рассматривает возможное устаревание носителя данных, но не учитывает, что определенные технологии, которые используют данные, могут быть полностью отброшены, оставляя миграцию бесполезной.
Труто-потребляющая-миграция-это постоянный процесс, который должен повторяться каждый раз, когда среда достигает устаревания, для всех объектов данных, хранящихся на определенной среде.
Дорого - учреждение должно приобрести дополнительные носители для хранения данных при каждой миграции. ^{[ 11 ]}

Смотрите также

Миграция контента - перемещение контента из одной системы на другую
Преобразование данных
Курация данных
Сохранение данных
Преобразование данных
Цифровое сохранение
Извлечение, преобразование, нагрузка (ETL)
Системная миграция

Ссылки

^ Jump up to: ^а ^{беременный} ^в ^{дюймовый} ^и Моррис, Дж. (2012). "Глава 1: Миграция данных: что все суета?" Полем Практическая миграция данных (2 -е изд.). BCS Learning & Development Ltd. с. 7–15. ISBN 9781906124847 .
^ Jump up to: ^а ^{беременный} ^в ^{дюймовый} ^и ^фон ^глин ^час Dufrasne, B.; Warmuthuth, A.; Appel, J.; и др. (2017). «Глава 1: Введение миграции данных дисков». DS8870 Методы миграции данных . IBM Redbooks. С. 1–16. ISBN 9780738440606 .
^ Говард, П. (23 августа 2011 г.). «Отчет о миграции данных - 2011» . Bloor Research International Limited . Получено 20 июля 2018 года .
^ Кинг, Т. (17 августа 2016 г.). "Интеграция данных против миграции данных; в чем разница?" Полем Обзор решений - интеграция данных . Leadspark, Inc. Получено 20 июля 2018 года .
^ Seiwert, C.; Klee, P.; Marinez, L.; и др. (2012). «Глава 2: Методы миграции и процессы» . Миграция данных в системы хранения дисков IBM . IBM Redbooks. С. 7–30. ISBN 9780738436289 .
^ Fowler, M.; Бек, К.; Брант, Дж.; и др. (2012). Рефакторинг: улучшение дизайна существующего кода . Аддисон-Уэсли. С. 63–4. ISBN 9780133065268 .
^ Фронк, А. (1 марта 2015 г.). «Приложения-агентства базы данных» . DBA представляет . Получено 20 июля 2018 года .
^ Plivna, G. (1 июля 2006 г.). «Миграция данных от старого в новое приложение: опыт» . gplivna.eu . Получено 20 июля 2018 года .
^ Jump up to: ^а ^{беременный} Аллен, М.; Cervo, D. (2015). Многодоменное управление основными данными: передовая MDM и управление данными на практике . Морган Кауфманн. С. 61–2. ISBN 9780128011478 .
^ Ван дер Ховен, Джеффри; Брэм Ломан; Ремко Вердегем (2007). «Эмуляция для цифрового сохранения на практике: результаты» . Международный журнал цифрового курирования . 2 (2): 123–132. doi : 10.2218/ijdc.v2i2.35 .
^ Muira, Gregory (2007). «Раздвижение границ традиционной политики наследия: поддержание долгосрочного доступа к мультимедийному контенту» (PDF) . IFLA Journal . 33 (4): 323–326. doi : 10.1177/0340035207086058 . S2CID 110505620 .

Внешние ссылки

Миграция данных в Curlie

[MorrisPractical12-1] Jump up to: ^а ^{беременный} ^в ^{дюймовый} ^и Моррис, Дж. (2012). "Глава 1: Миграция данных: что все суета?" Полем Практическая миграция данных (2 -е изд.). BCS Learning & Development Ltd. с. 7–15. ISBN 9781906124847 .

[DufrasneDS8870_17-2] Jump up to: ^а ^{беременный} ^в ^{дюймовый} ^и ^фон ^глин ^час Dufrasne, B.; Warmuthuth, A.; Appel, J.; и др. (2017). «Глава 1: Введение миграции данных дисков». DS8870 Методы миграции данных . IBM Redbooks. С. 1–16. ISBN 9780738440606 .

[HowardData11-3] Говард, П. (23 августа 2011 г.). «Отчет о миграции данных - 2011» . Bloor Research International Limited . Получено 20 июля 2018 года .

[KingData16-4] Кинг, Т. (17 августа 2016 г.). "Интеграция данных против миграции данных; в чем разница?" Полем Обзор решений - интеграция данных . Leadspark, Inc. Получено 20 июля 2018 года .

[SeiwertData12-5] Seiwert, C.; Klee, P.; Marinez, L.; и др. (2012). «Глава 2: Методы миграции и процессы» . Миграция данных в системы хранения дисков IBM . IBM Redbooks. С. 7–30. ISBN 9780738436289 .

[FowlerRefactoring12-6] Fowler, M.; Бек, К.; Брант, Дж.; и др. (2012). Рефакторинг: улучшение дизайна существующего кода . Аддисон-Уэсли. С. 63–4. ISBN 9780133065268 .

[FroncDatabase15-7] Фронк, А. (1 марта 2015 г.). «Приложения-агентства базы данных» . DBA представляет . Получено 20 июля 2018 года .

[PlivnaData-8] Plivna, G. (1 июля 2006 г.). «Миграция данных от старого в новое приложение: опыт» . gplivna.eu . Получено 20 июля 2018 года .

[AllenMulti15-9] Jump up to: ^а ^{беременный} Аллен, М.; Cervo, D. (2015). Многодоменное управление основными данными: передовая MDM и управление данными на практике . Морган Кауфманн. С. 61–2. ISBN 9780128011478 .

[10] Ван дер Ховен, Джеффри; Брэм Ломан; Ремко Вердегем (2007). «Эмуляция для цифрового сохранения на практике: результаты» . Международный журнал цифрового курирования . 2 (2): 123–132. doi : 10.2218/ijdc.v2i2.35 .

[11] Muira, Gregory (2007). «Раздвижение границ традиционной политики наследия: поддержание долгосрочного доступа к мультимедийному контенту» (PDF) . IFLA Journal . 33 (4): 323–326. doi : 10.1177/0340035207086058 . S2CID 110505620 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]