Контроллер тома IBM SAN

IBM SAN Volume Controller ( SVC ) — это устройство виртуализации блочного хранилища , принадлежащее семейству продуктов IBM System Storage . SVC реализует уровень косвенности или «виртуализации» в Fibre Channel сети хранения данных (SAN).

Архитектура

Контроллер тома IBM 2145 SAN (SVC) — это встроенное устройство виртуализации или «шлюз». Логически он располагается между хостами и массивами хранения, представляя себя хостам как поставщик хранилища (цель) и представляющий себя массивам хранения как один большой хост. SVC физически подключен к одной или нескольким фабрикам SAN.

Подход виртуализации позволяет осуществлять замену любой части инфраструктуры хранения данных без прерывания работы, включая сами устройства SVC. Он также направлен на упрощение требований совместимости в сильно гетерогенных средах серверов и хранилищ. Таким образом, все расширенные функции реализуются на уровне виртуализации, что позволяет без последствий менять поставщиков массивов хранения. Наконец, распространение установки SVC на две или более площадки ( растянутая кластеризация ) обеспечивает базовую защиту от сбоев в сочетании с постоянной доступностью.

Узлы SVC всегда кластеризованы (минимум 2 и максимум 8 узлов) и имеют линейную масштабируемость. Узлы — это монтируемые в стойку устройства, созданные на основе серверов IBM System x , защищенные резервными источниками питания и встроенными батареями. Более ранние модели оснащались внешними источниками питания с батарейным питанием. Каждый узел имеет порты Fibre Channel, которые одновременно используются для входящего, исходящего и внутрикластерного трафика данных. Хосты также можно подключать через порты FCoE и iSCSI Gbit Ethernet. Внутрикластерная связь включает поддержание целостности кэша чтения/записи, обмен информацией о состоянии и перенаправление операций чтения и записи на любой порт. Эти порты должны быть зонированы вместе.

записи Кэш защищен зеркалированием внутри пары узлов SVC, называемой группой ввода-вывода . Виртуализированные ресурсы (= тома хранения, предоставленные хостам) распределяются по группам ввода-вывода для повышения производительности. Тома также можно перемещать без прерывания работы между группами ввода-вывода, например, при добавлении новых пар узлов или удалении старой технологии. Пары узлов всегда активны, то есть оба участника допускают одновременную запись для каждого тома. Кроме того, все остальные узлы кластера принимают и пересылают запросы на чтение и запись, которые внутренне обрабатываются соответствующей группой ввода-вывода. Сбои путей или плат компенсируются бесперебойным переключением при сбое внутри каждой группы ввода-вывода или, при необходимости, между рассредоточенными группами ввода-вывода. На хостах должны быть установлены многопутевые драйверы, такие как IBM Subsystem Device Driver (SDD). или стандартные драйверы MPIO .

SVC основан на архитектуре COMmodity PARTs Storage System ( Compass IBM ), разработанной в Исследовательском центре в Альмадене . Большая часть программного обеспечения была разработана в лаборатории IBM Hursley Labs в Великобритании.

Терминология

• Узел — отдельная машина высотой 1U или 2U.

Модели узлов SVC
Тип-модель	Кэш [ГБ]	Скорость FC [Гбит/с]	Скорость iSCSI [Гбит/с]	На основе	Объявлено
2145-4Ф2	4	2	н/д	х335	2 июня 2003 г.
2145-8Ф2	8	2	1	х336	25 октября 2005 г.
2145-8Ф4	8	4	1	х336	23 мая 2006 г.
2145-8Г4	8	4	1	х3550	22 мая 2007 г.
2145-8А4	8	4	1	х3250М2	28 октября 2008 г.
2145-CF8	24	8	1	х3550М2	20 октября 2009 г.
2145-CG8	24	8	1 (опционально 10 Гбит/с)	х3550М3	9 мая 2011 г.
2145-ДХ8	32	8 и 16	1 (опционально 10 Гбит/с)	х3650М4	6 мая 2014 г.
2145-СВ1	64...256	16	10 Гбит/с	Ксеон E5 v4	23 августа 2016 г.
2147-СВ1	64...256	16	10 Гбит/с	Ксеон E5 v4	23 августа 2016 г.

• Группа ввода-вывода — пара узлов, дублирующих друг друга команды записи.
• Кластер — группа из 1–4 групп ввода-вывода, управляемая как единое целое.
  • Растянутый кластер — конфигурация защиты сайта с 1–4 группами ввода-вывода, каждая из которых распределена по двум сайтам, плюс сайт-свидетель.
  • IP-адрес кластера — единый IP-адрес кластера, который обеспечивает административные интерфейсы через ( SSH и HTTPS ).
  • IP-адрес службы — IP-адрес, используемый для обслуживания отдельного узла. На каждом узле может быть настроен IP-адрес службы.
  • Узел конфигурации — отдельный узел, который содержит конфигурацию кластера и имеет назначенный IP-адрес кластера.
• Главная консоль (или SSPC) — графический интерфейс управления для SVC до версии 5.1, основанный на WebSphere Application Server ; устанавливается не на какой-либо узел SVC, а на отдельную машину
  • Начиная с SVC версии 6.1, главная консоль (SSPC) больше не используется. Веб-администрирование осуществляется непосредственно на узле конфигурации с использованием графического интерфейса HTML5 .
• Виртуальный диск ( VDisk ) — единица хранения, предоставляемая хосту. В графическом интерфейсе версии 6 VDisk называется томом.
• Управляемый диск (MDisk) — единица хранения ( LUN ) из реального, внешнего дискового массива , виртуализированная SVC. MDisk является основой для создания VDisk в режиме образа.
• Группа управляемых дисков — (MDisk Group) группа из одного или нескольких Mdisk. Экстенты MDisk в группе MDisk являются основой для создания VDisk в чередующемся или последовательном режиме. В графическом интерфейсе версии 6 управляемая группа дисков называется пулом.
• Экстент – дискретная единица хранения; MDisk разделен на экстенты; VDisk формируется из набора экстентов.

Хронология

График выпуска IBM SAN Volume Controller до августа 2019 г.

Различные модели SAN Volume Controller были доступны для покупки вскоре после упомянутого дня анонса. Светло-зеленые полосы показывают период времени, в течение которого можно было заказать каждую модель, а голубые полосы показывают, как долго продолжалось стандартное обслуживание после вывода из продажи. Отображаемая информация актуальна на август 2019 года. Есть различия в условиях эксплуатации между 2145 и 2147, но не в аппаратном обеспечении.

Производительность

Версия 4.3 SVC установила мировой рекорд Storage Performance Council (SPC) по тестам производительности SPC-1, вернув почти 275 000 (274 997,58) операций ввода-вывода в секунду . На тот момент (октябрь 2008 г.) не было более быстрой подсистемы хранения данных, протестированной SPC. Тест SPC-2 также показал лидирующие в мире показатели пропускной способности более 7 ГБ/с.

Версия 5.1 достигла новых рекордов в тестировании кластеров из 4 и 6 узлов с DS8700 в качестве резервного устройства хранения данных. SVC побил свой собственный рекорд в 274 997,58 операций ввода-вывода в секунду SPC-1 в марте 2010 года: 315 043,59 для кластера из 4 узлов и 380 489,30 для кластера из 6 узлов - рекорды, которые сохранялись до октября 2011 года.

Версия 6.2 SVC установила мировой рекорд Storage Performance Council (SPC) по тестам производительности SPC-1, вернув более 500 000 (520 043,99) IOPS (операций ввода-вывода в секунду) при использовании 8 узлов SVC и Storwize V7000 в качестве внутреннего диска. На тот момент (январь 2012 г.) не было более быстрой подсистемы хранения данных, протестированной SPC. Полные результаты и краткое изложение можно просмотреть на веб-сайте SPC, указанном выше.

Версия 7.x содержит множество улучшений, включая поддержку дополнительных процессоров, кэша и адаптеров. Оптимизированный кэш работает с задержкой 100 мкс. и задержка попадания в кэш 60 мкс, что позволяет использовать SVC в качестве внешнего интерфейса для IBM FlashSystem твердотельного хранилища без значительного снижения производительности. (См. также: FlashSystem V9000).

Включенные функции (7.x)

Перенаправление или сопоставление виртуального LUN с физическим LUN

Серверы получают доступ к SVC, как если бы это был контроллер хранилища. SCSI LUN, которые они видят, представляют собой виртуальные диски (тома), выделенные в SVC из пула хранения, состоящего из одного или нескольких управляемых дисков (MDisks). Управляемый диск — это просто LUN хранилища, предоставляемый одним из контроллеров хранения, который виртуализирует SVC. Виртуальная емкость может быть больше, чем управляемая физическая емкость, с текущим максимумом 32 ПБ, в зависимости от детализации управления ( размера экстента ).

Миграция и объединение данных

SVC может перемещать тома из одного пула емкости ( группы MDisk ) в другой, сохраняя при этом доступ ввода-вывода к данным. Кэширование записи и чтения остается активным. Пулы можно сокращать или расширять путем удаления или добавления аппаратной емкости, сохраняя при этом доступ ввода-вывода к данным. Обе функции можно использовать для плавной миграции оборудования. Переход от старой модели SVC к самой последней модели также является плавным и не предполагает копирования данных.

Импорт и экспорт существующих LUN в режиме изображения

«Режим образа» — это невиртуализированное сквозное представление MDisk (управляемого LUN), которое содержит существующие данные клиента; такой MDisk можно легко импортировать в кластер SVC или удалить из него.

Кэш быстрой записи

Записи с хостов подтверждаются после того, как они были зафиксированы в зеркальном кеше SVC, но до того, как они будут выгружены на базовые контроллеры хранилища. Данные защищаются путем репликации на одноранговый узел в группе ввода-вывода (пара узлов кластера). Размер кэша зависит от модели оборудования SVC и установленных опций. Кэш быстрой записи особенно полезен для повышения производительности в конфигурациях систем хранения среднего уровня.

Автоматическое распределение по уровням (легкий уровень)

SVC автоматически выбирает лучшее оборудование для хранения данных для каждого фрагмента данных в соответствии с его шаблонами доступа. Недружественные к кэшу «горячие» данные динамически перемещаются на твердотельные накопители SSD , тогда как данные, пригодные для кэша, а также «холодные» данные перемещаются на экономичные вращающиеся диски. Easy Tier также отслеживает и оптимизирует рабочие нагрузки, связанные только с шпинделем, если твердотельный накопитель не подключен. Аналогично, Easy Tier автоматически оптимизирует твердотельные рабочие нагрузки между корпоративными флэш-носителями и носителями с интенсивным чтением.

Возможность твердотельного накопителя (SSD)

SVC может использовать любое поддерживаемое внешнее устройство хранения данных SSD или предоставлять собственные внутренние слоты SSD, до 32 на кластер. Их можно использовать для ускорения устаревания пулов вращающихся дисков: Easy Tiering автоматически активируется в гибридных пулах емкости смешанного носителя.

Тонкое обеспечение

Емкость LUN используется только при записи новых данных на LUN. Блоки данных, равные нулю, физически не выделяются, если не существуют предыдущие данные, не равные нулю. Во время импорта или во время внутренней миграции блоки данных, равные нулю, отбрасываются ( Thick-to-thinmigration ).

Кроме того, в функции FlashCopy, подробно описанные ниже, интегрирована тонкая подготовка для создания компактных снимков.

Зеркальное отображение виртуального диска

Предоставляет возможность поддерживать две резервные копии LUN неявно на разных контроллерах хранения.

Защита сайта с помощью расширенного кластера

Географически распределенная высокодоступная кластерная система хранения данных, использующая функцию зеркалирования виртуальных дисков в центрах обработки данных на расстоянии до 300 км. Растянутые кластеры могут охватывать 2, 3 или 4 центра обработки данных (цепочная или кольцевая топология, кластер из 4 сайтов, требующий 8 узлов кластера). Согласованность кластера обеспечивается большинством голосов.

Из двух устройств хранения в двух центрах обработки данных SVC представляет собой один общий логический экземпляр. Операции на стороне пользователя, такие как снимок экрана или изменение размера LUN, применяются на уровне логического экземпляра. Аппаратно-ориентированные операции, такие как сжатие в реальном времени или миграция оборудования в реальном времени, выполняются на уровне физического экземпляра.

В отличие от классического зеркалирования, логические LUN ​​доступны для чтения и записи с обеих сторон ( тандемно ), что устраняет необходимость в аварийном переключении , переключении ролей или переключении сайта , как это происходит в продуктах управления Site Recovery. Эту функцию можно комбинировать с Live Partition Mobility или VMotion , чтобы избежать передачи больших объемов данных во время перемещения виртуального сервера на большие расстояния.

Географический перекрестный доступ

Все узлы кластера SVC в расширенном кластере имеют доступ для чтения и записи к оборудованию хранения данных в зеркальном расположении, что устраняет необходимость повторной синхронизации сайта в случае сбоя одного узла. Эта функция является взаимоисключающей с Enhanced Stretched Cluster и рекомендуется только для одиночных пар растянутых узлов.

Узлы горячего резерва

Мощные узлы, которые могут в кратчайшие сроки взять на себя роль вышедших из строя узлов в расширенном или локальном кластере.

Улучшенный расширенный кластер

Функциональность, оптимизирующая пути передачи данных в растянутом кластере на городских или географических расстояниях (см. выше), полезна, когда пропускная способность между сайтами недостаточна и межсайтовый трафик необходимо свести к минимуму. SVC попытается использовать кратчайший путь для чтения и записи. Например, отключение записи кэша на устройства хранения всегда выполняется самой ближайшей копией кэша, если только его одноранговая копия кэша не отключена. Две пары узлов — рекомендуемый минимум для расширенного расширенного кластера.

Растянутый кластер с золотой копией ( аварийное восстановление на 3 сайта )

Растянутый кластер, который поддерживает дополнительную синхронную или асинхронную копию данных на независимом расширенном кластере или устройстве SVC или Storwize на географических расстояниях. Золотая копия — это защита от сбоев в масштабах мегаполиса, влияющих на расширенный кластер в целом. Он основан на лицензированных функциях Metro- или Global Mirror.

Гиперсвоп

Возможность плавного переключения доступа к данным между географически распределенными группами или кластерами ввода-вывода. Как и в случае с Stretched Cluster , обе стороны допускают одновременную запись, но данные кэша записи зеркалируются локально на обоих сайтах, поскольку группы ввода-вывода хранятся вместе. Hyperswap можно комбинировать с Live Partition Mobility или VMotion для обеспечения максимальной доступности приложений. На стороне сервера Hyperswap работает с большинством собственных многопутевых драйверов с поддержкой ALUA . Hyperswap опирается на функциональность Metro Mirror и требует лицензии Metro Mirror, а также минимум двух пар узлов.

Прозрачное многоуровневое облако

Объектные хранилища данных, совместимые со Swift и S3, можно использовать в качестве холодного уровня для инкрементных снимков томов и архивов томов без доступа к рабочей среде. Это позволяет хранить ежечасные копии машин времени или архивировать образы виртуальных машин, включая подключенные тома, по цене, несколько ближе к ленточным носителям. Поддержка локального хранилища данных обеспечивается через OpenStack Swift. Поддержка внешнего хранилища данных обеспечивается Amazon S3 или Softlayer. Внешнее прозрачное многоуровневое облако по умолчанию использует шифрование AES, которое является лицензированной функцией.

Дополнительные функции

Существуют некоторые дополнительные функции, лицензируемые отдельно, например, по ТБ:

Сжатие в реальном времени

Эта технология сокращения данных в реальном времени обеспечивает сокращение занимаемой площади на 50 % (гарантировано) или до 80 % (в базах данных Oracle). Используя специальное оборудование для сжатия, оно, как правило, не влияет на производительность и может использоваться для баз данных с высокой нагрузкой. Временная локальность алгоритма может даже повысить производительность чтения адекватных шаблонов данных, таких как базы данных SQL, хранящиеся на вращающихся дисках. Эффективность сжатия равна «zip» ( Lempel-Ziv-Welch ) с очень большим словарем и может быть точно предсказана для петабайтов с помощью инструмента Comprestimator .

Сжатие в реальном времени можно комбинировать с Easy Tiering, Thin Provisioning и Virtual Disk Mirroring. Первоначально он был изобретен приобретенным стартапом Storwize Inc. которое также послужило новым названием для семейства систем хранения данных IBM на основе SVC.

FlashCopy (снимок)

Это используется для создания моментального снимка диска для резервного копирования/отката или тестирования приложений одного тома. Для моментальных снимков требуется только «дельта» емкость, если они не созданы с полностью подготовленными целевыми томами. FlashCopy доступен в трех вариантах: снимок, резервный том и клон, который автоматически отсоединяется от источника. Все они основаны на оптимизированной технологии копирования при записи .

Один исходный том может одновременно иметь до 256 целевых объектов. Цели можно сделать инкрементными, а также можно построить каскадные древовидные структуры зависимостей. Цели можно повторно применить к их источнику или любому другому подходящему тому, также другого размера (например, сбросив любые изменения с помощью команды изменения размера).

Копирование при записи основано на растровом изображении с настраиваемым размером детализации , в отличие от журнала .

Откат FlashCopy (машина времени)

Обеспечивает возможность отката, основанную на машине времени, с использованием выборочно детализированных точек согласованности. Механизм согласованности может одновременно охватывать множество LUN. Для отката требуется лицензия FlashCopy и программное обеспечение Spectrum Control Snapshot.

Metro Mirror — синхронная удаленная репликация

Это позволяет создать удаленную площадку аварийного восстановления на расстоянии до 300 км.

Global Mirror — асинхронная удаленная репликация

Это позволяет создать удаленную площадку аварийного восстановления на расстоянии тысяч километров. Каждое отношение Global Mirror можно настроить для подключения с высокой задержкой/низкой пропускной способностью или для подключения с высокой задержкой/высокой пропускной способностью, причем последнее обеспечивает согласованное целевое значение RPO для точки восстановления менее 1 секунды.

Global Mirror over IP – удаленная репликация через Интернет

использует технологию SANslide , интегрированную в прошивку SVC, для отправки зеркального трафика данных по каналу TCP/IP, одновременно максимизируя эффективность использования полосы пропускания этого канала. Это может привести к 100-кратному ускорению передачи данных на большие расстояния.

Шифрование хранящихся данных

SVC и другие устройства на базе Spectrum Virtualize могут прозрачно шифровать данные на любом локальном носителе, виртуализированном подключенном хранилище или облачном уровне (по умолчанию). Механизм шифрования — 256-битный AES-XTS. Ключи либо генерируются локально и хранятся на съемных флэш-накопителях, либо получаются из службы управления жизненным циклом ключей. Оба варианта являются взаимоисключающими.

Другие продукты, использующие код SVC

7 октября 2010 года IBM анонсировала IBM Storwize V7000 , первого члена семейства Storwize . Storwize использует кодовую базу контроллера тома SAN с внутренней памятью для создания подсистемы хранения средней ценовой категории. IBM Storwize V5000, V3700 и V3500 — это уменьшенные совместимые модели с меньшим количеством кэш-памяти/ЦП/адаптеров и ограниченным набором функций.

IBM FlashSystem V9000 использует встроенное ПО SVC, интегрированное с IBM FlashSystem твердотельными блоками .

В 2015 году IBM переименовала функцию виртуализации в Spectrum Virtualize , чтобы привести ее в соответствие с соглашениями об именах программно-определяемых хранилищ IBM и подчеркнуть аспект совместимости.

Продукты сторонних производителей, использующие код SVC

Устройство Actifio Protection and Availability Storage (PAS) включает элементы кода SVC для обеспечения широкой совместимости. Платформа PAS включает в себя резервное копирование, аварийное восстановление и непрерывность бизнеса, а также другие функции.

См. также

• Драйвер устройства подсистемы IBM (SDD), многопутевой драйвер для IBM System Storage, первоначально используемый IBM Enterprise Storage Server.
• EMC VPLEX — конкурирующее решение
• Семейство IBM Storwize

Внешние ссылки

• Ссылки на красные книги SVC, информацию, обновления
• Официальная страница IBM Storage Virtualization
• Официальная страница IBM SAN
• Официальная страница IBM Redbooks для SVC
• Официальная страница IBM Redbooks для Storwize V7000