ИнфиниБэнд
 | |
| Формирование | 1999 |
|---|---|
| Тип | Промышленно-торговая группа |
| Цель | Продвижение InfiniBand |
| Штаб-квартира | Бивертон, Орегон , США |
| Веб-сайт | infinibandta.org |
InfiniBand ( IB ) — это стандарт компьютерной сетевой связи, используемый в высокопроизводительных вычислениях и обеспечивающий очень высокую пропускную способность и очень низкую задержку . Он используется для передачи данных как между компьютерами, так и внутри них. InfiniBand также используется в качестве прямого или коммутируемого соединения между серверами и системами хранения, а также в качестве соединения между системами хранения. Он спроектирован с возможностью масштабирования и использует топологию коммутируемой коммутируемой сети . С 2014 по июнь 2016 г. [ 1 ] это было наиболее часто используемое межсоединение в списке TOP500 суперкомпьютеров.
Mellanox (приобретенная Nvidia ) производит адаптеры главной шины InfiniBand и сетевые коммутаторы , которые используются крупными поставщиками компьютерных систем и баз данных в своих линейках продуктов. [ 2 ]
В качестве межсоединения компьютерного кластера IB конкурирует с Ethernet , Fibre Channel и Intel Omni-Path . Технология продвигается торговой ассоциацией InfiniBand .
История
[ редактировать ]InfiniBand возникла в 1999 году в результате слияния двух конкурирующих разработок: Future I/O и Next Generation I/O (NGIO). NGIO возглавляла Intel , спецификация была выпущена в 1998 году. [ 3 ] и к ним присоединились Sun Microsystems и Dell . Будущий ввод-вывод был поддержан Compaq , IBM и Hewlett-Packard . [ 4 ] Это привело к формированию Торговой ассоциации InfiniBand (IBTA), в которую вошли как поставщики оборудования, так и поставщики программного обеспечения, такие как Microsoft . В то время считалось, что некоторые из наиболее мощных компьютеров приближаются к узкому месту шины PCI , несмотря на такие обновления, как PCI-X . [ 5 ] Версия 1.0 спецификации архитектуры InfiniBand была выпущена в 2000 году. Первоначально концепция IBTA для IB была одновременно заменой PCI в вводе-выводе, Ethernet в машинном помещении , межкластерном соединении и Fibre Channel . IB IBTA также предусмотрела разложение серверного оборудования на структуру .
Компания Mellanox была основана в 1999 году для разработки технологии NGIO, но к 2001 году выпустила линейку продуктов InfiniBand под названием InfiniBridge со скоростью 10 Гбит/с. [ 6 ] После того, как лопнул пузырь доткомов, отрасль не решалась инвестировать в столь далеко идущий технологический скачок. [ 7 ] К 2002 году Intel объявила, что вместо поставок интегральных схем («чипов») IB она сосредоточится на разработке PCI Express , а Microsoft прекратила разработку IB в пользу расширения Ethernet. Sun Microsystems и Hitachi продолжали поддерживать IB. [ 8 ]
В 2003 году суперкомпьютер System X , построенный в Технологическом институте Вирджинии, использовал InfiniBand и был на тот момент третьим по величине компьютером в мире. [ 9 ] Альянс OpenIB (позже переименованный в OpenFabrics Alliance) был основан в 2004 году для разработки открытого набора программного обеспечения для ядра Linux . К февралю 2005 г. поддержка была включена в ядро Linux 2.6.11. [ 10 ] [ 11 ] В ноябре 2005 года устройства хранения данных наконец-то были выпущены с использованием InfiniBand от таких поставщиков, как Engenio. [ 12 ] Cisco, желая исключить с рынка технологию, превосходящую Ethernet, приняла стратегию «покупай, чтобы убить». Cisco успешно убила компании, занимающиеся коммутацией InfiniBand, такие как Topspin, путем приобретения. [ 13 ] [ нужна ссылка ]
Из 500 лучших суперкомпьютеров в 2009 году Gigabit Ethernet использовался в качестве технологии внутреннего соединения в 259 установках, по сравнению с 181, использующей InfiniBand. [ 14 ] В 2010 году лидеры рынка Mellanox и Voltaire объединились, в результате чего остался только один поставщик IB, QLogic , в основном поставщик Fibre Channel . [ 15 ] На Международной суперкомпьютерной конференции 2011 года были анонсированы и продемонстрированы на соединительных стендах на выставке каналы связи со скоростью около 56 гигабит в секунду (известные как FDR, см. ниже). [ 16 ] В 2012 году Intel приобрела технологию InfiniBand компании QLogic, оставив только одного независимого поставщика. [ 17 ]
К 2014 году InfiniBand стала самой популярной технологией внутреннего соединения суперкомпьютеров, хотя через два года 10-гигабитный Ethernet . ее начал вытеснять [ 1 ]
В 2016 году сообщалось, что корпорация Oracle (инвестор Mellanox) может разработать собственное оборудование InfiniBand. [ 2 ]
В 2019 году Nvidia приобрела Mellanox, последнего независимого поставщика продуктов InfiniBand. [ 18 ]
Спецификация
[ редактировать ]Технические характеристики опубликованы торговой ассоциацией InfiniBand.
Производительность
[ редактировать ]Первоначальные названия скоростей были «одинарная скорость передачи данных» (SDR), «двойная скорость передачи данных» (DDR) и «четверенная скорость передачи данных» (QDR), как указано ниже. [ 12 ] Впоследствии были добавлены другие трехбуквенные сокращения для еще более высоких скоростей передачи данных. [ 19 ]
| Год [ 20 ] | Код линии | Скорость передачи данных (Гбит/с) | Пропускная способность (Гбит/с) [ 21 ] | Задержка адаптера (мкс) [ 22 ] | |||||
|---|---|---|---|---|---|---|---|---|---|
| 1x | 4x | 8x | 12x | ||||||
| СДР | 2001, 2003 | НРЗ | 8б/10б [ 23 ] | 2.5 | 2 | 8 | 16 | 24 | 5 |
| ГДР | 2005 | 5 | 4 | 16 | 32 | 48 | 2.5 | ||
| ГДР | 2007 | 10 | 8 | 32 | 64 | 96 | 1.3 | ||
| ФДР10 | 2011 | 64б/66б | 10.3125 [ 24 ] | 10 | 40 | 80 | 120 | 0.7 | |
| Рузвельт | 2011 | 14.0625 [ 25 ] [ 19 ] | 13.64 | 54.54 | 109.08 | 163.64 | 0.7 | ||
| ЭДР | 2014 [ 26 ] | 25.78125 | 25 | 100 | 200 | 300 | 0.5 | ||
| HDR | 2018 [ 26 ] | ПАМ4 | 53.125 [ 27 ] | 50 | 200 | 400 | 600 | <0,6 [ 28 ] | |
| отчет о недоставке | 2022 [ 26 ] | 256б/257б [ я ] | 106.25 [ 29 ] | 100 | 400 | 800 | 1200 | ? | |
| ШДР | 2024 [ 30 ] | [ будет определено ] | [ будет определено ] | 200 | 200 | 800 | 1600 | 2400 | [ будет определено ] |
| ГДР | будет объявлено позднее | 400 | 400 | 1600 | 3200 | 4800 | |||
- Примечания
- ^ Рида-Соломона Использование прямой коррекции ошибок
Каждая ссылка является дуплексной. Каналы можно агрегировать: в большинстве систем используется разъем с 4 каналами/полосами (QSFP). HDR часто использует 2x канала (он же HDR100, канал 100 Гбит с использованием 2 линий HDR, но при этом используется разъем QSFP). 8x требуется для портов коммутатора NDR с использованием разъемов OSFP (восьмеричный подключаемый модуль малого форм-фактора). «Определения кабелей и разъемов» .
InfiniBand предоставляет возможности удаленного прямого доступа к памяти (RDMA) для снижения нагрузки на процессор.
Топология
[ редактировать ]InfiniBand использует топологию коммутируемой фабрики , в отличие от раннего Ethernet с разделяемой средой . Все передачи начинаются или заканчиваются на адаптере канала. Каждый процессор содержит адаптер главного канала (HCA), а каждое периферийное устройство имеет адаптер целевого канала (TCA). Эти адаптеры также могут обмениваться информацией о безопасности или качестве обслуживания (QoS).
Сообщения
[ редактировать ]InfiniBand передает данные пакетами размером до 4 КБ, которые вместе образуют сообщение. Сообщение может быть:
- удаленный прямой доступ к памяти для чтения или записи
- канал отправки или получения
- операция, основанная на транзакциях (которая может быть отменена)
- передача многоадресная
- атомарная операция
Физическое соединение
[ редактировать ]
Помимо подключения форм-фактора платы, можно использовать как активный, так и пассивный медный (до 10 метров) и оптоволоконный кабель (до 10 км). [ 31 ] QSFP Используются разъемы .
Ассоциация InfiniBand также определила систему разъемов CXP для скоростей до 120 Гбит/с по медным, активным оптическим кабелям и оптическим трансиверам с использованием параллельных многомодовых оптоволоконных кабелей с 24-волоконными разъемами MPO. [ нужна ссылка ]
Программные интерфейсы
[ редактировать ]Поддержка операционной системы Mellanox доступна для Solaris , FreeBSD , [ 32 ] [ 33 ] Red Hat Enterprise Linux , SUSE Linux Enterprise Server (SLES), Windows , HP-UX , VMware ESX , [ 34 ] и АИКС . [ 35 ]
InfiniBand не имеет специального стандартного интерфейса прикладного программирования (API). В стандарте указан только набор глаголов, таких как ibv_open_device или ibv_post_send, которые являются абстрактными представлениями функций или методов, которые должны существовать. Синтаксис этих функций оставлен на усмотрение поставщиков. Иногда для справки это называют API глаголов . Стандартное программное обеспечение де-факто разработано OpenFabrics Alliance и называется Open Fabrics Enterprise Distribution (OFED). Он выпускается под двумя лицензиями GPL2 или BSD для Linux и FreeBSD, а также под названием Mellanox OFED для Windows (названия продуктов: WinOF / WinOF-2; атрибутируется как драйвер хост-контроллера для соответствия конкретным устройствам ConnectX 3–5). [ 36 ] по выбору лицензии BSD для Windows.
Он был принят большинством поставщиков InfiniBand для Linux , FreeBSD и Microsoft Windows . IBM ссылается на библиотеку программного обеспечения под названием libibverbs, для своей операционной системы AIX , а также «глаголы AIX InfiniBand». [ 37 ]
Поддержка ядра Linux была интегрирована в 2005 году в ядро версии 2.6.11. [ 38 ]
Ethernet через InfiniBand
[ редактировать ]Ethernet over InfiniBand, сокращенно EoIB, представляет собой реализацию Ethernet на основе протокола InfiniBand и технологии разъемов. EoIB обеспечивает несколько полос пропускания Ethernet , различающихся в зависимости от версии InfiniBand (IB). [ 39 ] Ethernet Реализация пакета интернет-протоколов , обычно называемого TCP/IP, в некоторых деталях отличается от прямого протокола InfiniBand в IP over IB (IPoIB).
| Тип | Дорожки | Пропускная способность (Гбит/с) | Совместимые типы Ethernet | Совместимое количество Ethernet |
|---|---|---|---|---|
| СДР | 1 | 2.5 | от GbE до 2,5 GbE | 2 × GbE до 1 × 2,5 GbE |
| 4 | 10 | от GbE до 10 GbE | от 10 × GbE до 1 × 10 GbE | |
| 8 | 20 | от GbE до 10 GbE | от 20 × GbE до 2 × 10 GbE | |
| 12 | 30 | от GbE до 25 GbE | От 30 × GbE до 1 × 25 GbE + 1 × GbE | |
| ГДР | 1 | 5 | от GbE до 5 GbE | 5 × GbE до 1 × 5 GbE |
| 4 | 20 | от GbE до 10 GbE | от 20 × GbE до 2 × 10 GbE | |
| 8 | 40 | от GbE до 40 GbE | от 40 × GbE до 1 × 40 GbE | |
| 12 | 60 | от GbE до 50 GbE | От 60 × GbE до 1 × 50 GbE + 1 × 10 GbE | |
| ГДР | 1 | 10 | от GbE до 10 GbE | от 10 × GbE до 1 × 10 GbE |
| 4 | 40 | от GbE до 40 GbE | от 40 × GbE до 1 × 40 GbE |
См. также
[ редактировать ]- 100-гигабитный Ethernet
- Расширения iSCSI для RDMA
- iWARP
- Список битрейтов интерфейса
- Оптическая связь
- Параллельный оптический интерфейс
- Протокол SCSI RDMA
Ссылки
[ редактировать ]- ^ Jump up to: а б «Основные события – июнь 2016» . Топ500.Орг. Июнь 2016 года . Проверено 26 сентября 2021 г.
Технология InfiniBand теперь используется в 205 системах по сравнению с 235 системами и является второй наиболее часто используемой технологией внутреннего межсистемного соединения. Количество систем Gigabit Ethernet выросло до 218 со 182 систем, во многом благодаря тому, что 176 систем теперь используют интерфейсы 10G.
- ^ Jump up to: а б Тимоти Прикетт Морган (23 февраля 2016 г.). «Инженеры Oracle разрабатывают собственные межсоединения InfiniBand» . Следующая платформа . Проверено 26 сентября 2021 г.
- ^ Скотт Беккер (11 ноября 1998 г.). «Intel представляет ввод-вывод следующего поколения для вычислительных серверов» . Торговый партнер Редмонда . Проверено 28 сентября 2021 г.
- ^ Уилл Уэйд (31 августа 1999 г.). «Воюющие группы NGIO и Future I/O объединяются» . ЭЭ Таймс . Проверено 26 сентября 2021 г.
- ^ Пентакал, Одиссей. «Введение в архитектуру InfiniBand» . О'Рейли . Проверено 28 июля 2014 г.
- ^ «Хронология» . Мелланокс Технологии . Проверено 26 сентября 2021 г.
- ^ Ким, Тед. «Краткая история InfiniBand: от хайпа к прагматизму» . Оракул. Архивировано из оригинала 8 августа 2014 года . Проверено 28 сентября 2021 г.
- ^ Computerwire (2 декабря 2002 г.). «Sun подтверждает приверженность InfiniBand» . Регистр . Проверено 26 сентября 2021 г.
- ^ «Технологический институт штата Вирджиния построил компьютер мощностью 10 терафлопс» . Мир исследований и разработок . 30 ноября 2003 года . Проверено 28 сентября 2021 г.
- ^ Шон Майкл Кернер (24 февраля 2005 г.). «Ядро Linux 2.6.11 поддерживает InfiniBand» . Новости Интернета . Проверено 28 сентября 2021 г.
- ^ Альянс OpenIB (21 января 2005 г.). «Альянс OpenIB добился признания Kernel.org» . Пресс-релиз . Проверено 28 сентября 2021 г.
- ^ Jump up to: а б Энн Сильверторн (12 января 2006 г.), «Готов ли InfiniBand к возвращению?» , Инфостор , 10 (2) , получено 28 сентября 2021 г.
- ^ Коннор, Дени. «Что означает сделка Cisco-Topspin для InfiniBand» . Сетевой мир . Проверено 19 июня 2024 г.
- ^ Лоусон, Стивен (16 ноября 2009 г.). «Два конкурирующих суперкомпьютера борются за первое место» . Компьютерный мир . Проверено 29 сентября 2021 г.
- ^ Раффо, Дэйв. «Крупнейшие поставщики InfiniBand объединяются; рассматривают конвергентные сети» . Архивировано из оригинала 1 июля 2017 года . Проверено 29 июля 2014 г.
- ^ Микаэль Рикнес (20 июня 2011 г.). «Демонстрационная версия Mellanox, усовершенствованная версия InfiniBand» . ИТ-директор . Архивировано из оригинала 6 апреля 2012 года . Проверено 30 сентября 2021 г.
- ^ Майкл Фельдман (23 января 2012 г.). «Intel приобретает технологию InfiniBand, линейку продуктов от QLogic» . HPCwire . Проверено 29 сентября 2021 г.
- ^ «Nvidia приобретет Mellanox за 6,9 миллиарда долларов» . Пресс-релиз . 11 марта 2019 года . Проверено 26 сентября 2021 г.
- ^ Jump up to: а б «Информационный бюллетень о FDR InfiniBand» . Торговая ассоциация InfiniBand. 11 ноября 2021 г. . Проверено 30 сентября 2021 г.
- ^ Панда, Дхабалешвар К.; Саянтан-Сур (2011). «Ускорение скорости сети с помощью IB и HSE» (PDF) . Проектирование систем облачных и грид-вычислений с использованием InfiniBand и высокоскоростного Ethernet . Ньюпорт-Бич, Калифорния, США: CCGrid 2011. с. 23 . Проверено 13 сентября 2014 г.
- ^ «Дорожная карта InfiniBand: IBTA — Торговая ассоциация InfiniBand» . Архивировано из оригинала 29 сентября 2011 г. Проверено 27 октября 2009 г.
- ^ http://www.hpcadvisorycouncil.com/events/2014/swiss-workshop/presos/Day_1/1_Mellanox.pdf // Mellanox.
- ^ «Типы и скорости InfiniBand» .
- ^ «Интерфейсы» . Документы NVIDIA . Проверено 12 ноября 2023 г.
FDR10 — это нестандартная скорость передачи данных InfiniBand, при которой каждая линия порта 4X работает со скоростью передачи данных 10,3125 Гбит/с с кодировкой 64/66b, что обеспечивает эффективную пропускную способность 40 Гбит/с. FDR10 поддерживает на 20 % большую пропускную способность по сравнению с QDR благодаря лучшей скорости кодирования.
- ^ «Руководство пользователя аппаратной платформы коммутатора InfiniBand FDR SwitchX® на 324 порта» (PDF) . нвидиа . 2018-04-29. раздел 1.2 . Проверено 12 ноября 2023 г.
Обзор InfiniBand FDR и FDR10 [...] FDR, стандартная скорость передачи данных InfiniBand, при которой каждая полоса порта 4X имеет скорость передачи данных 14,0625 Гбит/с с кодировкой 64b/66b, что приводит к эффективной пропускной способности 54,54 Гбит/с. . Физический уровень FDR — это физический уровень, указанный IBTA, использующий различные типы блоков, механизм устранения перекоса и правила кадрирования. Коммутатор SX6518 также поддерживает FDR10, нестандартную скорость передачи данных InfiniBand, при которой каждая полоса порта 4X работает со скоростью передачи данных 10,3125 Гбит/с с кодировкой 64b/66b, что обеспечивает эффективную пропускную способность 40 Гбит/с.
- ^ Jump up to: а б с «Дорожная карта InfiniBand — развитие InfiniBand» . Торговая ассоциация InfiniBand .
- ^ "Введение" . Документы NVIDIA . Проверено 12 ноября 2023 г.
- ^ https://www.mellanox.com/files/doc-2020/pb-connectx-6-vpi-card.pdf [ только URL-адрес PDF ]
- ^ "Введение" . Документы NVIDIA . Проверено 12 ноября 2023 г.
- ^ «NVIDIA анонсирует новые коммутаторы, оптимизированные для вычислений на графических процессорах с триллионом параметров и инфраструктуры искусственного интеллекта» . Отдел новостей NVIDIA . Проверено 19 марта 2024 г.
- ^ «Часто задаваемые вопросы по спецификациям» . ИТА. Архивировано из оригинала 24 ноября 2016 года . Проверено 30 июля 2014 г.
- ^ «Mellanox OFED для FreeBSD» . Мелланокс . Проверено 19 сентября 2018 г.
- ^ Mellanox Technologies (3 декабря 2015 г.). «Руководство по интерфейсам ядра FreeBSD, mlx5en» . Справочные страницы FreeBSD . FreeBSD . Проверено 19 сентября 2018 г.
- ^ «Карты InfiniBand — обзор» . Мелланокс . Проверено 30 июля 2014 г.
- ^ «Внедрение InfiniBand в IBM System p (IBM Redbook SG24-7351-00)» (PDF) .
- ^ Mellanox OFED для Windows - WinOF / WinOF-2
- ^ «API глаголов» . Документация IBM AIX 7.1 . 2020 . Проверено 26 сентября 2021 г.
- ^ Дотан Барак (11 марта 2014 г.). «Учебник по программированию глаголов» (PDF) . ОпенШЕМ, 2014 . Мелланокс . Проверено 26 сентября 2021 г.
- ^ «10 преимуществ InfiniBand » НАДДОД . Получено 28 , января
Внешние ссылки
[ редактировать ]- Керр, Грегори (2011), Анализ небольшого приложения InfiniBand с использованием Verbs API , arXiv : 1105.1827 , Bibcode : 2011arXiv1105.1827K
- Веб-сайт торговой ассоциации InfiniBand
| Базы данных органов управления : Национальные |
|---|
