Infiniband что это

InfiniBand

Infiniband — высокоскоростная коммутируемая последовательная шина, применяющаяся как для внутренних (внутрисистемных), так и для межсистемных соединений.

Описания Infiniband специфицированы, поддержкой и развитием спецификаций занимается InfiniBand Trade Association .

Краткое описание

CX4 порты InfiniBand (коммутатор Voltaire ISR-6000)

CX4 (SFF 8470) кабель InfiniBand

Подобно PCI Express, Infiniband использует двунаправленную последовательную шину. Базовая скорость — 2,5 Гбит/с в каждом направлении, применяются порты, состоящие из групп в 1x, 4x и 12x базовых двунаправленных шин (англ. lanes ). Существуют режимы Single Data Rate (SDR) — работа с базовой скоростью, Double Data Rate (DDR) — битовая скорость равна удвоенной базовой и Quad Data Rate (QDR) — соответственно, учетверенной. Режимы SDR, DDR и QDR используют кодирование 8B/10B. В настоящий момент (2011 г.) чаще всего применяются порты 4x QDR.

Базовая скорость 1х шины для режима FDR составляет 14.0625 Гбит/с, а для EDR 25.78125 Гбит/с. Режимы FDR и EDR используют кодирование 64/66B.

Основное назначение Infiniband — межсерверные соединения, в том числе и для организации RDMA (Remote Direct Memory Access).

Пропускная способность интерфейса Infiniband, raw / data

SDR	DDR	QDR	FDR	EDR
1X	2,5 / 2 Гбит/с	5 / 4 Гбит/с	10 / 8 Гбит/с	14,0625 / 14 Гбит/с	25,78125 / 25 Гбит/с
4X	10 / 8 Гбит/с	20 / 16 Гбит/с	40 / 32 Гбит/с	56,25 / 56 Гбит/с	103,125 / 100 Гбит/с
12X	30 / 24 Гбит/с	60 / 48 Гбит/с	120 / 96 Гбит/с	168,75 / 168 Гбит/с	309,375 / 300 Гбит/с

Отличительные особенности FDR

FDR InfiniBand характеризуется следующими основными параметрами:

Параметры Link speed увеличились до 14 Гбит/с на линию или 56 Гбит/с по четырем линиям, т. е. увеличение происходит почти на 80% по сравнению с предыдущими поколениями InfiniBand (большинство портов InfiniBand представлены портами с четырьмя линиями);

Показатель Link кодировки для FDR InfiniBand был изменен с 8 бит/10 бит на 64 бит/66 бит. Это позволило повысить эффективность передачи данных и подключения устройств хранения;

Улучшены механизмы коррекции ошибок сети за счет использования технологии Forward Error Correction, которая позволяет устройствам InfiniBand исправлять битовые ошибки в сети и сокращает издержки на данные транзакции. Новый механизм обеспечивает высокую надежность сети, в частности для крупных ЦОДов, высокопроизводительных вычислений и облачных сервисов.

Протоколы и API

Infiniband используется следующими протоколами и API:

RDMA (англ.Remote Direct Memory Access ) — группа протоколов удалённого прямого доступа к памяти, при котором передача данных из памяти одного компьютера в память другого компьютера происходит без участия операционной системы, при этом исключается участие CPU в обработке кода переноса и необходимость пересылки данных из памяти приложения в буферную область ОС, то есть данные пересылаются напрямую на соответствующий сетевой контроллер.
uDAPL (англ.User Direct Access Programming Library ) — библиотека API для абстрактного транспорта прямого доступа (англ.Direct Access Transport , DAT). uDAPL (и другие API — в частности kDAPL — kernel DAPL) разрабатывается и поддерживается организацией DAT Collaborative.

IPoIB (IP over Infiniband) — группа протоколов, описывающих передачу IP-пакетов поверх Infiniband:

RFC 4390 Dynamic Host Configuration Protocol (DHCP) over InfiniBand
RFC 4391 Transmission of IP over InfiniBand (IPoIB)
RFC 4392 IP over InfiniBand (IPoIB) Architecture

Характеристики

Производители: наиболее распространены аппаратные решения от компаний Qlogic, Mellanox, Voltaire, Topspin. Компания Topspin была приобретена компанией Cisco в 2005-м году, Mellanox купил Voltaire в 2010-м [1] , а Intel приобрел Qlogic в 2012-м [2] .
Тесты производителей показывают пропускную способность на уровне MPI порядка единиц и десятков сотен МБ/сек и время передачи коротких сообщений порядка 1—7 мкс.
Топология: коммутируемая с использованием Fat Tree для больших конфигураций, существующие коммутаторы поддерживают большое количество (>256) портов.
Программное обеспечение: драйверы от производителей аппаратных средств, различные библиотеки MPI как коммерческие так и открытые.
Корпорацией Oracle Corporation был разработан специальный протокол RDS, ориентированный на работу с этой шиной.

Другие сети для суперкомпьютеров

Ниже приведены наиболее часто используемые типы коммуникаций для суперкомпьютеров и их основные характеристики.

Примечания

↑Mellanox Technologies
↑Intel buys QLogic’s InfiniBand assets for $125 million | ZDNet

Ссылки

Обзор InfiniBand // МКА
Реклама: FDR InfiniBand — протокол нового поколения // PC Week Review: HPC-системы, февраль 2012

Компьютерные шины
Основные понятия	Шина адреса • Шина данных • Шина управления • Пропускные способности
Процессоры	BSB • FSB • DMI • HyperTransport • QPI
Внутренние	AGP • ASUS Media Bus • EISA • InfiniBand • ISA • LPC • MBus • MCA • NuBus • PCI • PCIe • PCI-X • Q-Bus • SBus • SMBus • VLB • VMEbus • Zorro III
Ноутбуки	ExpressCard • MXM • PC Card
Накопители	ST-506 • ESDI • ATA • eSATA • Fibre Channel • HIPPI • iSCSI • SAS • SATA • SCSI
Периферия	1-Wire • ADB • I²C • IEEE 1284 (LPT) • IEEE 1394 (FireWire) • Multibus • PS/2 • RS-232 • RS-485 • SPI • USB • Игровой порт
Универсальные	Futurebus • InfiniBand • QuickRing • SCI • RapidIO • IEEE-488 • Thunderbolt (Light Peak)

Сетевые кабели
Последовательные шины
Серверное оборудование
Сети суперкомпьютеров

Wikimedia Foundation . 2010 .

В чем разница между картой Ethernet и адаптером InfiniBand?

NIC — это контроллер сетевого интерфейса, также известный как сетевой адаптер или карта сетевого интерфейса, который используется на компьютерах и серверах. Он может обмениваться данными с коммутаторами, устройствами хранения, серверами и рабочими станциями через сетевые соединительные кабели (витая пара, оптоволокно и т. д.). С ростом популярности на рынке и технических возможностей существуют также различные типы сетевых карт, такие как карты Ethernet и карты InfiniBand. В этой статье также рассматриваются различия между картой Ethernet и адаптером InfiniBand, и мы надеемся помочь вам выбрать наиболее подходящую сетевую карту.

Что такое Ethernet-карта?

Карта Ethernet — это сетевой адаптер, подключаемый к разъему материнской платы и поддерживающий стандарт протокола Ethernet. Каждый сетевой адаптер имеет глобально уникальный физический адрес, называемый MAC-адресом. Данные могут быть точно отправлены на конечный компьютер на основе MAC-адреса сетевого адаптера. Существует множество типов карт Ethernet и различные методы классификации. Их можно разделить по пропускной способности, сетевому интерфейсу и шинному интерфейсу. Карта Ethernet с оптическим интерфейсом называется оптоволоконной картой Ethernet (адаптером Fiber-Ethernet). Он следует протоколу связи Ethernet по оптоволоконному кабелю и обычно подключается к коммутатору Ethernet по оптоволоконному кабелю через оптоволоконный кабель. Это наиболее широко используемый тип сетевой карты. В настоящее время адаптеры Fiber-Ethernet можно классифицировать по интерфейсу шины и пропускной способности.

Классификация интерфейса шины

Типы интерфейса шины карты Ethernet можно разделить на PCI, PCI-Express (сокращенно PCI-E), USB и ISA. ISA/PCI — это более ранний шинный интерфейс, который постепенно выводится из эксплуатации по мере того, как технология становится более зрелой. В настоящее время PCIe является наиболее используемым шинным интерфейсом и очень распространен в промышленных приложениях и серверных компьютерах.

1. Как работает карта PCIe?

PCIe — это последовательное подключение, которое больше похоже на сеть, чем на шину. Наиболее очевидным отличием от других шинных интерфейсов, обрабатывающих данные из разных источников, является то, что PCIe управляет потоком данных через коммутатор для двухточечного соединения. Плата PCle вставляется в слот и создает логическое соединение (взаимосоединение или ссылку) для связи друг с другом. Как правило, он поддерживает каналы связи «точка-точка» между двумя портами PCle и может выполнять действия по отправке и получению обычных запросов или прерываний PCI.

2. Каковы категории карт PCIe?

Технические характеристики: Обычно количество каналов в слоте PCle определяет спецификацию платы PCle. Обычные карты PCle имеют следующие физические характеристики: x1, x4, x8, x16 и x32. Например, карта PClex8 означает, что карта имеет восемь каналов. Версия: PCIe заменяет старые стандарты шины PCI и PCI-X и постоянно модифицируется для удовлетворения растущего спроса на высокую пропускную способность. Самая ранняя версия PCIe 1.0 (2.5 ГТ/с) была выпущена в 2002 г. Позже появились PCIe 2.0 (5 ГТ/с), PCIe 3.0 (8 ГТ/с), PCIe 4.0 (16 ГТ/с), PCIe 5.0 (32 ГТ/с), Появились PCIe 6.0 (64 ГТ/с) и PCIe7.0 (128 ГТ/с). Все версии PCIe поддерживают обратную совместимость.

Классификация Bи ширина

Поскольку интернет-трафик растет день ото дня, сетевое оборудование находится под давлением со стороны крупных интернет-провайдеров, которые вынуждены постоянно обновлять и обновлять его с более высокими требованиями к производительности для достижения скорости передачи данных 10G, 25G, 40G или до 100G. Некоторая основная информация о них будет подробно описана в следующих разделах.

1. Волокно 10G адаптер(Ethernet-сервер адаптер)

оптоволоконный сетевой адаптер 10G использует 32/64-битную сетевую карту шины PCI, поддерживает одномодовое или многомодовое оптоволокно 10G и подходит для построения магистральных сетей предприятий и кампусов. В то же время 10G Ethernet может передавать до 100 километров, что может удовлетворить требования к передаче в мегаполисе. Развертывание сети 10G на магистральном уровне MAN может значительно упростить структуру сети, снизить затраты и упростить обслуживание. Сквозной Ethernet используется для создания MAN с низкой стоимостью, высокой производительностью и богатыми возможностями поддержки услуг.

2. Волокно 25G адаптер

Оптоволоконные адаптеры 25G Компенсируйте низкую пропускную способность 10G Ethernet и высокую стоимость 40G Ethernet за счет использования одноканальной технологии физического уровня 25 Гбит/с для обеспечения передачи 100G на основе четырех волоконно-оптических каналов 25 Гбит/с. Поскольку пакет SFP28 основан на пакете SFP+ и оба имеют одинаковый размер, порт оптоволоконного адаптера 25G может поддерживать скорости 25G, а также 10G. По сравнению с сетевым адаптером 10G, 25G волоконно-оптическая сетевая карта имеет большую пропускную способность для удовлетворения сетевых потребностей высокопроизводительных вычислительных кластеров, в 100G или даже более высокоскоростных обновлениях сети оптоволоконный адаптер 25G станет одной из незаменимых инфраструктур.

3. Волокно 40G адаптер

Оптоволоконный адаптер 40G имеет интерфейс 40G QSFP+, поддерживающий пропускную способность 40 Гбит/с. Он также поддерживает стандартный слот PCI-e x8 для обеспечения эффективной и стабильной работы. Обычно доступны с одним и двумя портами, Оптоволоконные сетевые адаптеры 40G представляют собой высокопроизводительное межсетевое решение для корпоративных центров обработки данных, облачных вычислений, высокопроизводительных вычислений и встроенных сред.

4. 100 ГБ волокно адаптер

Сетевые карты 100G также играют незаменимую роль в центре обработки данных.

В настоящее время наиболее распространенными на рынке оптоволоконными сетевыми адаптерами 100G являются однопортовые и двухпортовые. Каждый порт может обеспечивать Ethernet со скоростью до 100 Гбит/с, обеспечивая адаптивную маршрутизацию надежной передачи и расширяя возможности разгрузки vSwitch/vRouter. Сетевые карты 100G Fibre предоставить высокопроизводительное и гибкое решение, offряд инновационных offнагрузки и ускорители в оборудовании для повышения эффективности сетей центров обработки данных и подключений к хранилищам. Соединение между сервером и коммутатором увеличивается до более высокой пропускной способности. Карта Ethernet 25G стала основным промежуточным устройством между сервером 25G и коммутатором 100G. И поскольку центр обработки данных растет до 400G с беспрецедентной скоростью, соединение между серверами и коммутаторами вырастет до 100G, сетевые карты 100G также играют незаменимую роль в центре обработки данных.

Wшляпа адаптер InfiniBand?

Сеть InfiniBand

nfiniband широко используется в высокопроизводительных вычислениях

В качестве стандарта связи компьютерной сети InfiniBand широко используется в высокопроизводительных вычислениях (HPC) благодаря своим преимуществам высокой пропускной способности и сверхнизкой задержке передачи по сети. Сеть InfiniBand может быть расширена по горизонтали за счет коммутационных сетей, чтобы адаптироваться к сетевым требованиям различного масштаба. По состоянию на 2014 год большинство суперкомпьютеров TOP500 используют сетевую технологию InfiniBand. В последние годы приложения, связанные с ИИ и большими данными, также используют сети InfiniBand для обеспечения высокопроизводительного развертывания кластеров. В качестве многоуровневого протокола InfiniBand определяет многоуровневый стек протоколов, аналогичный семиуровневой модели протокола OSI. Коммутаторы IB создают частный и защищенный прямой канал на узле сервера. В этом канале передача данных и сообщений больше не будет требовать обработки ЦП, а будет осуществляться напрямую через RDMA. Таким образом, функции приема и отправки offзагружается в адаптер InfiniBand для обработки. Физически адаптеры InfiniBand подключаются к памяти ЦП на основе интерфейсов PCIe, обеспечивая более высокую пропускную способность, меньшую задержку и большую масштабируемость, чем другие протоколы связи.

Адаптер InfiniBand

Архитектура InfiniBand определяет набор аппаратных компонентов, необходимых для развертывания архитектуры, и сетевая карта InfiniBand является одним из них. Адаптер InfiniBand также называется адаптером хост-канала HCA. HCA — это точка, в которой конечный узел InfiniBand (например, сервер или устройство хранения) подключается к сети InfiniBand. Архитекторы InfiniBand потратили много времени на то, чтобы архитектура могла реализовать больше, чем конкретная функция HCA, требуемая в одном аппаратном, микропрограммном или программном обеспечении, чтобы окончательный набор аппаратного, программного и микропрограммного обеспечения, представляющий функцию HCA, обеспечивал доступ к сетевым ресурсам для приложения. По сути, структура очереди, используемая приложением для доступа к оборудованию InfiniBand, отображается непосредственно в виртуальном адресе приложения. Тот же самый механизм преобразования адресов является средством доступа HCA к памяти от имени приложений пользовательского уровня. Часто приложения ссылаются на виртуальные адреса; HCA могут преобразовывать эти адреса в физические адреса для передачи информации.

Преимущества InfiniBand адаптер

Сетевые карты InfiniBand обеспечивают высочайшую производительность и наиболее масштабируемое решение для межсетевого взаимодействия для серверов и систем хранения. В частности, в высокопроизводительных вычислениях, Web 2.0, облачных вычислениях, больших данных, финансовых услугах, виртуализированных центрах обработки данных и приложениях для хранения данных будет наблюдаться значительное повышение производительности, что приведет к сокращению времени выполнения и снижению общих затрат на процессы.
Адаптеры InfiniBand — идеальное решение для кластеров высокопроизводительных вычислений, которым требуется высокая пропускная способность, высокая скорость передачи сообщений и низкая задержка для достижения высокой эффективности сервера и производительности приложений.
Карта InfiniBand offзагружает обработку протокола и перемещение данных ЦП от ЦП к соединению, максимально повышая эффективность ЦП и выполняя сверхбыструю обработку моделирования с высоким разрешением, больших наборов данных и алгоритмов с высокой степенью параллелизма.

Как выбрать InfiniBand Cеть Карты

Пропускная способность сети: 100G, 200G, 400G
Количество адаптеров в одной машине
Скорость порта: 100 Гбит/с (HDR100/EDR), 200 Гбит/с (HDR)
Количество портов: 1/2
Тип хост-интерфейса: PCIe3/4 x8/x16, OCP2.0/3.0
Требуется ли функция Socket-Direct или Multi-host

InfiniBand против Ethernet

Пропускная способность: Поскольку эти два приложения отличаются друг от друга, требования к пропускной способности также различаются. Ethernet — это скорее соединение терминальных устройств, поэтому нет большой потребности в пропускной способности. InfiniBand используется для соединения серверов в высокопроизводительных вычислениях. При этом учитывается не только взаимосвязь, но и то, как снизить нагрузку на ЦП при высокоскоростной передаче по сети. Благодаря технологии RDMA, Сеть InfiniBand может добиться разгрузки ЦП при высокоскоростной передаче и улучшить использование сети. Следовательно, значительное увеличение скорости процессора не приведет к потере большего количества ресурсов для сетевой обработки и не замедлит развитие производительности HPC.
Задержка: В основном разделены на коммутатор и сетевой адаптер для сравнения. Для коммутатора: как второй уровень технологии в модели сетевой передачи, Ethernet-коммутаторы имеют длительный процесс обработки, который обычно составляет несколько мкс (более 200 нс при поддержке сквозной передачи), в то время как коммутаторы InfiniBand имеют очень простую обработку уровня 2. Технология Cut-Through может значительно сократить задержку пересылки до менее чем 100 нс, что намного быстрее, чем у Ethernet-коммутаторов. Для сетевых адаптеров: используя технологию RDMA, сетевые карты InfiniBand могут пересылать пакеты без прохождения через ЦП, что значительно ускоряет задержку инкапсуляции и декапсуляции пакетов (обычно задержка приема и отправки составляет 600 нс). Однако задержка передачи и отправки приложений TCP и UDP на основе Ethernet составляет около 10 мкс, с разницей более чем в десять раз.
Надежность: В области высокопроизводительных вычислений повторная передача потерянных пакетов оказывает большое влияние на общую производительность. Следовательно, необходим высоконадежный сетевой протокол для обеспечения характеристик сети без потерь на уровне механизма, чтобы достичь ее характеристик высокой надежности. InfiniBand — это полноценный сетевой протокол с собственными форматами уровней от 1 до 4. Пакеты отправляются и принимаются в сети на основе сквозного управления потоком. При передаче по сети InfiniBand не происходит накопления кэш-памяти, поэтому джиттер задержки сводится к минимуму, что создает идеальную чистую сеть. Сеть, построенная на базе Ethernet, не имеет механизма управления потоком планирования, что не только дорого обходится, но и требует большего энергопотребления. Кроме того, из-за отсутствия сквозного механизма управления потоком сеть будет появляться в несколько экстремальных случаях, что приводит к перегрузке кэша и потере пакетов, что приводит к значительным колебаниям производительности пересылки данных.
Networking: сеть Ethernet требует, чтобы каждый сервер в сети периодически отправлял пакеты, чтобы обеспечить обновление записей в реальном времени. Когда количество узлов в сети увеличивается до определенного уровня, генерируются широковещательные штормы, что приводит к серьезной трате пропускной способности сети. В то же время отсутствие механизма обучения записи в таблице в сети Ethernet приведет к петлевой сети, а Ethernet не имеет специального SDN, поэтому формат пакета или механизм пересылки необходимо изменить, чтобы соответствовать требованиям SDN во время сети. развертывания, что увеличивает сложность конфигурации сети. InfiniBand рождается с концепцией SDN. Каждая сеть InfiniBand уровня 2 имеет диспетчер подсети для настройки идентификатора узла (LocalID) в сети. Затем информация о пути пересылки равномерно вычисляется через плоскость управления и доставляется на коммутатор InfiniBand. Таким образом, сеть InfiniBand уровня 2 можно настроить без какой-либо настройки, избежать переполнения, а также избежать разрывов VLAN и кольцевой сети. Таким образом, можно легко развернуть большую сеть уровня 2 с десятками тысяч серверов.

Платформа NVIDIA Quantum InfiniBand

Обеспечьте сквозную высокопроизводительную сеть для научных вычислений, искусственного интеллекта и облачных дата-центров.

Сетевые решения InfiniBand

Сложные задачи требуют сверхбыстрой обработки моделей с высоким разрешением, больших наборов данных и алгоритмов с высокой степенью параллелизма. NVIDIA Quantum InfiniBand — единственная в мире полностью разгружаемая сетевая платформа, которая обеспечивает максимальную производительность в задачах высокопроизводительных и облачных вычислений и искусственного интеллекта при меньших затратах и сложности.

The Developer Conference for the Era of AI and the Metaverse

Conference & Training September 19 — 22 | Keynote September 20

Join us this September for a GTC that will inspire your next big idea. This is a don’t miss opportunity to learn from experts and leaders in their fields on how AI is transforming industries and profoundly impacting the world. It all happens online September 19-22.

A Deep Dive into DPU Computing: Addressing HPC/AI Performance Bottlenecks

Gilad Shainers | NVIDIA

We’ll dive deep into DPU computing, and how it can help address long-lasting performance bottlenecks. We’ll also present performance results of a variety of HPC and AI applications.

View Details

InfiniBand the Network that Accelerates HPC and AI Environments

Oded Paz | NVIDIA

In this workshop you will have the opportunity to experience how simple it to operate and manage an InfiniBand fabric from an administrator point of view.

View Details

The Never-Ending Evolution of Computing

Michael Kagan | NVIDIA

We’ll review the ongoing changes and the latest breakthrough to the way cloud computing is architected, connected, optimized, and managed, and explains why the evolution of computing will never stand still, and why the only constant in computing will be continued changes to how it’s done.

View Details
Register Free
See All Networking Sessions

Адаптеры InfiniBand

Канальные адаптеры хоста (HCA) InfiniBand гарантируют низкую задержку, высокую пропускную способность и поддержку инновационной технологии NVIDIA In-Network Computing, что позволяет обеспечить ускорение, масштабируемость и широкий функционал для современных задач.

Читать о ConnectX InfiniBand

Блоки обработки данных (DPU )

NVIDIA ® BlueField ® DPU сочетает в себе огромную вычислительную мощность, высокоскоростное сетевое соединение и обширные возможности программирования, что позволяет создавать программно определяемые решения с аппаратным ускорением для самых требовательных задач. BlueField переосмысляет границы возможного в широком спектре технологий: от ускоренных вычислений для ИИ и научных вычислений до облачных супервычислений.

Подробнее
Узнайте, как DPU ускоряют нагрузки с интенсивным использованием данных

Коммутаторы InfiniBand

Коммутационные системы InfiniBand обеспечивают высочайшую производительность и плотность порта. Масштабируемая иерархическая агрегация с протоколом редукции (SHARP)™, возможности самовосстановления сетей, гарантированное качество обслуживания (QoS), продвинутый мэппинг виртуальных каналов (virtual lane mapping) и технология NVIDIA In-Network Computing обеспечивают высокую производительность системы в задачах промышленных и научных вычислений, а также ИИ.

FDR InfiniBand — протокол нового поколения

20 июня 2011 г. компания Mellanox Technologies представила новое, полное решение FDR InfiniBand (Fourteen Data Rate) 56Gb/s, состоящее из адаптеров (HBA), коммутаторов, кабелей и программного обеспечения. Адаптеры ConnectX 3 FDR 56Gb/s InfiniBand, коммутаторы серии SX-6000, Unified Fabric Manager (UFM), Mellanox ОС (MLNX-OS), ПО, медные и оптические кабели, сертифицированные для передачи сигнала FDR, гарантируют высокий уровень сетевой производительности и низкое энергопотребление. Технология обеспечивает эффективную работу с сетями для высокопроизводительных вычислений, финансовых услуг, баз данных, виртуализированных ЦОД и облачных вычислений.

FDR InfiniBand

1999: Single Data Rate (SDR) 2,5 Гбит/с;
2004: Double Data Rate (DDR) 5 Гбит/с;
2008: Quad Data Rate (QDR) 10 Гбит/с;
2011: Fourteen Data Rate (FDR) 14,0625 Гбит/с.

При переходе к каждой следующей реализации протокола происходил номинальный двукратный рост потоковой производительности.

В случае FDR непосредственное увеличение пропускной способности составило около 40% по сравнению с предыдущей версией протокола QDR, однако, по данным производителя, реальные результаты тестов по пропускной способности и задержкам демонстрируют рост производительности, близкий к 100%, что позволяет утверждать, что и в данном случае реализация новой версии протокола обеспечивает двукратный рост основных характеристик.

Отличительные особенности технологии

FDR InfiniBand характеризуется следующими основными параметрами.

Параметры Link speed увеличились до 14 Гбит/с на линию или 56 Гбит/с по четырем линиям, т. е. увеличение происходит почти на 80% по сравнению с предыдущими поколениями InfiniBand.
Показатель Link кодировки для FDR InfiniBand был изменен с 8 бит/10 бит на 64 бит/66 бит. Это позволило повысить эффективность передачи данных и подключения устройств хранения.
Улучшены механизмы коррекции ошибок сети за счет использования технологии Forward Error Correction. Эта технология позволяет устройствам InfiniBand исправлять битовые ошибки и сокращает издержки при выполнении транзакций. Новый механизм обеспечивает высокую надежность сети, что особенно важно для крупных ЦОД, при выполнении высокопроизводительных вычислений и реализации облачных сервисов.
FDR InfiniBand имеет полную обратную совместимость с предыдущими поколениями InfiniBand — SDR, DDR и QDR, в том числе и по аппаратным элементам. Совместно с новым стандартом шины PCIe Gen3 этот протокол обеспечивает выход к новому уровню возможностей кластеризации и следующий шаг к оптимизации пропускной способности ЦОД, к повышению эффективности, надежности и масштабируемости.

Что даст использование FDR InfiniBand конечным пользователям

InfiniBand предоставляет конечным пользователям возможность построения решений, характеризующихся превосходной реакцией приложений на запросы пользователей из различных областей индустрии, улучшает соотношение между стоимостью и производительностью с одновременным снижением времени развертывания и стоимости владения. InfiniBand FDR в настоящее время является самой эффективной технологией, которая позволяет строить современные сети нового поколения для корпоративных дата-центров.

Перспективы развития InfiniBand

The InfiniBand Trade Association продемонстрировала дорожную карту развития пропускной способности InfiniBand на ближайшие несколько лет.

Вкратце её можно описать так: 1x, 4x, 8x и 12x EDR (Eight Data Rate) и FDR, включая кодирование 64 бит/66 бит, с применением диапазона рабочих частот, достигающим 300 Гбит/с (прогнозируемая скорость EDR к концу 2012 — началу 2013 г.).

С появлением FDR InfiniBand 56Gb/s с поддержкой PCIe Gen3, ConnectX-3 стало возможным удвоить пропускную способность сетей хранения данных, что позволяет устранить одно из самых узких мест в современных серверных решениях. Значительные усовершенствования были введены в реализации технологии FDR ConnectX-3 от компании Mellanox — это оптимизированное время задержек, надежность, увеличенная пропускная способность и масштабируемось, а также лучшие в отрасли аппаратные ускорители MPI. Решение Mellanox end-to-end FDR InfiniBand аккумулирует все то, что способствует обеспечению лучшей в своём роде производительности и эффективности для обоих поколений систем PCIe Gen2 и PCIe Gen3. При использовании такого решения пропускная способность может достичь еще более высоких показателей за счет использования программного обеспечения Mellanox’s VMA Messaging Acceleration.

Линейка одноюнитовых коммутаторов Mellanox SwitchX SX-серии 6000 обеспечивает неблокирующую пропускную способность свыше 4 Тбит/с, при этом гарантируется чрезвычайно низкое время задержек при передаче от порта к порту. Коммутаторы серии SX6000 позволяют эффективно проводить вычисления как для маленьких, так и для очень больших по масштабу кластеров, реализуя функции статической и адаптивной маршрутизации, контроль перегрузки и коррекцию ошибок на аппаратном уровне. Эти особенности, поддерживаемые пакетом системного ПО MLNX-OS, обеспечивают максимальную эффективную пропускную способность фабрики InfiniBand за счет исключения узких точек сети и предоставления высокого уровня надежности. Новые функции чипов SX позволяют создавать основанные на аппаратных средствах маршрутизаторы InfiniBand и шлюзы для соединения с сетями Ethernet и Fibre Channel, что обеспечивает дальнейший рост масштабируемости и возможностей конвергенции. Коммутаторы серии SX6000 могут работать под управлением Mellanox’s Unified Fabric Manager, при этом появляются дополнительные функции контроля сети. UFM анализирует логический и виртуальный образ физических ресурсов для достижения высокой степени контроля над оптимизацией производительности приложений и временем бесперебойной работы. В случае параллельных вычислений или при создании конвергентных фабрик серия SX6000 демонстрирует самую высокую в индустрии пропускную способность и позволяет легко и эффективно строить кластеры, состоящие из тысяч и десятков тысяч узлов.

Mellanox рекомендует использовать для реализации FDR только специальные сертифицированные кабели и предоставляет широкую номенклатуру этих элементов сети. Это дает возможность добиваться лучшей в отрасли производительности и надёжности соединения. Пассивные медные кабели Mellanox FDR длиной до 5 м являются наиболее экономически рентабельными, их применение значительно снижает затраты на подключение. Активные оптические кабели Mellanox FDR, в свою очередь, предназначены для того чтобы удовлетворить более высокие требования, обеспечивая подключение крупномасштабных систем и коммутаторов на, как правило, большем расстоянии. Кабели Mellanox FDR обладают повышенной надежностью и в обязательном порядке проходят ряд тестовых испытаний, что гарантирует безусловную совместимость и позволяет реализовывать надежную высокоскоростную связь на скорости 56 Гбит/с.

Компания DSCon (www.dscon.ru; тел.: +7 (495) 644-49-11) 10 лет работает на рынке аппаратного и программного обеспечения для построения центров обработки данных и является дистрибьютором крупнейших мировых поставщиков. Специалисты компании будут рады предоставить более подробные описания технологии и продуктов Mellanox, а также по вашему запросу реализовать законченные решения “под ключ”.

НА ПРАВАХ РЕКЛАМЫ