Бэкплейн что это

Оборудование СХД: основные компоненты и их назначение

Система хранения данных (СХД) представляет собой комплекс аппаратного и программного обеспечения, который обеспечивает хранение данных на физических носителях и предоставляет доступ к этим данным на установленных условиях.

При построении СХД инженеры стараются подбирать компоненты решения таким образом, чтобы получить необходимый объем хранения, обеспечить высокую скорость обработки данных на чтение и на запись, а также их максимальную сохранность и доступность.

В этом материале мы представили справочную информацию о том, из чего состоят современные СХД, какие базовые характеристики существуют у их функциональных частей, и на что следует смотреть в первую очередь, если вы не так давно в этой отрасли.

Аппаратные компоненты СХД

С аппаратной точки зрения, система хранения данных выглядит как цепочка компонентов, включающая уровень физического размещения данных (например, жесткие диски), уровни их подключения и обработки (дисковый контроллер и контроллер СХД) и уровень передачи (сетевые адаптеры), на котором будут подключаться клиенты (серверы и компьютеры пользователей).

Рисунок 1. Цепочка оборудования в системе хранения данных.

Все эти компоненты имеют свои особенности и характеристики, которые следует учитывать при построении СХД или модернизации уже существующих систем. Понимание роли и места каждого уровня этой цепочки помогает понять, как образуется производительность системы, из чего складывается ее стоимость и на какие аспекты следует обратить внимание при эксплуатации.

Накопители в СХД

СХД может работать с разными носителями данных: магнитная лента, оптические диски, жесткие диски (HDD) и твердотельные накопители (SSD/NVMe). Мы рассмотрим только два последних типа, так как именно они распространены в качестве универсальных носителей в большинстве систем.

Надо понимать, что накопители в СХД задают аппаратный предел производительности: система не может работать быстрее, чем сумма производительности ее накопителей. Медленнее — может.

Накопители имеют много важных параметров и характеристик, которые следует учитывать при построении СХД, но базовыми атрибутами, пожалуй, можно назвать тип интерфейса и форм-фактор.

Интерфейсы современных HDD и SSD

Интерфейс представляет собой протокол взаимодействия накопителя и вычислительных ресурсов системы. Интерфейс является важным фактором, влияющим на параметры накопителя: от него зависит пропускная способность, время задержки, расширяемость, возможность горячей замены и, конечно же, стоимость.

Интерфейсы SATA и SAS изначально появились на HDD-дисках, но затем стали стандартом и для SSD. Однако SATA и SAS не могут раскрыть весь потенциал производительности SSD, поэтому для подключения твердотельных накопителей все чаще используется интерфейс PCIe и протокол NVMe. Также стоит отметить NL-SAS диски, которые по сути являются гибридом SAS-интерфейса и SATA накопителя.

Таблица 1. Общее сравнение характеристик HDD и SSD накопителей

Класс	HDD			SSD
Интерфейс	SATA	SAS		SATA	SAS	PCIe
Накопитель	SATA	NL-SAS	SAS	SATA	SAS	NVMe
Надежность	Низкая	Средняя	Высокая	Средняя	Высокая	Высокая
Производительность	Низкая	Низкая	Средняя	Высокая	Высокая	Очень высокая
Стоимость	Низкая	Низкая	Средняя	Средняя	Высокая	Очень высокая

Форм-фактор

Все HDD имеют схожую конструкцию подвижных элементов, поэтому их внешний корпус — это прямоугольный кейс типа SFF (Small Form Factor, 2.5″) или LFF (Large Form Factor, 3.5″). Каждый из этих типов корпуса может иметь различные разъемы интерфейса.

Рисунок 2. Western Digital Ultrastar SN640 в форм-факторе SFF 2.5″ (слева) и Seagate Exos X12 в форм-факторе LFF 3.5″ (справа).

Flash-накопители не имеют движущихся деталей и поэтому реализованы в более разнообразных формах. Дополнительным импульсом для разнообразия форм-факторов SSD стало развитие PCIe-интерфейса, который добавил варианты прямого размещения накопителей на серверной платформе.

Таблица 2. Форм-факторы HDD и SSD накопителей

Форм-фактор	HDD	SSD
3.5″ (LFF)	SATA, NL-SAS, SAS	—
2.5″ (SFF)	SATA, NL-SAS, SAS	SATA, SAS, NVMe
M.2*	—	SATA, NVMe
Add-In Card (AIC)	—	NVMe
EDSFF	—	NVMe

*используются в качестве системных дисков

Рисунок 3. Intel Optane SSD в форм-факторе Add-In-Card HHHL (Half-Height Half-Length).

Форм-фактор является достаточно динамичным параметром, который постоянно меняется и совершенствуется в зависимости как от изменения интерфейсов, так и от изменения подходов к построению СХД. Более подробно про актуальные форм-факторы можно прочитать на сайте SNIA.

JBOD

В современных СХД накопители могут размещаться как в основном корпусе СХД, так и в дисковых корзинах — JBOD (Just a Bunch Of Drives). Физически такие корзины представляют собой корпус для монтажа в стойку, заполненный накопителями. Для NVMe накопителей сейчас активно используются JBOF (Just a Bunch Of Flash), специализированные дисковые корзины для флеш-накопителей. Например, OpenFlex Data24 от компании Western Digital.

Рисунок 4. Дисковая корзина WD Ultrastar Data102.

Дисковый контроллер и бэкплейн

Дисковый контроллер (HBA)

В системах хранения данных дисковый контроллер является устройством, через которое подключенные накопители передаются вычислительным ресурсам системы. Физически дисковый контроллер обычно представлен отдельной картой расширения, но также может быть в виде чипа, интегрированного в непосредственно в материнскую плату. Если говорить простым языком, то дисковый контроллер позволяет видеть и работать с дисками всем следующим уровням СХД.

HBA (Host Bus Adapter, адаптер главной шины) — разновидность дискового контроллера, которая позволяет системе видеть подключенные накопители по отдельности.

Рисунок 5. Дисковый контроллер от Broadcom (9400-8i Tri-Mode Storage Adapter).

Triple-mode

Существуют дисковые контроллеры, которые совмещают в себе возможность одновременной работы сразу с тремя протоколами (SATA, SAS, NVMe). Этот подход удобен и обеспечивает гибкость при проектировании системы хранения, так как позволяет подключать как традиционные SATA-диски, так и сверхбыстрые NVMe накопители.

Бэкплейн и экспандер

В большинстве случаев накопители в СХД подключаются непосредственно через бэкплейн (backplane) — специальную плату в дисковой полке или сервере с разъемами для SAS, SATA, NVMe накопителей, которая соединяется с дисковым контроллером. Сам дисковый контроллер, как правило, поддерживает прямое подключение ограниченного числа накопителей. Для увеличения числа подключаемых дисков используют экспандер. В большинстве случаев он представляет собой чип, который устанавливается на бэкплейн.

Рисунок 6. Бэкплейн Supermicro BPN-SAS-826TQ.

Рисунок 7. SAS-экспандер Broadcom в виде чипа.

Контроллер СХД

Контроллер системы (storage controller, он же управляющий узел или node) является главным управляющим компонентом СХД. Он представляет уровень обработки данных, который отвечает за создание дисковых массивов, расчет контрольных сумм, управление доступом и выполнение других служебных операций.

Контроллер СХД — это функциональный блок, поэтому физически он может быть представлен совершенно разным набором оборудования.

RAID-контроллер

В теории, понятие RAID-контроллера и контроллера СХД часто представляются как тождественные. Это связано с тем, что они оба выполняют свою основную функцию — создают и управляют дисковым массивом. На практике же под RAID-контроллером часто подразумевают адаптер, который вставляется в сервер и создает массив из подключенных накопителей. В таком случае RAID-контроллер создает подсистему хранения данных для конкретного локального клиента (инициатора), но не является СХД в ее устоявшемся значении.

Рисунок 8. RAID-контроллер от Microchip.

Контроллер СХД как специализированный компьютер

Если мы говорим о системе хранения данных как о самостоятельной единице инфраструктуры с подключаемыми по сети клиентами, то в этом случае контроллер СХД — это специализированный компьютер с управляющим ПО. Он оснащен материнской платой, центральным процессором и модулями оперативной памяти. Физически такой контроллер может размещаться как в специализированном корпусе, так и в обычном корпусе для монтажа в стойку.

В некоторых решениях управляющее ПО может брать на себя функцию создания RAID-массива из накопителей, что освобождает от необходимости использовать аппаратный RAID-контроллер. Такой механизм часто применяется в программно-определяемых СХД (software-defined storage), у которых контроллер системы может быть реализован на базе стандартных серверных платформ.

Рисунок 9. Supermicro 2029P-E1CR24H — пример стандартной серверной платформы для программно-определяемых СХД.

Двухконтроллерный режим

Системы хранения данных могут быть одноконтроллерные, двухконтроллерные и многоконтроллерные. Последние два варианта используются для повышения производительности, а также повышенной отказоустойчивости: при аппаратном сбое активного контроллера, второй узел «подхватывает» его работу без остановки всей системы.

Рисунок 10. Схема двухконтроллерной СХД на базе RAIDIX.

В двух- и многоконтроллерных конфигурациях узлы соединены каналами связи. Эти каналы могут отличаться в зависимости от архитектуры и функциональных особенностей системы. Например, в классической двухконтроллерной системе на базе RAIDIX это:

• Интерконнект между узлами (Heartbeat) — Ethernet-соединение между узлами для проверки работоспособности контроллеров.
• Синхронизация кэша (Cache sync) — соединение для синхронизации кэша на основе протоколов IB-SRP, iSCSI или SAS.

Стоит отметить, что наличие двух контроллеров не означает использование двух отдельных физических корпусов. Нередко дублирующие материнские платы контроллеров размещаются в разных отсеках внутри одной платформы (рисунок 11).

Рисунок 11. Два контроллера внутри одного серверного корпуса.

Вычислительные ресурсы

С увеличением количества выполняемых функций и используемых накопителей, системе требуется больше вычислительных ресурсов. Например в одноконтроллерной СХД RAIDIX на 60 накопителей для оптимальной производительности требуется 2 восьмиядерных процессора с частотой не ниже 2.1 ГГц и 48 ГБ оперативной памяти, а для системы на 600 дисков требуется 2 восьмиядерных процессора с частотой уже от 3.5 ГГц и более 256 ГБ оперативной памяти.

В качестве процессоров для СХД сейчас в основном используются x86 чипы Intel Xeon и, чуть реже, AMD EPYC. Существуют решения собранные на других процессорах (например, на отечественном Эльбрусе), но они менее популярны на рынке.

Таблица 3. Базовые характеристики серверных процессоров Intel и AMD

Intel Xeon Scalable				AMD EPYC
Bronze	Silver	Gold	Platinum	1-Socket	2-Socket
Кол-во сокетов	1-2	1-2	2-4	2-8	1	2
Кол-во ядер	6-8	4-12	4-22	4-28	16-32	16-32
Базовая частота	1.7 ГГц	1.8-2.6 ГГц	1.9-3.5 ГГц	2.0-3.6 ГГц	2.0-2.4 ГГц	2.0-2.4 ГГц
Тип поддерживаемой памяти	DDR4-2133	DDR4-2400	DDR4-2666	DDR4-2666	DDR4-2666	DDR4-2666
Кол-во линий PCIe	48				128

На объем вычислительных ресурсов в значительной мере влияют установленные бизнес-требования к инфраструктуре хранения, характер и интенсивность нагрузок, а также существующее сетевое окружение.

Сетевые адаптеры

Сетевые адаптеры (хост-адаптеры) являются финальным звеном цепочки обмена данными с клиентом. Именно при помощи этого устройства система хранения данных соединяется с «внешним миром»: серверами, рабочими станциями и другими компонентами сетевой инфраструктуры. Сетевой адаптер представляет собой плату с портами интерфейсов (Ethernet, FC, IB, SAS), которая использует разъем на материнской плате или впаивается в нее напрямую.

Рисунок 12. Сетевой адаптер Mellanox ConnectX-6.

Некоторые хост-адаптеры могут иметь одновременно несколько интерфейсов. Например, у Mellanox есть адаптер, работающий с интерфейсами Infiniband и Ethernet.

Таблица 4. Характеристики современных хост-адаптеров в СХД

Тип интерфейса	Блочные протоколы	Файловые протоколы	Скорость	Популярные бренды
FC	Fibre Channel FC-NVMe	—	8Gb/16Gb/32Gb	Marvell QLogic Broadcom ATTO
Ethernet	iSCSI, iSER, FCoE, NVMe-oF	SMB, NFS, AFP, FTP	10Gb/25Gb/40Gb/50Gb/100Gb/200Gb	Broadcom Mellanox
Infiniband	IB-SRP	—	20Gb/40Gb/56Gb/100Gb	Mellanox
SAS	SAS	—	12Gb	Broadcom Adaptec

Выбор сетевого адаптера зависит от существующей сетевой инфраструктуры, планируемых задач и аппаратной конфигурации системы хранения данных.

Заключение

Оборудование современной СХД можно представить как цепочку уровней, по которым происходит передача и обработка данных между местом их хранения и клиентом. Такое представление процесса дает хорошее понимание того, что может стать «бутылочным горлышком» производительности, какой компонент оборудования несет избыточные характеристики и за счет чего можно сократить общую стоимость решения.

Использование этих знаний поможет сориентироваться при выборе оборудования для СХД, а также позволит упростить процесс подбора компонентов при обновлении и модернизации существующих систем.

Бекплейн Sinan 1×5.25″/4×2.5″ Hot-Swap (X-3531)

Разом дешевше Бекплейн Sinan 1×5.25″/4×2.5″ Hot-Swap (X-3531)

Характеристики Бекплейн Sinan 1×5.25″/4×2.5″ Hot-Swap (X-3531)

Інтерфейс накопичувачів	SATA
Інтерфейс підключення	SATA
Форм-фактор	4 x 2.5″
Рівні RAID	не має
Живлення	Molex
Охолодження	1 х 30 мм
Особливості	Hot Swap
Розміри	170 х 146 х 42 мм
Виробник	Sinan
Штрихкод	4260133126763
Примітка	Виробник може змінювати властивості, характеристики, зовнішній вигляд і комплектацію товарів без попередження

Опис Бекплейн Sinan 1×5.25″/4×2.5″ Hot-Swap (X-3531)

Бекплейн Sinan X-3531 — це мобільна стійка для жорсткого диска на максимум чотири 2,5-дюймові жорсткі диски S-ATA I, II, III або SSD зі стандартною висотою для одного 5,25-дюймового накопичувача.

Разбираемся вместе: что такое система хранения данных

Надёжное хранение данных — задача, которую приходится решать каждому бизнесу. Но когда повышаются объёмы информации, растут и требования к надёжности хранения данных. Чтобы организовать наилучшую работу с информацией, стоит обратиться к СХД — системе хранения данных.

В материале расскажем о том, что такое и как устроены СХД, какие проблемы они решают, как классифицируются и на какие характеристики следует смотреть в первую очередь, если вы не так давно в этой отрасли.

Что такое СХД и какие проблемы она решает

СХД (Система хранения данных или Сервер хранения данных) — это устройство для хранения и управления данными, их резервного копирования. Она призвана решить типичные проблемы, связанные с растущими объёмами информации в любой организации.

Если раньше все данные могли храниться буквально на одном жёстком диске, то сейчас любая функциональная система требует отдельного хранилища – к примеру, серверов электронной почты, СУБД, домена и так далее. Поэтому с помощью СХД можно организовать децентрализацию информации (рассредоточение её по разным хранилищам).

Лавинообразный рост размера информации, который вызван, с одной стороны, ужесточением регулирования и требованием сохранять всё больше информации, связанной с ведением бизнеса. С другой стороны, ужесточение конкуренции требует всё более глубокого анализа информации о рынке, клиентах, их предпочтениях, заказах и действиях конкурентов. Но количества жёстких дисков, которые вы можете установить в конкретный сервер, не может покрыть необходимую системе ёмкость. В этом тоже может помочь СХД.

Хранение данных — не единственная функция современных СХД. Они также предлагают экономить место в хранилище с помощью дедупликации и компрессии. Компрессия позволяет системе сжимать файлы, исключая избыточную информацию, а дедупликация помогает экономить место для хранения, исключая избыточные файлы и оставляя лишь ссылки на них.

Некоторым компаниям тяжело контролировать и ограничивать доступ из-за политики безопасности предприятия. Например, касается как доступа к данным по существующим для этого каналам (локальная сеть), так и физического доступа к носителям.

Также отметим высокие затраты используемых ресурсов для поддержания работоспособности всей информационной системы предприятия, начиная от необходимости содержать большой штат квалифицированного персонала и заканчивая многочисленными недешёвыми аппаратными решениями.

Устройство СХД

Основные компоненты типичной СХД — массив жёстких дисков (HDD или SSD), кэш-память, контроллер дискового массива, внешний корпус и несколько блоков питания.

Главная фишка СХД — это скорость работы дисковой системы. Например, если ваши диски стоят внутри сервера они не будут работать с такой же производительностью, как сервер подключённый к СХД.

Какие бывают системы хранения данных

Существует классификация СХД: они делятся на файловые, блочные и объектные. Каждый вид СХД определяет в каком виде хранятся данные, способ доступа к ним, и, как результат, простоту управления и скорость доступа к данным.

Файловые

Хранят информацию в виде файлов, собранных в каталоги (папки). Файлы организуются и извлекаются благодаря метаданным, которые сообщают, где находится тот или иной файл. Условно такую систему можно представить в виде каталога.

Блочные

Данные хранятся независимо друг от друга. Каждому такому блоку присваивается идентификатор, который позволяет системе размещать каждый блок, где ей удобно. Блочные хранилища не полагаются на единственный путь к данным (в отличии от файловых хранилищ).

Объектные

Расщепляют файлы на «объекты», которые находятся в одном, общем хранилище. Оно может быть поделено на тома, каждый из которых может иметь уникальный идентификатор и подробные метаданные, которые позволяют быстро находить объекты. Подобный подход — это распределённая система.

Принцип работы СХД — NAS, SAN и DAS

Существует несколько аппаратных компонентов, программного обеспечения и протоколов, которые в конечном итоге придают решениям для хранения данных их особые свойства.

На основе классификации выше выделяют два основных типа СХД: они различаются уровнем хранения, чтения и записи данных.

• Первый вариант работает с данными файлового уровня. Это означает, что такое хранилище, по сути, функционирует как сервер с собственной файловой системой. На практике клиентский сервер даёт такие команды, как «записать Х битов в этот файл» или «извлечь Х битов из этого файла» соответственно. Этот тип хранилища называется NAS.

• Второй вариант — это доступ к данным на уровне блоков. Это ускоряет обмен данными между сервером и хранилищем, поскольку он прямой, то есть «блок записи X» или «блок вызова X». Такие репозитории связаны друг с другом и с сервером либо как DAS, либо через SAN.

О каждом из них расскажем подробнее.

NAS

NAS расшифровывается как Network Attached Storage, что можно условно перевести как сетевое хранилище. Поскольку данные обрабатываются на уровне файлов, сервер представляется NAS как сетевой сервер со своей собственной файловой системой.

Если объяснить проще — представьте себе стационарный компьютер, который подключён к домашнему роутеру. На нём хранятся фото, видео, документы и другие данные. Сетевой доступ разрешен всем пользователям — приблизительно так выглядит NAS.

NAS-хранилище может принимать разные формы. Например, к производственному серверу могут быть подключены другие серверы, виртуальные машины или так называемые дисковые станции, на которых находится другое количество съёмных жестких дисков.

Преимущества NAS:

• Доступность и низкая стоимость.
• Простота подключения и управления.
• Гибкость, возможность быстро увеличить объём для хранения данных.
• Универсальность клиентов (компьютер под управлением любой операционной системы может получить доступ к файлам).

Недостатки NAS:

• Хранение данных только в виде файлов.
• Медленный доступ к информации по сетевым протоколам (по сравнению с локальной системой).
• Невозможность работы некоторых приложений с сетевыми дисками.

DAS

DAS расшифровывается как Direct Attach Storage — прямое подключение к рабочей станции, хранилищу). Например, подключение внешнего диска по USB условно можно назвать DAS.

Из принципиальной простоты архитектуры DAS следуют её основные преимущества: доступная цена и относительная простота внедрения. Кроме того, такой конфигурацией легче управлять ввиду хотя бы того, что число элементов системы мало.

Внутри системы находится блок питания, охлаждение и RAID-контроллер, который обеспечивает надёжность и отказоустойчивость хранилища. Управляется при помощи встроенной операционной системы.

Достоинства DAS:

• Легкость развёртывания и администрирования.
• Высокая скорость передачи данных.
• Низкая стоимость оборудования.

Недостатки DAS:

• Требует выделенного сервера).
• Ограничения в подключениях (не больше двух серверов).

SAN

В свою очередь SAN — это сети хранения данных. Как правило они представлены в виде внешних хранилищ на нескольких сетевых блочных устройствах и реализованы в виде протокола FC (Fiber Channel) или iSCSI (Internet Small Computer System Interface). Это блочный доступ непосредственно к устройству хранения — диску или наборов дисков в виде RAID-групп или логических устройств.

Кстати, вышеупомянутый DAS может быть очень мощным и часто более дешёвым, чем SAN. Однако в то же время недостаток DAS в том, что он не может быть легко расширен — количество подключённых компьютеров ограничено физическим количеством портов SAS на DAS (обычно их всего четыре). Поэтому многие компании и учреждения предпочитают выбирать блочные хранилища, подключенные через SAN.

Преимущества SAN:

• Высокая скорость работы, низкая задержка.
• Гибкость и масштабируемость.
• Хранение данных блоками.
• Высокая надёжность обмена и хранения данных.
• Разгрузка подсети от служебного трафика.

Недостатки SAN:

• Сложность проектирования
• Высокая стоимость.
• Невозможность некоторых приложений и систем работать с протоколом iSCSI.

Как выбрать СХД?

В первую очередь нужно понимать, какие задачи она будет решать. Важно определиться с несколькими базовыми параметрами.

Тип данных

Разные типы данных требуют разной скорости доступа, технологий обработки, компрессии и так далее. К примеру, виртуальный СХД для работы с большими медиа-файлами отличается от той системы, которая будет работать с неструктурированными данными для нейросети.

Объём данных

От этого зависит выбор дисковых накопителей. Иногда можно обойтись SSD потребительского класса — если известно, что ёмкость СХД даже в худшем случае не будет превышать 300 ГБ, а скорость доступа не критична.

Отказоустойчивость

Необходимо представлять, какова стоимость потери данных за определённое время. Это поможет рассчитать RPO (Recovery-Point Objective) и RTO (Recovery Time Objective), а также избежать лишних затрат на резервное копирование. Бэкапы, бэкапы и ещё раз бэкапы.

Производительность

Если СХД закупается под новый проект (нагрузку которого сложно предугадать), то лучше пообщаться с коллегами, которые уже решали эту задачу или протестировать СХД.

Вендор

Иногда даже для ресурсоемкого сервиса подойдет бюджетное или среднеуровневое решение (StarWind, Huawei, Fujitsu). Однако у топовых производителей — NetApp, HPE, Dell EMC — линейка продуктов достаточно широкая, и сравнительно недорогие СХД здесь также можно найти. В любом случае, желательно сильно не расширять количество вендоров на одной инфраструктуре.

Если сейчас вы находитесь в поисках решения для работы с данными, арендовать выделенный web-сервер и СХД (системы хранения данных) можно в одном из наших ЦОД. Мы, со своей стороны, обеспечим сервер быстрым соединением с интернетом на скорости до 10 Гбит/сек, постоянным подключением к электричеству и поддержкой 27/7 ;).

Бэкплейн что это

1. Что такое SAS-экспандер?
2. Применение SAS-экспандеров
3. FAQ
   • Пропускная способность
   • Совместимость
   • SAS-экспандер и failover-кластеры
4. SAS-экспандеры в продуктах Supermicro

Что такое SAS-экспандер?

SAS-экспандер — это коммутирующее устройство, обеспечивающее подключение к общей топологии нескольких SAS-инициаторов и таргетов. Экспандер хранит таблицу маршрутизации с WWN-адресами подключенных к SAS-домену узлов и обменивается данными о маршрутизации и зонировании (начиная с SAS-2) с другими экспандерами в домене. Обычно экспандер обеспечивает через встроенный SMP-таргет мониторинг: показания термодатчиков, скорость вращения вентиляторов, состояние блоков питания.

Применение SAS-экспандеров

Применяются SAS-экспандеры для подключения нескольких SAS-таргетов (это могут быть специализированные СХД с интерфейсом SAS, либо отдельные SAS или SATA диски).
Обычно несколько PHY экспандера конфигурируются как входные (для подключения инициатора — хоста или предыдущего экспандера в топологии), остальные — в качестве выходных портов для подключения конечных устройств, часть может выводится для подключения дочерних экспандеров на отдельные разъемы. В большинстве случаев наружные порты состоят из 4-х PHY, образующих wide-порт при подключении к хосту или другому экспандеру.
SAS-экспандер также занимается тем, что распаковывает STP-фреймы (SATA Tunneling Protocol — протокол, обеспечивающий туннелирование SATA команд в SAS) для работы с подключенными непосредственно к нему SATA-дисками.
Если вас интересуют дальнейшие технические подробности (edge- и fanout-экспандеры в SAS-1, ZPSDS в SAS-2 и т.д.) — добро пожаловать на www.scsita.org.

Внутренний SAS-экспандер Chenbro

Готовым устройством может быть внутренний экспандер — плата с несколькими разъемами SAS 4x (SFF-8087 — внутренний 4x SAS разъем, SFF-8088 — внешний). На иллюстрации представлен внутренний экспандер производства Chenbro, имеющий один 4x входной разъем и 6 (2 внешних и 4 внутренних) — для подключения конечных устройств или других экспандеров. Например, 4 внутренних разъема 4x — это 16 PHY, к которым можно подключить 16 дисков, а 2 внешних использовать для подключения дополнительных дисковых полок.

Внешний экспандер Areca

Чип экспандера может находится непосредственно на плате RAID-контроллера, как в многопортовых Adaptec 51245/51645/52445 и LSI 9280-16i4e/24i4e. ROC-процессоры данных контроллеров имеют только 8 PHY, которые подключены к МС SAS-экспандера, что превращает 8-портовые контроллеры в 16/20/28-портовые.
Экзотическая разновидность — внешний экспандер, в виде отдельного устройства с несколькими внешними SAS-портами.
Еще одно и, пожайлуй, самое распространенное применение — в бэкплейнах дисковых корзин серверов. Например, в популярной серии корпусов Supermicro 846Exx (846E1, 846E2, 846E16, 846E26) можно разместить 24 SAS или SATA диска, при этом будет достаточно 4-портового контроллера (что будет с полосой пропускания — будет подробно описано ниже).

Корпус Supermicro 846E16-R1200B

Собственно говоря, в подобном корпусе может быть размещен не сервер (с системной платой, процессорм и т.д.), а только диски и небольшая плата управления питанием. В этом случае получится просто «коробка с дисками», часто называемая SAS-JBOD или просто JBOD (иногда возникает путаница в терминах, т.к. JBOD’ом еще традиционно называется способ объединения дисков в массиве с последовательным заполнением).
Дополнительная преимущество при подключении дисков через SAS-экспандер — возможность подключения к обоим портам SAS-диска. Все современные диски с интерфейсом SAS имеют два порта, каждый со своим WWN.

Использование двух экспандеров, подключенных к разным портам дисков, позволяет получить port-failover (защиту от выхода из строя phy диска и/или контроллера) или controller-failover — дополнительную защиту от выхода из строя контроллера, в случае использования специализированных внешних SAS СХД или специальных программных решений (например, Nexenta-HA на платформе Supermicro SBB).

FAQ

Пропускная способность
Увидев разницу в цене, например, между 4-портовым SAS-контроллером LSI 9260-4i и LSI 9280-24i4e (24 внутренних порта + 4 внешних), многие ждут подвоха в виде неизбежной потери производительности. В самом деле — достаточно ли полосы пропускания четырех портов SAS для подключения относительно большого количества дисков? Часто приводят следующий довод: «из опубликованных тестов и спецификаций мы видели, что скорость чтения даже на не самых быстрых, но современных SATA дисках составляет порядка 150МБ/с и выше, для 24-х дисков это будет 24×150=3600МБ/с, т.е. полосы 4×6*0,8Гбит (это около 2500МБ/с) никак не хватит».
Для того, чтобы развеять эти опасения, нужно вспомнить про IOPS’ы и ограниченную производительность самих контроллеров, а так же про особенность многопортовых (>8) контроллеров.
Ограничения по IOPS. В серверных системах нечасто встречаются линейное чтение или запись, разве что в системах видеонаблюдения или бэкап-серверах. В основном, речь идет о случайном доступе с различным распределением по размеру блоков и соотношением чтение/запись, особенно это касается СУБД. И вот тут ни о каких 150МБ/с и речи не идет, прогресс остановился — частота вращения шпинделя не превышает 15000об/мин, растет лишь плотность записи. На практике это означает, что даже с быстрого 15k SAS диска мы не можем, к примеру получить больше 250-300 операций ввода/вывода в секунду (IOPS) при чтении малыми блоками, а 7200об/мин дисками — еще меньше. Т.е. при размере блока 4КБ получаем порядка 1МБ в секунду для одного диска при полностью случайном доступе.
Способы решения данной проблемы:

• использование SSD, производительность которых при случайном доступе в десятки и стони раз превышает возможности обычных HDD
• наращивание количества шпинделей (есть системы, которые можно масштабировать до нескольких сотен дисков в одной дисковой группе)
• применение кэширования в RAM-кэше контроллера (в сочетании с оптимизацией это помогает сделать обращение к массиву более последовательным) или так называемого tiered-storage — многоуровневого хранения SATA->SAS->SSD (с вытеснением часто используемых данных на более быстрые уровни)

В общем, фронтенда 4xSAS2 (4×6=24Гбит) и даже SAS1 (4×3=12Гбит) в 99 случаях из ста оказывается более чем достаточно, особенно если сравнить с 4/8Гбит FC и iSCSI или FCoE поверх 10GbE.

LSI 9280-24i4e

Многопортовые контроллеры. Помните, что все выпускамые сейчас SAS RAID контроллеры имеют максимум 8 портов SAS (Обновление: ситуация изменилась после анонса контроллеров Adaptec серии 7. Данные контроллеры имеют до 24 нативных портов SAS2). Большее количество портов, вплоть до 28-ми в контроллерах Adaptec 52445 и LSI 9280-24i4e, получается за счет размещения SAS-экспандера на одной плате с контроллером. Свои плюсы у такого решения есть: для подключения к набортному экспандеру задействованы 8 портов контроллера, а не 4, как в случае с подключением к одиночному внешнему экспандеру (как уже было описано выше — использование подключения к двум экспандерам требует SAS дисков, для SATA нужно дополнительное устройство — мультиплексор). К тому же всегда есть один внешний порт, который можно использовать для подключения большого количества дисков через JBOD’ы.
Ограничениченная производительность контроллеров. Наличие аппаратного блока вычисления контрольных сумм для RAID-5 и RAID-6 вовсе не означает, что контроллер просто обязан пропустить через себя неограниченное количество данных, плюс нужно учесть пропускную способность PCI-E 2.0 x8.
Пример: для контроллеров на базе процессора LSI 2108 (LSI 9260, LSI 9280, различные контроллеры Intel, Dell, Supermicro) предел по пропускной способности на запись в RAID 5 или 6 составляет 1360МБ/с (в массивах 0, 10 — до 3000МБ/с), предел по IOPS — 130000. Контроллеры 3ware на том же процессоре демонстрируют чуть лучшие результаты при многопоточном последовательном чтении/записи, но IOPS-предел у них в два раза меньше. Кстати, на SAS HBA от LSI последнего поколения (на базе LSI 2108) в сочетании с SSD и программным RAID можно получить и до 290000 IOPS.
У нового поколения на базе 2-ядерного LSI 2208 (контроллеры LSI 9265 и 9285) производительность выше — почти до полумиллиона IOPS и более 2000МБ на запись в RAID 5/6.
(Обновление от 18.04.2013. Контроллеры Adaptec 7-й серии демонстрируют лимит в 6600МБ/с.)
Так что если вы уверены в том, что вам нужно получить больше — используйте несколько контроллеров, а LUN’ы с них придется объединять в программный RAID.
Конечно, в реальных применениях достигнуть предела производительности контроллера не так уж просто, и при 20-40 дисках (без SSD) контроллеры Adaptec и LSI демонстрируют приблизительно равные результаты.
Совместимость
Часто задаваемый вопрос: «я подключил такие-то диски к такому-то контроллеру, корпус — Supermicro такой-то, часть дисков не определяется» или «наблюдаю выпадение дисков из массива».
Увы, совместимость между SAS-2 и SAS-1, совместимость между SAS-контроллерами и экспандерами разных производителей, полная поддержка SATA SAS-контроллерами и экспандерами существуют лишь на бумаге. В реальных условиях следует опираться на списки совместимости «контроллер + диски» и «контроллер + экспандер + диски»:

• Списки совместимости (HCL) к продуктам Adaptec
• Списки совместимости (HCL) к продуктам LSI
• Списки совместимости (HCL) к экспандерам Supermicro

Причины несовместимости — от широко известного отсутствия поддержки диском SCT Error Recovery Control (он же TLER в терминологии WD, без поддержки ERC возникает ситуация, когда диск слишком долго пытается получить доступ к сбойному сектору) до фатального сочетания багов в микрокоде контроллера диска, SAS-контроллера и экспандера.
Но помимо HCL (которые могут быть неполными или содержать неточности), есть следующие особенности:

• Экспандеры первого поколения SAS-1 в корпусах Supermicro (xxxE1-Rxxx, xxxE2-Rxxx) на базе чипов LSI SASX28 и SASX36 довольно привередливы: в HCL от Supermicro по вышеприведенной ссылке очень мало дисков и большинство из них уже сняты с производства.
  C этими экспандерами работает большинство SAS-1 и SAS-2 дисков, в том числе nearline-SAS (диски с механикой от 7200об/мин SATA дисков, но SAS-контроллером), случаев несовместимости не выявлено. А вот c SATA-3 дисками, например, Hitachi 7K3000/A7K3000 есть проблемы: не определяется часть дисков, случайное выпадение дисков из массива под нагрузкой.
  По-прежнему несовместимы с SAS-1 экспандерами Supermicro контроллеры Adaptec 6-й серии (6405, 6805, 6445) — контроллер не видит весь экспандер, либо часть дисков. Данная проблема, возможно, будет устранена в следующем релизе firmware.
• Дисковые корзины Supermicro CSE-M28E1 и CSE-M28E2, содержащие один или два экспандера LSI SASX12, несовместимы с контроллерами Adaptec 6-й серии и контроллерами LSI MegaRAID SAS-2 (все контроллеры на базе чипов LSI 2108 и 2208): экспандер не определяется, иногда с ошибкой «Invalid SAS topology» при запуске контроллера.

SAS-экспандер и кластеры
Первая идея, которая приходит в голову человеку, впервые увидевшему JBOD с двумя SAS-экспандерами: «А нельзя ли подключить два хоста с SAS RAID контроллерами к этому JBOD и использовать получившуюся конструкцию для кластера, требующего общий LUN?»
Стоимость подобного решения в сравнении с готовыми 2-контроллерными СХД начального уровня выглядит привлекательно. Но, увы, работать ничего не будет*:

• Обычные RAID контроллеры не рассчитаны на такое подключение (но сейчас есть и исключения в виде LSI Syncro CS). Их firmware ничего не знает о том, как поделить доступ к дискам с другим контроллером. Если бы даже не существовало этой проблемы, то возникает проблема синхронизации кэшей и так далее. На практике вы увидите зависание одного или обоих контроллеров при инициализации, возможно с сообщением об ошибочной топологии SAS.
• Возможен вариант не с RAID контроллерами, а с обычными HBA. Доступом к дискам управляет в данном случае специальное ПО или экзотической ОС (например, IBM AIX), стоимость которых уже не позволяет вести речь об экономии. Примеры реализаций: NexentaStor HA, или опять-таки готовые СХД.
  Мечты о том, что можно реализовать простой failover самостоятельно («программно отключу HBA второго сервера и напишу скрипт, который поднимет его обратно при отсутствии отклика от первого сервера»), можно считать несбыточными — в подобный софт производители СХД вложили огромное количество ресурсов, простой кустарной реализации не получится.
• Заблуждение о том, что «SAS-JBOD — это бюджетная система хранения данных» — основная логическая ошибка, которую многие почему-то не сразу замечают. JBOD — это просто корпус с дисками и SAS-экспандером, а от системы хранения данных мы должны получить готовый LUN, а не набор дисков.
• Единственное, что можно сделать с JBOD’ом подручными средствами применить зонирование, отдав каждому хосту свой набор дисков. Переключив зонирование дисков с отказавшего хоста на исправный, можно быстро получить доступ к данным, но это не решает проблему с данными, находившимися в кэше. Зонирование требует подключения дисков к SAS-2 экспандеру, а для управления зонированием можно использовать SAS-коммутатор, например, LSI 6160, которому уже были посвящены несколько статей.

* Обновление от 14.10.2013 . Времена меняются, и утверждение «SAS JBOD — не для кластеров» уже теряет актуальность. С появлением поддержки Parity Spaces для Failover Cluster’а в Microsoft Windows Server 2012 R2 использование Storage Spaces для кластеров Microsoft становится вполне обоснованным. Для vSphere есть VSA и с появлением vSphere 5.5 — еще и VSAN (наследие Virsto).

SAS-экспандеры в продуктах Supermicro

Корпуса с SAS-экспандерами. Развновидностей много: от 2U до 4U, с SAS-1 или SAS-2 экспандерами, с одним или с двумя экспандерами, под SFF и LFF диски, с обычным и двухсторонним размещением дисков.

• 2U корпуса (и 4U с двухсторонним размещением дисков) имеют разновидности «LP» и «U» (например, SC216E26-R1200LPB и SC216E26-R1200UB). Первая предназначена для обычный плат размером до E-ATX, платы расширения — только низкопрофильные, устанавливаются напрямую, без райзера. Вторая — для системных плат форм-фактора UIO (с вырезом для размещения платы в нижний слот райзера) и позволяет устанавливать до 4-х плат полной высоты + 3-х низкопрофильных плат.
• Большинство экспандерных бэкплейнов Supermicro имеют один вход и два выхода (с разъемами 4x SAS SFF-8087) для удобства каскадирования: последовательное подключение более 6-ти экспандеров LSI крайне не желательно, а два выхода позволяют построить топологию с ответвлениями. Вот пример топологии с каскадом из двух 2-экспандерных бэкплейнов на чипе LSI SAS2X36 (12 phy экспандера — на вход и выходы, оставшиеся 24 — для подключения дисков):

И еще есть отдельные дисковые корзины на 8 SFF дисков CSE-M28E1 и CSE-M28E2. Занимают 3 отсека 5.25″, имеют съемный вентилятор на задней стенке и 1 или 2 экспандера LSI SASX12. Интересной особенностью является подключение при помощи обычный SATA разъемов (по 4 на экспандера) и использованием нестандартных «перекрестных» кабелей 4xSAS->4 SATA. Сделано это потому, что два из четырех phy можно использовать не только на вход, но и на выход — для каскадирования. В комплекте идут два кабеля: с современными SFF-8087 разъемом и старым широким SFF-8484. Проблема номер один — кабели длиной 50см, такой длины хватает не всегда. Проблема номер два — несовместмость с SAS2 контроллерами, о чем уже упоминалось выше.
Альтернативой является корзина M28SAB с обычным бэкплейном без экспандера.
Вот и все. Задавайте дополнительные вопросы по почте и в комментариях, а за продукцией Supermicro, LSI и Adaptec обращайтесь в компанию True System.