Как подключать дисковую полку к серверу?
clop1000
Отправлено 15 February 2021 — 11:25
Clone Grade Theta
- Client: Eng
Есть желаение расширить доступное место на сервере. Есть возможность взять дисковую полку.
Вопрос такой — каким образом она подключается к серверу? По каким портам?
Нужны ли специальные RAID контролеры.
Как будет видется диск? Как обычный внутренний?
#2 
Karmael
Отправлено 15 February 2021 — 11:59
Clone Grade Omicron
- EVE Ingame: Silivalia
- DUST Ingame: karmaell
- Corp: exXMX
- Ally: exIAC
- Client: Eng
хорошая попытка, но нет
#3
Denadan
Отправлено 15 February 2021 — 12:33
просто жертва зеленых
- EVE Ingame: denadanA
- Ally: RED(offline)
- Client: Eng
1. смотри документацию. скорее всего внешний сас или фц
2. нужен соответствующий контролер для сервера. очень желателен еще сан свитч, но если 1 сервер и 1 полка то можно и потерпеть. рейд функционал у подобного контроллера как правило в комплекте как побочный
3. да, как обычный внутренний. точнее ты на свитче(или схд, полки не умеют) нарезаешь диски на логические и уже логические отдаешь контроллеру
Ева — тебя все равно убьют
—
That’s not magic, that was just Pinkie Pie.
#4
vmarkelov
Отправлено 15 February 2021 — 12:56
Clone Grade Omicron
- EVE Ingame: Kej Lacitis
- EVE Alt: Kej Al’tos
- Corp: Space Mechanics
- Ally: Circle of Hell
- Client: Рус
Ну для начала узнать бы что за полка.
Не сожалей о том что было, не думай о том что могло быть.
#5
clop1000
Отправлено 15 February 2021 — 14:39
Clone Grade Theta
- Client: Eng
А в чем кардинальное различие между дисковой полков и ЦХД?
Дисковая полка насколько я понял — это тупо диски без контролера или с простым контролером которые вставляются в SAS контроллер с внешними портами в сервере?
Т.е. правильно понимаю что количество портов должно соответствовать колличеству дисков в дисковой полке?
Или сама дисковая полка может быть как RAID? (Именно дисковая полка, не ЦХД)
#6
Karmael
Отправлено 15 February 2021 — 15:06
Clone Grade Omicron
- EVE Ingame: Silivalia
- DUST Ingame: karmaell
- Corp: exXMX
- Ally: exIAC
- Client: Eng
ты все не правильно понимаешь. назови полку.
полки в современном мире, подключаются к серверАМ через ХБА или оптику например. Что требует как минимум соответствующих контроллеров. Для обеспечения надежности, полки подключают как правило к двум серверам, и резервируют контроллеры, сиреч по два на сервак. В мануале к полке написано как именно подключать, т.к. там есть свои тонкости.
после подключения, через IP заходится на полку, выбирается тип рейда, и бьется на тома, после чего они детектятся на серверах как соответствующие диски.
там еще море всякого, если нужно, чтоб при смерти одного сервака, второй подбирал его тома
Тома опять жеж зависят от того, что будет крутится за фс, при GPFS например, требуется тонкая разбивка, тайбрекеры, с провижинингом вообще отдельный разговор
вопрос из серии, «я вчера забухал, а сегодня лететь на самолете, что там за кнопочки»
#7
Denadan
Отправлено 15 February 2021 — 15:12
просто жертва зеленых
- EVE Ingame: denadanA
- Ally: RED(offline)
- Client: Eng
в том что полка работает только с физикой дисков отдавая всю логику на откуп принимающему. и нет все работает не так. это своеобразная «локальная» сеть, все по 1 кабелю. и свитчи. впрочем у полки обычно 2+ порта (для резервирования канала)
цхд полностью сама управляет дисками(в самом тупом варианте можно отдать и физический диск) собирая их в рейды и разбивая на логические диски как угодно отдавая эти самые логические. ну и плюс весь дополнительный обвес вроде бекапов и возможности подключения по другим протоколам(ntp, smb и прочие непонятные буковы)
Ева — тебя все равно убьют
—
That’s not magic, that was just Pinkie Pie.
#8
Karmael
Отправлено 15 February 2021 — 15:16
Clone Grade Omicron
- EVE Ingame: Silivalia
- DUST Ingame: karmaell
- Corp: exXMX
- Ally: exIAC
- Client: Eng
да ***ь, хоть по iscsi отдавай, вопрос, зачем такая полка? купите насик, он простой
#9
r0n1
Отправлено 15 February 2021 — 15:25
Clone Grade Omicron
полки в современном мире, подключаются к серверАМ через ХБА или оптику например. Что требует как минимум соответствующих контроллеров. Для обеспечения надежности, полки подключают как правило к двум серверам, и резервируют контроллеры, сиреч по два на сервак. В мануале к полке написано как именно подключать, т.к. там есть свои тонкости.
после подключения, через IP заходится на полку, выбирается тип рейда, и бьется на тома, после чего они детектятся на серверах как соответствующие диски.
чет у тебя всё в кучу и полки и схд и массивы с fc
#10
Karmael
Отправлено 15 February 2021 — 15:43
Clone Grade Omicron
- EVE Ingame: Silivalia
- DUST Ingame: karmaell
- Corp: exXMX
- Ally: exIAC
- Client: Eng
Давай тогда совсем с начала и объявим, что полка, это всего лишь экстеншен к схд
#11
vmarkelov
Отправлено 15 February 2021 — 15:47
Clone Grade Omicron
- EVE Ingame: Kej Lacitis
- EVE Alt: Kej Al’tos
- Corp: Space Mechanics
- Ally: Circle of Hell
- Client: Рус
Давай тогда совсем с начала и объявим, что полка, это всего лишь экстеншен к схд
Или просто внешняя коробка для дисков, по крайней мере у HP такое есть. Ставишь в сервер специальный рейд контроллер, соединяешь специальным кабелем с этой коробкой, диски в нее набитые видны в настройках контроллера, собираешь рейд по вкусу, пользуешься.
Короче, без названия полки гадать можно долго и упорно.
Не сожалей о том что было, не думай о том что могло быть.
#12
Karmael
Отправлено 15 February 2021 — 15:50
Clone Grade Omicron
- EVE Ingame: Silivalia
- DUST Ingame: karmaell
- Corp: exXMX
- Ally: exIAC
- Client: Eng
Ну либо уже скажут что осуждаем: насик, схд или полку
#13
Denadan
Отправлено 15 February 2021 — 16:00
просто жертва зеленых
- EVE Ingame: denadanA
- Ally: RED(offline)
- Client: Eng
ну дык сразу сказали — полку. и даже спросили чем она схд отличается
Ева — тебя все равно убьют
—
That’s not magic, that was just Pinkie Pie.
#14
sarachem
Отправлено 18 February 2021 — 14:38
- EVE Ingame: Goner Sarachem
- Corp: Goner Temple
- Ally: Goner Paradigm
- Channel: Goner Temple
Сообщение отредактировал sarachem: 18 February 2021 — 14:43
Как подключить дисковую полку UltraStorage к серверу UltraStation
Установите плату расширения в сервер и зафиксируйте в корпусе при помощи болта.
Внутри сервера UltraStation установлен RAID контроллер. К нему подключены внутренние miniSAS кабеля от дисковой корзины.
Необходимо выполнить подключение следующим образом:
- Первый кабель от дисковой корзины (изначально подключен в RAID контроллер) — подключаем в плату расширения;
- Второй кабель от дисковой корзины — оставляем в контроллере;
- Внутренний кабель miniSAS HD (в комплекте с дисковой полкой UltraStorage) — соединяем плату расширения и RAID контроллер.
Если у Вас UltraStation на 36 дисков, то к RAID контроллеру подключен один miniSAS от передней дисковой корзины, а в плату расширения — от задней дисковой корзины.
Плату расширения и RAID контроллер необходимо соединить между собой.
Закрываем крышку корпуса и подключаем дисковую полку к серверу при помощи двух внешних интерфейсных кабелей (miniSAS HD, в комплекте с дисковой полкой):
Программная настройка
Включаем сервер UltraStation и дисковую полку UltraStorage. Ждем запуска системы и выполняем вход под администратором.
В настройках сервера переходим во вкладку Архив — LSI MegaRAID Manager — выполняем вход (пользователь: vms; пароль: от администратора) и перемещаемся на вкладку «Physical».
Если всё корректно подключено, то после ввода логина и пароля, на вкладке «Physical» вы увидите верное количество дисков, установленных в дисковую полку и в сервер.
Объем дисков также должен совпадать.
Диски будут разделены на физические дисковые корзины (дисковая корзина сервера, передняя корзина полки, задняя корзина полки).
Метка на новых дисках: «Unconfigured Good» (синяя стрелка на диске).
Теперь можно приступить к настройке RAID. Важно учитывать, что RAID массив будет определяться в TRASSIR как отдельный диск.
TRASSIR корректно работает с дисками одинакового объема. Необходимо собрать RAID массивы максимально близкие по объему.
Инструкция по настройке RAID есть в нашем общем мануале.
DASтаточное решение: прямое подключение дисков для разных задач
Проблема хранения данных, и без того создающая массу головной боли архитекторам ЦОДов и системным администраторам, стала еще актуальнее в свете последних событий. В частности, к нам все чаще стали обращаться с запросами на различные форматы организации дополнительных хранилищ и расширения емкостей. Поэтому сегодня Юрий Алексеев, наш presale-эксперт по серверным решениям и системам хранения данных, расскажет о возможностях расширения уже существующего дискового пространства сервера с помощью подключения дисковых полок через DAS (то есть о прямом подключении). В посте мы поговорим о том, что для этого нужно, как это работает, и обсудим, может ли DAS заменить сетевые хранилища или системы высокой емкости.
Привет, меня зовут Юрий Алексеев, и я занимаюсь серверами и СХД в Группе компаний X-Com (а именно работаю с клиентами Системного Интегратора). И поэтому я прекрасно знаю, что иногда (и с завидной периодичностью) у любой компании настаёт момент, когда на дисках заканчивается пространство. При этом, если в самом сервере уже нет свободных отсеков для дисков, остается только добавить их извне. Тут можно использовать сетевое хранилище данных, но в последнее время их стало сложно (и дорого) купить, а в некоторых случаях, производители отказываются продлевать лицензии. Поэтому очевидным выбором становится самый простой с технической точки зрения способ расширения дискового пространства сервера – и это система хранения с прямым подключением (DAS = Direct-Attached Storage). Часто такие устройства также называют JBOD (англ. Just a Bunch Of Disks, просто пачка дисков).
Немного теории
Можно сказать, что система DAS – это внешняя дисковая корзина, которая подключена к серверу. Как правило, подключение производится через интерфейс SAS, с помощью соответствующих кабелей. Для этого требуется установить в сервер контроллер SAS (SAS HBA = SAS Host Bus Adapter) с внешними портами SAS или RAID-контроллер (также с внешними портами SAS).
В первом случае (при подключении дисковой корзины через SAS HBA) каждый установленный в корзину диск будет доступен пользователям сервера как отдельный диск. Во втором случае (при использовании RAID-контроллера) установленные в корзину физические диски можно будет объединить в один или несколько RAID-массивов.
А как же отказоустойчивость?
Конечно, к корпоративной системе хранения предъявляются высокие требования с точки зрения доступности информации и сохранности данных. И здесь, безусловно, RAID является большим плюсом. Разница с сетевой системой будет лишь в том, что массив будет организовывать сам сервер. Поэтому, если речь идет о хранении важных данных, лучше все-таки выбирать RAID-контроллеры, а не SAS HBA. Объединение дисков в RAID-массивы позволяет избежать потери данных при выходе дисков из строя, гарантируя как сохранность данных, так и постоянный доступ к ним.
Cуществует множество вариантов организации RAID-массивов (почитать об этом можно, например, тут). Но поскольку подобные критерии являются одними из самых критических показателей для любой системы хранения данных, необходимо исключить и другие точки отказа. Поэтому для обеспечения отказоустойчивости устройства DAS корпоративного уровня используют по два контроллера – такой подход позволяет также разобраться с проблемой возможного сбоя или отказа контроллера.
Благодаря этому доступ к данным сохраняется в случае выхода из строя одного из контроллеров. В таких системах можно устанавливать только диски SAS, так как они имеют два порта (в отличие от дисков SATA, которые имеют только один порт), каждый из которых подключен к одному из контроллеров дисковой корзины. В случае поломки одного из контроллеров хост (т.е. сервер) сохранит доступ к диску через второй контроллер.
DAS – но не для одного сервера
Большинство моделей DAS поддерживает подключение только к одному серверу (хосту). Для подключения используются двухпортовые SAS HBA (или RAID-контроллеры) — чтобы каждый контроллер имел соединение с хостом.
Однако модели некоторых производителей могут работать одновременно с двумя и даже более серверами. Например, к системе Lenovo D1224 может быть подключено одновременно до 6 серверов. В результате мы получаем некоторое подобие сетевого хранилища, но гораздо более простого (и доступного).
Но тут есть нюанс – лишних «мозгов» у хранилища нет, и поэтому каждому серверу нужно выделить свою группу дисков. Например, одному серверу – диски в отсеках с четвёртого по седьмой, другому серверу – с восьмого по одиннадцатый, и т.д. Это называется «зонированием» (zoning). Работать с «чужими» дисками сервер не должен.
Это требование вытекает из того, что организация данных на диске определяется хостом (то есть RAID-контроллером и файловой системой сервера-хоста), в случае использования одного диска двумя серверами одновременно любой из серверов может:
- Неправильно интерпретировать данные диска при чтении, записанные на диск другим сервером;
- Записать свои данные «поверх» данных другого сервера.
Именно поэтому при подключении нескольких хостов к DAS требуется с при помощи зонирования разделять диски между серверами.
Например, ниже в таблице показана возможная схема разделения дисков между хостами (зонирования) при подключении до 6 хостов к DAS Lenovo D1224 (хранилище вмещает 24 диска, нумерация отсеков начинается с 0).
Максимальное количество серверов (хостов)
Подключение дисковых полок каскадом
Две дисковые полки с экспандерами, которые контроллер определяет как LSI SAS2x36, на каждой четыре внешних порта.
Полки подключены с серверам и соединены между собой.
Сверху на всё это натянут MS Storage Spaces и изображает собой файловый сервер.
Сейчас возникла необходимость расширить объем хранения. Я подключил еще одну такую же полку каскадом к существующим. Как нетрудно догадаться, ничего не получилось.
Сервера полку увидели, а вот диски — нет. При попытке перезагрузить один сервер hba выкинул ошибку
sas discovery error 0x20000000Путем экспериментов выяснилось, что ошибки исчезают, если из корзины выдернуть половину дисков в любом порядке.
Собственно, вопрос — кто виноват и что делать?
Tert Advanced member Сообщения: 4233 Зарегистрирован: 19 янв 2003, 08:09 Откуда: Москва Контактная информация: