Как выбрать диски, контроллеры и корпуса для СХД: практическое руководство

Введение: почему выбор комплектующих определяет надежность СХД

Система хранения собирается из четырех групп компонентов: накопителей, контроллера, корпуса с бэкплейном и блока питания с охлаждением. Промах в любой из них сводит на нет достоинства остальных.

Восемь дисков с черепичной записью (SMR) в пуле RAIDZ читаются нормально, а при восстановлении массива скорость записи падает в разы, и один накопитель выпадает из пула. Аппаратный RAID-контроллер с батарейным кэшем прячет диски от ZFS, поэтому файловая система теряет SMART и контроль целостности. Блок питания, рассчитанный по средней мощности, не выдерживает одновременной раскрутки 12 шпинделей. Корпус без прямого обдува поднимает температуру накопителей выше 50 °C, и паспортный ресурс сокращается.

Короткий ориентир по закупке: накопители только CMR, HBA в IT-режиме вместо аппаратного RAID для ZFS, корпус с hot-swap и запасом отсеков, блок питания с запасом 30 % по пусковым токам, отдельный обдув дисков и контроллера.

Дальше разберем критерии по каждому узлу: параметры накопителей, отличия CMR и SMR, выбор между HBA и RAID-контроллером, подбор корпуса и бэкплейна, расчет блока питания и организацию охлаждения. В конце статьи есть чек-лист закупки и проверки перед вводом в эксплуатацию. Базовые расчеты ёмкости, IOPS и пропускной способности под конкретную нагрузку разобраны в руководстве по выбору сервера и дисковой полки для системы хранения.

HDD или SSD: что выбрать для вашего сценария

Для архивов, бэкапов и медиатеки, где запись идет последовательно и редко, подходят HDD. Для баз данных, виртуальных машин и файловых сервисов с множеством одновременных клиентов нужны SSD или NVMe: у механики есть физический предел по числу операций в секунду. Гибридные схемы, где SSD ускоряет чтение (L2ARC) или принимает синхронную запись (SLOG), а HDD хранит данные, закрывают разрыв между ценой и скоростью.

Ключевые параметры дисков: IOPS, пропускная способность, ресурс

IOPS (операции ввода-вывода в секунду) показывают, сколько случайных операций блоком 4 КБ накопитель выдает за секунду. Пропускную способность измеряют в МБ/с на последовательных операциях. Latency (задержка) определяет отклик на одну операцию, и для СХД виртуализации этот параметр важнее пиковых цифр: очереди растут быстрее, чем средняя скорость. Ресурс записи указывают в DWPD (число полных перезаписей диска в сутки за гарантийный срок) или TBW (суммарный объем записанных данных).

Тип накопителя	Случайные IOPS, блок 4 КБ	Последовательная скорость	Ресурс записи
HDD 7200 об/мин, SAS или SATA	100-200	150-260 МБ/с	паспортного DWPD нет, ресурс задают MTBF и гарантия
SATA SSD корпоративный	50 000-100 000	500-560 МБ/с	1-3 DWPD
NVMe SSD корпоративный	200 000-1 000 000	3 000-7 000 МБ/с	1-5 DWPD

Цифры ориентировочные: конкретная модель отличается от средних значений в разы, поэтому перед закупкой сверяйтесь с паспортом производителя. Практический вывод: четыре HDD в RAIDZ1 дают около 400 IOPS на случайных операциях, а 20 виртуальных машин со средним профилем требуют порядка 1000 IOPS. Механический пул такую нагрузку не вытянет, и накопители придется менять на SSD.

SAS, SATA или NVMe: интерфейсы и совместимость

SAS (12 Гбит/с на линию, два порта на диске, полнодуплексный обмен) рассчитан на корпоративные массивы: два пути к накопителю позволяют пережить отказ кабеля или порта. SATA (6 Гбит/с, один порт, полудуплекс) дешевле и подходит для домашних и небольших офисных NAS. Контроллер SAS читает SATA-диски, обратная совместимость не работает, поэтому SAS-накопитель не встанет в порт, рассчитанный только на SATA.

NVMe работает поверх PCIe, поэтому его производительность ограничена линиями шины, а не каналом 6 или 12 Гбит/с. Форм-факторы: U.2 и E3.S для стоечных систем, M.2 для плат и компактных сборок. NVMe требует разъема на материнской плате с достаточным числом линий, либо отдельного PCIe-адаптера, либо бэкплейна с поддержкой U.2. Восемь линий SAS со скоростью 12 Гбит/с дают около 96 Гбит/с, то есть примерно 11,5 ГБ/с на весь бэкплейн: этого хватает для HDD-массива, но потолок становится заметен при плотной установке NVMe.

CMR и SMR: чем отличаются диски и почему это важно

CMR (обычная перпендикулярная запись) размещает дорожки с зазором. SMR (черепичная запись) перекрывает соседние дорожки, как черепицу на крыше, и повышает плотность пластины на 20-25 %. Плата за плотность: чтобы изменить одну дорожку, накопитель перезаписывает блок соседних, поэтому длительная запись уходит в режим чтения-изменения-записи и скорость падает с типичных 150-200 МБ/с до 20-40 МБ/с.

Для одиночного внешнего диска под архив это терпимо. В RAID и ZFS SMR создает прямую угрозу: контроллер или файловая система ждут ответа на запись за отведенный таймаут, а накопитель в это время перестраивает соседние дорожки и не отвечает. Диск помечается как выпавший из массива, начинается resilver, который добавляет нагрузку и запускает ту же петлю. Восстановление пула из SMR-дисков может идти сутками и завершиться отказом.

Как определить CMR или SMR по модели диска

Производитель не всегда указывает тип записи в названии модели. Рабочий порядок проверки: открыть спецификацию на сайте вендора и найти строку про технологию записи, сверить модель по независимым базам совместимости, дополнительно посмотреть вывод smartctl. Для части накопителей утилита сообщает о поддержке зонированной записи, но полагаться только на нее не стоит: полного перечня SMR-моделей она не дает.

Известные примеры: WD Red до 2020 года в линейке до 6 ТБ выпускались с SMR, после скандала вендор разделил семейство на WD Red Plus и Red Pro с CMR; часть моделей Seagate Barracuda использует SMR, а IronWolf и IronWolf Pro построены на CMR; Toshiba P300 в отдельных объемах также SMR. Правило для RAID и ZFS: покупать только CMR.

HBA или RAID-контроллер: что выбрать для ZFS

ZFS работает с дисками напрямую, поэтому ей нужен HBA в режиме IT (JBOD), а не аппаратный RAID. HBA пропускает каждый накопитель как отдельное устройство: ZFS видит SMART, серийные номера и ошибки чтения, а избыточность строит сама. RAID-контроллер скрывает диски за виртуальными томами, и файловая система теряет доступ к этой информации.

Почему аппаратный RAID не подходит для ZFS

Три причины. Первая: кэш контроллера с батареей меняет порядок сброса данных, и после внезапного отключения питания ZFS может получить состояние, не соответствующее ее журналу транзакций. Вторая: без прямого доступа теряется самовосстановление, потому что исправлять ошибку нечем, и ZFS не может прочитать копию блока с другого диска. Третья: контроллер становится единой точкой отказа, и замена сгоревшей платы на другую модель часто означает недоступность массива, пока не найдется идентичная ревизия с той же прошивкой.

Отдельный риск - неверные настройки: включенный write-back кэш и запрет сквозного доступа к SMART скрывают деградацию накопителей до момента отказа. Как ведут себя разные схемы RAID при отказе диска и что проверять в конфигурации, описано в гиде по выбору и настройке RAID-массивов.

Корпуса и бэкплейны: как выбрать под многодисковый массив

Корпус определяет, сколько дисков вы поставите сейчас и добавите позже, как они будут охлаждаться и насколько просто менять накопитель без остановки системы. Смотрите на три числа: количество отсеков с горячей заменой, тип бэкплейна и число посадочных мест под вентиляторы. Обзор форм-факторов 1U, 2U, 4U и напольных решений с таблицей соответствия задачам есть в статье о размерах систем хранения.

Бэкплейн и SAS Expander: как подключить много дисков

Бэкплейн соединяет отсеки с контроллером и делится на пассивный (прямая разводка сигнала) и активный (со встроенным экспандером или логикой управления питанием). Разъемы на стороне HBA: SFF-8087 (mini-SAS, до 4 каналов на разъем) и SFF-8643 (mini-SAS HD, 12 Гбит/с). Кабель должен соответствовать разъему бэкплейна, иначе массив не подключить.

SAS Expander позволяет завести на один порт HBA до 24 дисков и больше. Он делит пропускную способность восходящего канала между всеми накопителями: 24 HDD на канале 4x12 Гбит/с делят около 4,8 ГБ/с. Для HDD-массива этого достаточно, для SSD и NVMe экспандер становится узким местом. SATA-диски через экспандер работают, но совместимость и обработка ошибок у таких связок хуже, чем у чистого SAS.

Охлаждение дисков в корпусе: воздушный поток и шум

HDD рассчитаны на работу примерно до 45 °C, а рост температуры выше этого порога ускоряет деградацию механики и электроники. Комфортный диапазон для массива: 30-40 °C. В корпусе без прямого обдува, где диски стоят плотно, температура легко доходит до 55 °C, а вместе с ней приходят ошибки чтения и преждевременные отказы.

Вентиляторы подбирают по статическому давлению: в корзине с плотной решеткой важна способность протолкнуть воздух через препятствие, а не максимальный расход в свободном потоке. Подходящие модели: Noctua NF-A12x25, Arctic P12, серверные 80-мм вентиляторы с высоким давлением. Шум снижают резиновыми прокладками, настройкой кривой оборотов и разделением потоков: холодный воздух забирают спереди через дисковую корзину, горячий выбрасывают сзади.

Блок питания и охлаждение: расчет и выбор

Ошибка в расчете БП проявляется при старте массива. HDD в рабочем режиме потребляет 5-8 Вт, SSD 2-5 Вт, но при раскрутке шпинделя один диск кратковременно берет по линии 12 В до 2 А, то есть 24-30 Вт. Двенадцать дисков одновременно могут потребовать 288-360 Вт только на раскрутку, плюс процессор, память, HBA и вентиляторы.

Расчет мощности БП для массива дисков

Формула для оценки: (число HDD × 10 Вт) + (число SSD × 5 Вт) + 100 Вт на платформу и контроллер, затем прибавить запас 30 %. Для восьми HDD получается 80 + 100 = 180 Вт, с запасом около 250 Вт. Эту цифру нужно проверить по пиковой нагрузке: 8 × 25 Вт на раскрутку = 200 Вт только по 12 В, поэтому блок на 250 Вт окажется на пределе. Рабочий вариант для такой сборки: 450-550 Вт с качественной линией 12 В.

Дополнительные ориентиры. Смотрите на ток по линии 12 В, а не на общую мощность: у дешевых блоков она набирается за счет маломощных линий 5 В и 3,3 В. Поддержка staggered spin-up в HBA или накопителях снижает пусковой ток и позволяет обойтись меньшим БП. Для стоечных систем берут блоки с резервированием, чтобы менять один без остановки узла. Марки, которые обычно ставят в сборки СХД: Seasonic, Corsair, be quiet!, а также серверные Supermicro для соответствующих корпусов.

Питание HDD-массива и конфигурацию ZFS-пула под конкретную нагрузку разбирает отдельное руководство по сборке и настройке массива хранения на TrueNAS.

Охлаждение HBA и дисков: практические решения

Контроллеры LSI/Broadcom требуют обдува: чип греется, а пассивный радиатор в корпусе с плохой циркуляцией не справляется. Простое решение - вентилятор 40 мм на 12 В над радиатором либо направленный поток от фронтальных вентиляторов. Дисковые корзины продувают напрямую: в серверных корпусах потоки разделены, и через каждый отсек проходит холодный воздух.

Мониторинг обязателен: SMART показывает температуру накопителя, датчики HBA и материнской платы показывают температуру чипов. Настройте оповещения по порогам 45 °C для дисков и 80 °C для контроллера, чтобы успеть отреагировать до отказа.

Совместимость и масштабируемость: как избежать конфликтов

Компоненты проверяют по цепочке до покупки. Материнская плата и HBA: нужен свободный слот PCIe x8 с достаточным числом линий от чипсета или процессора, иначе контроллер разделит пропускную способность с другими устройствами. HBA и бэкплейн: разъемы SFF-8087 и SFF-8643 несовместимы напрямую, нужен правильный кабель или переходник. Корпус и бэкплейн: активная плата на 24 отсека рассчитана на определенную глубину и крепление, поэтому совместимость проверяют по документации. Диски и бэкплейн: SAS-бэкплейн принимает и SAS, и SATA-накопители, а SATA-бэкплейн не примет SAS-диск.

NVMe подключают к U.2 или M.2 через PCIe-адаптер, и здесь важна поддержка bifurcation: без нее плата-разветвитель не увидит все накопители. Проверьте, какие режимы делит производитель платы и сколько линий останется HBA.

Масштабирование сводится к запасу по трем ресурсам: свободные порты HBA (или расширяемость через экспандер), свободные отсеки корпуса, свободная мощность БП и линии PCIe. Как правило, дешевле сразу взять корпус на 12 отсеков вместо 8 и блок питания на 550 Вт вместо 450 Вт, чем через год менять оба узла. В ZFS добавляйте диски целыми vdev-группами: новый vdev расширяет пул без перестройки существующих.

Чек-лист закупки и проверки компонентов

Определите профиль нагрузки: доля последовательной записи, случайного чтения, число одновременных клиентов, требования к задержке.
Посчитайте требуемую ёмкость с учетом избыточности, снапшотов и служебных издержек.
Выберите тип накопителей: CMR HDD для архивов, SSD или NVMe для баз данных и виртуализации, комбинация с L2ARC и SLOG для смешанных задач.
Проверьте каждую модель на CMR и на ресурс записи по паспорту производителя.
Подберите HBA с IT-режимом и PCIe x8, уточните ревизию и риск подделок у продавца.
Возьмите корпус с запасом отсеков, hot-swap и совместимым бэкплейном, сверьте разъемы SFF-8087 или SFF-8643.
Рассчитайте мощность БП по пусковым токам, добавьте запас 30 % и проверьте ток линии 12 В.
Спланируйте охлаждение: фронтальный поток через дисковую корзину, обдув HBA, мониторинг температур.
Оставьте запас по портам HBA, отсекам, линиям PCIe и мощности БП.
После сборки проверьте накопители: длинный SMART-тест, поиск бэд-блоков, тест скорости записи и чтения, контроль температур под нагрузкой.

Проверку дисков делайте до заливки данных: поиск бэд-блоков разрушает содержимое накопителя. Прогон нового массива под нагрузкой выявляет ранние отказы, которые иначе случаются в первые недели работы.

Заключение: главные принципы подбора аппаратного обеспечения

Для RAID и ZFS покупайте только CMR-диски: SMR роняет скорость и срывает восстановление массива.
Для ZFS нужен HBA в IT-режиме, а не аппаратный RAID: файловая система должна видеть каждый диск и его SMART.
Тип накопителя выбирайте по профилю нагрузки: HDD для последовательных потоков, SSD и NVMe для случайного доступа и виртуализации.
Корпус берите с запасом отсеков, hot-swap, совместимым бэкплейном и прямым обдувом дисков.
Мощность БП считайте по пусковым токам, добавляйте 30 % запаса и следите за линией 12 В.
Проверяйте совместимость заранее: слот PCIe, разъемы SFF, форм-фактор корпуса, режимы bifurcation.
Тестируйте накопители и массив до ввода в эксплуатацию: SMART, поиск бэд-блоков, замеры скорости и температуры.

Начните с профиля нагрузки и требуемого числа IOPS: от этих двух цифр зависят тип дисков, модель HBA и размер корпуса. Дальше остается сверить совместимость по чек-листу и заложить запас по отсекам, портам и питанию, чтобы следующее расширение прошло без замены ключевых узлов.