Проектирование 24-слотового дискового массива: от выбора железа до пассивного охлаждения

Сборка 24-слотового дискового массива - это инженерная задача, где каждое решение влияет на производительность, надёжность и стоимость владения. Это руководство даёт пошаговую методологию выбора компонентов, компоновки данных и организации охлаждения, основанную на практическом опыте. Вы получите готовые схемы для RAID и ZFS, формулы расчёта мощности и конкретные инструкции по мониторингу, которые позволят избежать типичных ошибок и построить систему, отвечающую требованиям вашей нагрузки - будь то виртуализация, хранилище данных или резервное копирование.

С чего начать: выбор аппаратной платформы для 24-слотового массива

Фундамент надёжного массива закладывается на этапе выбора железа. Ошибки здесь ведут к несовместимости, перегреву и ограничениям на будущее расширение. Мы разберём ключевые компоненты.

2U или 4U: решающий фактор не только в размерах

Форм-фактор шасси определяет не только занимаемое место в стойке, но и тепловой режим, шумность и возможности для апгрейда.

Корпуса 2U предлагают высокую плотность размещения, экономя ценное пространство в дата-центре. Их главный недостаток - ограниченная высота, что накладывает жёсткие рамки на систему охлаждения. Стандартные кулеры для процессоров часто не помещаются, а организация эффективного воздушного потока через 24 плотно упакованных дисковых отсека требует мощных вентиляторов с высоким статическим давлением. Количество слотов расширения для дополнительных сетевых или кэширующих карт также ограничено.

Шасси 4U предоставляет идеальные условия для пассивного или тихого активного охлаждения. Большой внутренний объём позволяет использовать массивные башенные кулеры для процессоров, снижая их температуру и шум. Воздушный поток от передней панели к задней встречает меньше сопротивления, что критически важно для охлаждения дисков. В 4U-корпусе обычно больше слотов расширения, места для дополнительных SSD формата 2.5" и кабельного менеджмента. Минус - занятие большего числа юнитов в стойке.

Вывод: 2U - выбор для дата-центров с мощной централизованной системой охлаждения, где на первом месте плотность. 4U - оптимальное решение для корпоративных серверных комнат, офисов или домашних лабораторий, где критичны надёжность, тишина и простота обслуживания. Если вы планируете использовать пассивное охлаждение, 4U - единственный разумный вариант.

Контроллеры SAS: HBA, RAID и тонкости прошивки (IT vs IR Mode)

Контроллер - это диспетчер, который управляет всеми дисками в массиве. Его неправильный выбор сделает невозможным использование современных файловых систем, таких как ZFS.

HBA (Host Bus Adapter) в режиме IT (Initiator Target) работает как «прозрачный» мост. Он передаёт управление каждым физическим диском напрямую операционной системе, без какой-либо дополнительной логики. Этот режим обязателен для работы с ZFS, который сам реализует все функции RAID, целостности данных и кэширования. Популярные и проверенные модели - карты на чипах Broadcom (ранее LSI) серий 9300 (SAS3 12Gb/s) и 9500 (SAS4 24Gb/s). Например, LSI 9300-8i или 9400-16i.

RAID-контроллеры (или HBA, перепрошитые в режим IR - Integrated RAID) выполняют все операции по организации массива на аппаратном уровне. Они представляют ОС уже готовый логический диск. Для ZFS это неприемлемо, так как система теряет прямой доступ к дискам и не может контролировать целостность данных. Такие контроллеры часто оснащаются собственным кэшем (BBU - Battery Backup Unit или FBWC - Flash-Based Write Cache) для ускорения записи.

Рекомендация: для построения массива под управлением ZFS или программного RAID mdadm используйте HBA в режиме IT. Многие контроллеры, продающиеся как RAID, могут быть перепрошиты в IT-режим с помощью утилит вроде sas2flash или sas3flash. Это стандартная процедура для карт Broadcom. При выборе обратите внимание на количество портов: для 24 дисков через два кабеля SFF-8643 (каждый на 4 канала) потребуется контроллер с 8 внутренними портами (например, 9300-8i) и два или три расширителя (expander) SAS, встроенных в шасси или в виде отдельной платы.

Что касается SAS 12Gb/s против 24Gb/s: для классических HDD даже 12Gb/s (около 1.2 ГБ/с) - это избыточная пропускная способность. Прирост от SAS4 актуален для массивов, целиком состоящих из высокоскоростных SAS или NVMe-дисков, подключённых через адаптеры. Для большинства сценариев с HDD и SATA SSD достаточно SAS3. Убедитесь, что кабели и бэкплэйн шасси поддерживают выбранную версию протокола.

Типичные ошибки: покупка дисков SMR (Shingled Magnetic Recording) для массива. Они не подходят для RAID/ZFS из-за катастрофического падения производительности при перезаписи. Выбирайте CMR (Conventional Magnetic Recording) диски. Для SSD-кэша обращайте внимание не только на тип NAND (TLC, QLC), но и на параметр DWPD (Drive Writes Per Day), который указывает на выносливость.

Оптимальная компоновка: от RAID-групп до ZFS пулов

Как распределить 24 диска по группам, чтобы получить максимум полезного пространства, не потеряв в отказоустойчивости и скорости? Философия компоновки строится на балансе между размером группы (vdev в ZFS или RAID-группы) и риском одновременного выхода из строя нескольких дисков.

Сравнительная таблица: RAID vs ZFS пулы для типовых задач

В ZFS пул (pool) строится из одного или нескольких виртуальных устройств - vdev. Потеря любого vdev ведёт к потере всего пула. Поэтому внутри vdev обеспечивается отказоустойчивость (через raidz1, raidz2, raidz3 или mirror), а производительность пула растёт с добавлением новых vdev, так как данные распределяются между ними.

Практические схемы для 24 дисков:

• 2x raidz2 (12 дисков в каждом): хороший баланс ёмкости и защиты. Выдерживает выход из строя двух дисков в каждом vdev. Подходит для большинства задач хранения.
• 3x raidz2 (8 дисков в каждом): повышенная производительность за счёт большего числа vdev. Ёмкость немного меньше, но отзывчивость системы выше. Оптимально для сред с активным чтением и записью.
• 12x mirror (2 диска в каждом): максимальные IOPS и отказоустойчивость, но цена - 50% полезной ёмкости. Выбор для высоконагруженных баз данных или систем виртуализации, где важна низкая задержка.

Критичный параметр в ZFS - ashift. Он задаёт размер блока выравнивания и должен быть установлен при создании пула, обычно в значение 12 (для 4K-секторных дисков). Неправильный ashift ведёт к значительному падению производительности. Также настраивайте recordsize под нагрузку: 1M для больших последовательных файлов (видео, бэкапы), 128K для СУБД и виртуальных машин.

Особый случай: гибридные пулы SSD кэширования (SLOG/L2ARC)

SSD могут ускорить массив, но их нужно применять осознанно, чтобы не получить обратный эффект.

SLOG (Separate Intent Log) - это устройство для журнала синхронных запросов. Он нужен только если ваша рабочая нагрузка использует синхронную запись с параметром sync=always (например, NFS-экспорт или iSCSI для виртуализации). SLOG не ускоряет асинхронную запись или чтение. Требования к SLOG: низкая задержка (лучше всего Optane или NVMe с защитой от потери питания - Power Loss Protection, PLP) и достаточная выносливость. Размер может быть небольшим (от 16 до 64 ГБ), так как в журнале хранятся только метаданные.

L2ARC (Level 2 Adaptive Replacement Cache) - кэш второго уровня для чтения. Это расширение оперативной памяти (ARC). L2ARC эффективен только при повторном доступе к одним и тем же «горячим» данным. Его главный недостаток - метаданные кэша хранятся в ARC, отнимая драгоценную оперативную память. Добавление L2ARC без достаточного объёма RAM (менее 64 ГБ) может снизить общую производительность. Для массива на 24 диска L2ARC имеет смысл, если у вас больше 128 ГБ RAM и рабочий набор данных существенно превышает её размер. Под L2ARC выбирайте ёмкие и выносливые NVMe или SATA SSD.

Размещайте эти SSD в доступных слотах шасси: M.2 (через адаптер PCIe), U.2 или 2.5". Убедитесь, что они подключены к отдельным линиям PCIe, а не через общий с дисками контроллер.

Для глубокого понимания основ RAID и сравнения с программными решениями обратитесь к нашему подробному гиду: RAID-массивы 2026: полный гид по выбору и настройке.

Инженерный вызов: пассивное охлаждение 24 дисков в корпусе

Тепловой режим - главный фактор, влияющий на срок службы жёстких дисков. Перегрев на каждые 5°C выше 40°C статистически вдвое сокращает их ресурс. Пассивное или тихое активное охлаждение решает проблему шума, пыли и надёжности вентиляторов.

Практическая схема воздушных потоков в 4U шасси

Цель - создать направленный «коридор» воздуха от передней панели к задней, минимизируя турбулентности и застойные зоны. В шасси 4U с 24 передними отсеками это реализуемо.

Схема:

1. Intake (вдув): Установите три 140-мм вентилятора на передней панели. Ключевой параметр - статическое давление (mm H2O), а не просто воздушный поток (CFM). Вентиляторы должны преодолеть сопротивление плотно упакованных корзин с дисками. Обороты можно установить на 800-1200 об/мин для баланса тишины и эффективности.
2. Проход через диски: Воздух, проталкиваемый вентиляторами, проходит через все 24 диска, забирая у них тепло. Важно, чтобы между дисками не было пустых слотов - используйте заглушки. Это предотвращает «короткое замыкание» потока, когда воздух идёт по пути наименьшего сопротивления, минуя часть дисков.
3. Свободное пространство: Нагретый воздух попадает в основную камеру корпуса, где находятся материнская плата, процессоры и контроллеры. Здесь он смешивается и дополнительно нагревается от этих компонентов.
4. Exhaust (выдув): Два или три 120/140-мм вытяжных вентилятора на задней панели создают зону низкого давления, активно удаляя горячий воздух из корпуса. Их обороты можно синхронизировать с температурой процессоров или дисков через BIOS или софт.

Герметизируйте все боковые щели и технологические отверстия, не предназначенные для вентиляции. Это заставит весь воздух идти по запланированному пути. В шасси 2U эта схема сложнее из-за ограниченной высоты. Часто требуются высокооборотные вентиляторы толщиной 15-20 мм и возможна модификация внутренних перегородок для улучшения потока.

Мониторинг и алертинг: что отслеживать, кроме температуры диска

Реакция на превышение температуры - это уже борьба с последствиями. Проактивный мониторинг предупредит о проблеме до выхода диска из строя.

Собирайте данные SMART с помощью smartctl (из пакета smartmontools). Критичные атрибуты:

• Temperature_Celsius: Оптимальный диапазон для HDD - 30-40°C. Для SSD допустимо до 50-60°C, но лучше ниже.
• Reallocated_Sector_Ct: Количество переназначенных сбойных секторов. Любое ненулевое и растущее значение - тревожный признак.
• Raw_Read_Error_Rate: Указывает на ошибки чтения с поверхности. Рост значения требует внимания.
• Current_Pending_Sector: Секторы, кандидаты на переназначение. Их наличие говорит о проблемах.

Настройте периодический опрос, например, раз в час, скриптом:

#!/bin/bash
for disk in /dev/sd[a-z]; do
    smartctl -a $disk | grep -E "(Temperature|Reallocated|Pending|Read_Error)" >> /var/log/disk_health.log
done

Интегрируйте сбор метрик в Prometheus с помощью экспортера node_exporter (с поддержкой SMART) или специального textfile collector. В Zabbix используйте шаблон для мониторинга SMART. Настройте алерты не только на порог температуры (например, >45°C), но и на динамику: резкий рост температуры за короткий период, увеличение числа переназначенных секторов более чем на 10 за сутки.

Контролируйте обороты вентиляторов через IPMI (для серверных плат) или утилиты вроде ipmitool. Резкое снижение оборотом одного из вентиляторов - сигнал к его замене.

Если вы рассматриваете готовые системы хранения, наш сравнительный анализ поможет принять решение: HPE MSA vs Dell PowerVault: практическое сравнение для выбора массива.

Энергопотребление и интеграция: финальные штрихи

После сборки железа и настройки пула важно правильно рассчитать энергопотребление и интегрировать массив в инфраструктуру.

Расчёт мощности БП: от теории к конкретным цифрам

Слабое питание - причина нестабильной работы и сбоев. Рассчитаем пиковую нагрузку для типовой конфигурации:

• 24 HDD 10TB (например, WD Red Pro): ~7 Вт в работе, 0.8 Вт в простое. Пик: 24 * 7 Вт = 168 Вт.
• 2 процессора (например, Intel Xeon Silver): TDP 150 Вт каждый. Пик: 2 * 150 Вт = 300 Вт.
• Контроллер SAS HBA: ~20 Вт.
• 6 вентиляторов 140 мм: ~5 Вт каждый. Итого: 30 Вт.
• Материнская плата, память, SSD под ОС: ~50 Вт.

Суммарная пиковая мощность: 168 + 300 + 20 + 30 + 50 = 568 Вт.

Блоки питания работают с максимальным КПД в диапазоне 50-80% от номинала. Поэтому для нашей нагрузки в 568 Вт оптимальным будет БП номиналом от 750 Вт (568 / 0.75 ≈ 757 Вт). Для корпоративных решений выбирайте сертификат 80 Plus Platinum или Titanium - они обеспечивают КПД выше 90% при типичной нагрузке, что снижает счета за электричество и тепловыделение. Резервирование (конфигурация 1+1) повышает отказоустойчивость системы.

Стратегии экономии: используйте функции гибернации дисков. В Linux для этого подходят hdparm -S или sdparm. В ZFS можно настроить параметр autotrim и использовать диски с пониженной скоростью вращения (5400 RPM) для архивных данных. Однако помните, что частые циклы старт-стоп также снижают ресурс HDD.

Быстрый старт: минимальная настройка TrueNAS для работы массива

TrueNAS - готовая операционная система на базе FreeBSD (Core) или Linux (Scale) с полноценной реализацией ZFS и веб-интерфейсом. Вот базовые шаги для запуска массива:

1. Установка ОС: Загрузите актуальный образ TrueNAS Core или Scale с официального сайта. Запишите его на USB-накопитель или SSD. Установите систему на отдельный небольшой SSD (рекомендуется) или на два USB-накопителя в зеркале. Не используйте для ОС диски из основного пула.
2. Обновление: После первой настройки сети и входа в веб-интерфейс (обычно по адресу http://IP-адрес) перейдите в раздел System -> Update. Установите последнюю стабильную версию.
3. Создание пула: Перейдите в Storage -> Pools -> Add. Выберите режим Create new pool. В мастере добавьте диски, сформировав vdev в нужной конфигурации (например, два vdev типа raidz2, по 12 дисков в каждом). Установите ashift=12.
4. Настройка параметров пула: После создания пула откройте его настройки. Рекомендуемые параметры: Compression=lz4 (лёгкое и эффективное сжатие), Deduplication=off (требует огромного объёма RAM), Read/Write cache=on.
5. Создание набора данных (dataset): Внутри пула создайте dataset для разных типов данных. Например, «backup» с recordsize=1M и «vmstore» с recordsize=128K. Это позволит задавать разные политики квот, снимков и производительности.
6. Настройка общего доступа: В разделе Sharing создайте SMB (для Windows), NFS (для Linux) или iSCSI Share (для виртуализации). Настройте права доступа и, при необходимости, доменную аутентификацию.
7. Задачи обслуживания: В Tasks настройте периодические SMART-тесты (короткие - ежедневно, длинные - еженедельно) и скрабирование (scrub) пула - например, раз в две недели. Scrub проверяет целостность данных и исправляет ошибки с помощью контрольных сумм.

Для интеграции в сеть рассмотрите создание Link Aggregation (LAGG) из двух или четырёх сетевых интерфейсов для увеличения пропускной способности и отказоустойчивости. Для сетей хранения данных (SAN) увеличьте MTU до 9000 (Jumbo Frames) на всех участниках сети.

Если ваш проект менее масштабный, возможно, вам подойдёт решение для дома или малого офиса. Мы подробно сравнили варианты в статье Дисковый массив для дома и малого офиса 2026: NAS, DAS или самосборная система.

После настройки производительность системы можно проверить и оптимизировать с помощью методов, описанных в нашем руководстве: Производительность дисковых подсистем в 2026: SSD, RAID и ZFS на практике.

Для автоматизации работы с ИИ-моделями в процессе администрирования или документирования вы можете использовать агрегатор API AiTunnel. Сервис предоставляет единый доступ к GPT, Gemini, Claude и другим моделям с оплатой в рублях, без необходимости настройки VPN, что может быть полезно для генерации скриптов или анализа логов.