Система хранения данных (СХД) и дисковый массив решают разные задачи. Массив организует физические накопители в логические тома и отвечает за отказоустойчивость и скорость на уровне дисков. СХД добавляет к этому контроллеры, кэш, сетевые интерфейсы, ПО управления, снапшоты, репликацию и квоты, то есть превращает набор дисков в сервис хранения для десятков серверов.
По способу доступа выделяют три базовых класса: DAS подключается напрямую через SATA, SAS или USB, NAS отдаёт файлы по NFS и SMB, SAN предоставляет блоки (LUN) по iSCSI или Fibre Channel. Выбор между ними определяется профилем нагрузки, требованиями к задержке, бюджетом и наличием специалиста, который будет это администрировать.
Ниже разобраны определения, уровни RAID, сравнительная таблица DAS, NAS и SAN, ориентиры по IOPS и стоимости, чек-лист вопросов перед покупкой и типичные ошибки, которые приводят к просадке производительности или потере данных.
Система хранения данных и дисковый массив: в чём разница
Термины часто смешивают в разговоре, хотя на уровне архитектуры это разные сущности. Массив работает с накопителями и RAID-группами, СХД предоставляет сервис хранения целиком: доступ по сети, управление, защиту данных и мониторинг.
Что такое система хранения данных (СХД)
СХД - аппаратно-программный комплекс, который централизованно хранит данные, защищает их и выдаёт доступ по блочным, файловым или объектным протоколам. В типовую корпоративную систему входят: дисковые полки с HDD и SSD; два контроллера в режиме актив-актив или актив-пассив; кэш объёмом от 8 до 64 ГБ на контроллер с защитой батареей или конденсаторами; блоки питания и вентиляторы с горячей заменой; firmware и ПО управления вроде ONTAP, SANtricity или DSM.
Класс устройства не привязан к цене. Аппаратные системы Dell PowerVault ME5, HPE Alletra и NetApp AFF работают на выделенном железе. Программно-определяемые СХД вроде TrueNAS на ZFS, Ceph или VMware vSAN собираются на обычных серверах x86. Даже персональное облачное хранилище Synology BeeStation 4TB (BST150-4T) с одним диском на 4 ТБ попадает в категорию СХД: устройство хранит данные, управляет ими и выдаёт доступ через веб-интерфейс и мобильные приложения.
Разбираться в компонентах стоит по порядку: контроллеры, дисковые полки, кэш и интерфейсы подробно описаны в материале про электронные системы хранения данных, их архитектуру и протоколы доступа.
Отличие СХД от простого набора дисков дают сервисы: снапшоты, тонкое выделение ёмкости (thin provisioning), репликация между площадками, multipath ввод-вывод, шифрование томов, квоты и разграничение прав. Без них это полка с дисками, а не система хранения.
Что такое дисковый массив
Дисковый массив - группа физических накопителей, объединённых в логические тома RAID-контроллером. Контроллер бывает аппаратным (плата расширения с кэшем, батареей и собственным процессором) или программным (mdadm в Linux, Storage Spaces в Windows, ZFS RAIDZ).
Массив закрывает три задачи: отказоустойчивость через зеркалирование и чётность, скорость через страйпинг, объединение ёмкости в один том. Сервер с четырьмя NVMe в RAID 10 - это дисковый массив. Полноценной СХД он не становится: нет сетевого доступа для нескольких хостов, управления, снапшотов и репликации.
Аналогия простая: СХД похожа на автомобиль, а дисковый массив - на двигатель. Мотор без кузова, трансмиссии и электроники никуда не поедет. Иерархия получается такой: СХД строится на базе DAS, NAS или SAN, а внутри любого из этих классов работают дисковые массивы.
Классификация дисковых массивов: уровни RAID и способы реализации
Массивы различают по двум измерениям: уровень RAID и способ выполнения операций ввода-вывода. Первый определяет баланс между отказоустойчивостью, скоростью и полезной ёмкостью, второй влияет на цену, переносимость конфигурации и нагрузку на процессор сервера.
Основные уровни RAID: RAID 0, RAID 1, RAID 5, RAID 6 и RAID 10
| Уровень | Минимум дисков | Отказоустойчивость | Полезная ёмкость | Где применять |
|---|---|---|---|---|
| JBOD | 1 | нет | 100% | архивы, тестовые стенды, скретч-тома |
| RAID 0 | 2 | нет | 100% | временные данные, кэш, промежуточная обработка |
| RAID 1 | 2 | 1 диск | 50% | загрузочные тома, небольшие базы данных |
| RAID 5 | 3 | 1 диск | 67% на 3 дисках, 94% на 16 | файловые хранилища на дисках до 8-10 ТБ |
| RAID 6 | 4 | 2 диска | 50% на 4 дисках, 88% на 16 | большие массивы, архивы, бэкапы |
| RAID 10 | 4 | 1 диск в каждой зеркальной паре | 50% | СУБД, виртуализация, нагруженный OLTP |
RAID 0 даёт линейный рост скорости чтения и записи без защиты: отказ одного диска уничтожает весь том. RAID 1 выдерживает потерю одного накопителя, чтение ускоряется за счёт двух источников, запись идёт на уровне скорости одного диска, а половина ёмкости уходит на зеркало.
RAID 5 выдерживает один отказ, но платит за это штрафом на запись: контроллеру нужно прочитать старые данные и старую чётность, посчитать новую и записать её, то есть четыре операции ввода-вывода на одну логическую запись. RAID 6 добавляет вторую чётность, выдерживает два одновременных отказа и увеличивает штраф до шести операций. RAID 10 сочетает страйп и зеркало: запись обходится без вычисления чётности, поэтому на транзакционных нагрузках он обгоняет RAID 5 и RAID 6 при том же числе дисков.
Восстановление массива - отдельный риск. RAID 5 на дисках по 4 ТБ пересобирается часами, при больших объёмах процесс занимает сутки и больше, а всё это время массив работает без избыточности. У потребительских SATA-дисков норма невосстановимой ошибки чтения часто указана как 1 на 10^14 бит: при чтении 12 ТБ во время пересборки вероятность второй ошибки становится заметной. Практическое правило: для дисков от 8 ТБ берут RAID 6, RAID 10 или ZFS RAIDZ2. Составные уровни RAID 50 и RAID 60 применяют редко, обычно в крупных массивах, где нужен компромисс между ёмкостью и скоростью.
RAID не заменяет резервное копирование ни на одном уровне. Он защищает от отказа диска, но не от сбоя контроллера, ошибки администратора или шифровальщика.
Аппаратный и программный RAID: что выбрать
Аппаратный контроллер - это отдельная плата с кэшем 1-4 ГБ, батареей или конденсатором и собственным процессором. Он снимает нагрузку с CPU, не зависит от операционной системы и допускает замену платы без пересборки массива, если новая модель совместима. Минусы: цена от 30-50 тыс. рублей, привязка к вендору и риск потерять конфигурацию, если контроллер сгорел, а совместимого на складе нет.
Программный RAID работает средствами ОС: mdadm в Linux, Storage Spaces в Windows, RAIDZ в ZFS. Конфигурация переносится вместе с дисками, стоимость ниже, а ZFS дополнительно хранит контрольные суммы блоков, самовосстанавливает данные и не подвержен проблеме write hole благодаря копированию при записи. Плата за это - расход CPU и RAM. ZFS ориентируется на 1 ГБ оперативной памяти на 1 ТБ ёмкости с поправкой на нагрузку, а дедупликация требует десятков гигабайт и на практике включается редко.
Правило выбора простое: нагруженные СУБД с OLTP и жёсткими требованиями к задержке получают аппаратный контроллер с BBU и write-back кэшем. Файловые хранилища, офисные и домашние NAS, программно-определяемые системы строятся на программном RAID. Подробнее о классах и сценариях - в обзоре классификации систем хранения данных: DAS, NAS, SAN, объектные и облачные решения.
Типы хранилищ: DAS, NAS и SAN - сравнение
Классы различаются способом доступа. Блочный доступ означает, что сервер видит тома как локальные диски и работает с собственной файловой системой. Файловый доступ даёт общие папки по сети. Объектный доступ работает через HTTP API и применяется для больших объёмов неструктурированных данных.
DAS: прямое подключение
DAS (Direct Attached Storage) подключается к серверу напрямую. Пропускная способность интерфейсов: SATA 6 Гбит/с даёт около 550 МБ/с, SAS 12 Гбит/с на линию, а wide port из четырёх линий выжимает до 4,8 ГБ/с, USB 3.2 - 10 Гбит/с. Полки JBOD через SAS expander поддерживают до 1024 накопителей в одном домене.
Плюсы: минимальная задержка среди всех классов, низкая цена, простая настройка, отсутствие сетевых накладных расходов. Минусы: данные доступны только одному серверу, хранилище становится единой точкой отказа, а расширение ограничено корпусом и контроллером. Типичные сценарии: локальные бэкапы, промежуточные данные, выделенный сервер СУБД, домашние рабочие станции. Разницу между DAS и NAS на реальных нагрузках разбирает руководство по прямому подключению хранилищ DAS, SAS, SATA и выбору между DAS и NAS.
NAS: сетевое файловое хранилище
NAS отдаёт файлы по NFS, SMB/CIFS, AFP и объектному S3-совместимому API, а также умеет iSCSI, превращаясь в блочное хранилище поверх Ethernet. Пропускная способность ограничена сетью: 1 GbE даёт около 110 МБ/с, 10 GbE около 1,1 ГБ/с, 25 GbE около 2,8 ГБ/с.
Плюсы: общий доступ для десятков клиентов, снапшоты, встроенное резервное копирование, списки контроля доступа, интеграция с Active Directory, медиасервер. Минусы: задержка выше, чем у DAS, а файловые протоколы плохо подходят для СУБД с интенсивной записью из-за блокировок и накладных расходов SMB. Типичные примеры: Synology, QNAP, TrueNAS, OpenMediaVault. Устройство Synology BeeStation 4TB (BST150-4T) показывает, как персональный NAS для дома или малого офиса закрывает задачи хранения фото, документов и резервных копий.
SAN: блочное хранилище для высоких нагрузок
SAN (Storage Area Network) - выделенная сеть для блочного доступа. Транспорт: Fibre Channel 8, 16, 32 или 64 Гбит/с, iSCSI поверх Ethernet 10, 25 или 100 GbE, FCoE, NVMe-oF. Сервер получает LUN и видит его как локальный диск, а multipath (MPIO) даёт два независимых пути к данным.
Задержки: Fibre Channel обычно 100-200 микросекунд, iSCSI на 10 GbE 200-500 микросекунд, локальный NVMe измеряется десятками микросекунд. Плюсы SAN: высокая производительность, предсказуемая задержка, масштабирование до сотен дисков, снапшоты и репликация на уровне массива. Минусы: цена от 300 тыс. рублей за начальную конфигурацию и сложность. Нужны зонирование FC, презентация LUN, настройка multipath, отдельная квалификация администратора. Примеры: Dell PowerVault ME5, NetApp AFF, HPE MSA 2060. Типовые задачи: виртуализация VMware и Hyper-V, СУБД, отказоустойчивые кластеры.
Сравнительная таблица DAS, NAS и SAN
Как читать таблицу: ключевые параметры
Первым делом смотрите на способ доступа. Блочный нужен для СУБД и гипервизоров, файловый подходит для общих папок, бэкапов и медиатек. Второй параметр - задержка: от неё зависит отклик приложений. Третий - стоимость владения за 5 лет, а не только цена покупки. Четвёртый - масштабируемость: сколько дисков можно добавить без остановки сервиса. Пятый - сложность администрирования и наличие специалиста в штате.
| Параметр | DAS | NAS | SAN |
|---|---|---|---|
| Способ доступа | блочный | файловый, дополнительно блочный через iSCSI | блочный |
| Протоколы | SATA, SAS, USB, NVMe | NFS, SMB/CIFS, AFP, S3 | iSCSI, Fibre Channel, FCoE, NVMe-oF |
| Типовая задержка | десятки-сотни микросекунд | 0,5-2 мс | 0,1-0,5 мс |
| Пропускная способность | до 4,8 ГБ/с на SAS wide port | около 110 МБ/с на 1 GbE, около 1,1 ГБ/с на 10 GbE | единицы ГБ/с в зависимости от числа линий |
| Стоимость старта | от 10 тыс. рублей | от 30 тыс. рублей | от 300 тыс. рублей |
| Масштабируемость | низкая | средняя | высокая |
| Сложность администрирования | низкая | низкая или средняя | высокая |
| Типовые задачи | локальные бэкапы, выделенный сервер СУБД | общие папки, бэкапы, медиатеки, документооборот | виртуализация, СУБД, кластеры |
Границы между классами размывают программно-определяемые системы: vSAN, TrueNAS и Ceph умеют отдавать и файлы, и блоки, работая на стандартных серверах. Матрицу выбора с RPO, RTO и стоимостью владения для виртуализации, баз данных и файловых сервисов разбирает отдельный материал о выборе системы хранения для виртуализации, баз данных и файловых сервисов.
Примеры из практики: что выбирают для типовых задач
Файловый сервер на 50 сотрудников: NAS с 6-8 дисками в RAID 6 и портом 10 GbE, ориентировочно 150-250 тыс. рублей вместе с дисками. База 1С на 200 одновременных пользователей: локальный RAID 10 из NVMe или SAN по iSCSI с 2000-5000 IOPS и задержкой до 2 мс. Резервные копии виртуальных машин: NAS с дедупликацией или DAS-полка, подключённая к серверу бэкапа. Кластер Kubernetes: программно-определяемое хранилище через CSI-драйвер, Ceph, Longhorn или vSAN.
Для дома и малого офиса на 1-3 пользователя хватает персонального NAS. Устройство Synology BeeStation 4TB (BST150-4T) с одним диском на 4 ТБ закрывает хранение документов, фото и резервных копий без отдельного сервера, но не подойдёт для СУБД или виртуализации.
Как выбрать хранилище под инфраструктуру: чек-лист вопросов
Вопросы о доступе и производительности
- Какой доступ нужен: блочный или файловый? OLTP-СУБД, гипервизоры и кластеры требуют блоков. Общие папки, архивы и медиатеки обходятся файловым доступом.
- Сколько IOPS требуется? Ориентиры: файловый сервер на 50 пользователей 100-200 IOPS, 1С на 20-50 сессий 300-1000 IOPS, 1С на 100-200 сессий 2000-5000 IOPS, PostgreSQL под OLTP 5000-50000 IOPS при случайном чтении блоками 4 КБ.
- Какая задержка допустима? OLTP выдерживает 1-2 мс, файловые сервисы 5-10 мс, аналитические задачи 20 мс и выше.
- Какой профиль нагрузки? Последовательные операции и случайные блоки 4 КБ дают разную картину. HDD выдаёт 150-250 МБ/с последовательно и 100-200 IOPS случайно, SATA SSD около 550 МБ/с и 50-100 тыс. IOPS, NVMe 500 тыс. IOPS и больше.
- Какие диски ставить? NL-SAS для архивов, SATA SSD для смешанной нагрузки, NVMe для СУБД и кэша.
- Замеряли ли вы нагрузку? До покупки снимите метрики через fio, diskspd или vdbench на пиковых часах.
Вопросы о бюджете, масштабировании и администрировании
- Какой бюджет и TCO на 5 лет? Считайте диски, контроллеры, лицензии, поддержку, обучение и электричество, а не только стартовую цену.
- Есть ли план роста? Проверьте число свободных слотов, поддержку полок и расширение тома без простоя.
- Что с отказоустойчивостью? Два контроллера, два блока питания, multipath, два коммутатора, кворум для кластера. Один коммутатор или один контроллер превращает массив в единую точку отказа.
- Какие RPO и RTO нужны? От них зависит частота снапшотов, наличие репликации и схема 3-2-1: три копии, два типа носителей, одна копия вне площадки.
- Кто будет администрировать? Если специалиста по Fibre Channel нет, выбирайте NAS или программно-определяемое хранилище.
- Совместимо ли решение с инфраструктурой? Проверьте HBA и драйверы, поддержку гостевых ОС, сертификацию вендора и списки совместимости гипервизора.
- Планируется виртуализация или Kubernetes? Тогда нужны снапшоты на уровне тома, vVols и CSI-драйвер с поддержкой режимов RWO и RWX.
- Считали ли вы облачную альтернативу? Оцените не только хранение, но и трафик на выгрузку: он часто превышает стоимость самого хранения.
Типичные ошибки при выборе и эксплуатации СХД
Ошибки в планировании и резервном копировании
Первая и самая дорогая ошибка - считать RAID заменой бэкапу. Массив переживает отказ диска, но не выход контроллера, не шифровальщика и не команду удаления, запущенную не на том сервере.
Вторая - недооценка времени пересборки. RAID 5 на дисках по 4 ТБ восстанавливается часами, а на 10-14 ТБ дисках процесс затягивается на дни. Норма невосстановимой ошибки чтения 1 на 10^14 бит у потребительских SATA означает реальный риск словить вторую ошибку прямо во время пересборки. Для таких объёмов берут RAID 6, RAID 10 или ZFS RAIDZ2.
Третья - отсутствие теста восстановления. Резервная копия, которую ни разу не разворачивали, не считается копией. Проверяйте восстановление минимум раз в квартал и фиксируйте время, которое оно заняло: это и есть реальный RTO.
Ошибки в выборе типа хранилища и администрировании
- NAS под 1С по SMB. Файловый доступ с блокировками даёт просадку отклика, ошибки захвата файлов и рост задержки. Для СУБД нужен блочный доступ через iSCSI или локальный RAID.
- Виртуальные машины на дешёвом NAS по NFS без 10 GbE. Упор в 110 МБ/с на 1 GbE останавливает работу десятка ВМ.
- SAN без специалиста. Неверное зонирование, LUN, подключённый одним путём, отключённый write-back кэш из-за разряженной батареи, отсутствие мониторинга.
- SATA вместо NL-SAS в нагруженных массивах. Разница в очереди команд и ресурсе наработки проявляется уже на второй год.
- Нет мониторинга. SMART, температура, число свободных слотов и состояние батарей кэша должны проверяться автоматически.
- Несовместимость HBA и драйверов с версией гипервизора всплывает при первой же нагрузке или обновлении.
- Отключённый write-back без BBU снижает производительность записи в разы, а включённый без защиты от питания приводит к потере данных.
Замена дисков и жизненный цикл данных в серверных системах, включая выбор SSD по показателям TBW и MTTF, разобраны в материале об обработке и хранении данных в серверных системах.
Современные тенденции: программно-определяемые хранилища и облака
Программно-определяемые хранилища (SDS)
Программно-определяемое хранилище переносит функции СХД в софт, работающий на стандартных серверах. TrueNAS на ZFS даёт RAIDZ, контрольные суммы, снапшоты и репликацию. Ceph собирается минимум из трёх узлов и предоставляет объектный, блочный и файловый доступ через RADOS, RBD и CephFS. VMware vSAN использует локальные диски хостов ESXi. Для Kubernetes применяют Longhorn и Rook-Ceph.
Плюсы: горизонтальное масштабирование, отсутствие проприетарных контроллеров, единое управление. Минусы: высокая квалификация команды, отдельная сеть 10 или 25 GbE для Ceph, расход CPU и RAM, аккуратное планирование отказоустойчивости.
В Kubernetes хранилище подключается через CSI-драйверы: под управлением StatefulSet получает PVC и работает с ним как с обычным томом. Режимы RWO, RWX и RWOP определяют, сколько подов смогут писать в том одновременно, и от этого зависит выбор бэкенда.
Облачные хранилища и их место в инфраструктуре
Облачные сервисы закрывают три сценария: объектное хранение для бэкапов и архивов, блочные тома для виртуальных машин, статические данные для веб-проектов. Плюсы: эластичность, оплата по факту, отсутствие обслуживания железа. Минусы: стоимость выгрузки трафика, сетевая задержка, зависимость от провайдера, вопросы локализации данных.
Ориентиры цен для расчёта: горячее объектное хранение около 23 долларов за ТБ в месяц, архивные классы 1-4 доллара за ТБ в месяц, выгрузка трафика 0,05-0,12 доллара за ГБ. Для массива на 100 ТБ при постоянном доступе локальный NAS окупается быстрее, а в облако уходят холодные копии и архивы.
Гибридная схема выглядит разумно: горячие данные живут на локальном DAS, NAS или SAN, холодные и архивные копии уезжают в объектное хранилище. Классические массивы не исчезают, их долю постепенно забирают программно-определяемые системы и облака. Если нужна площадка для пилотного развёртывания SDS или тестового кластера Kubernetes без покупки железа, подойдут облачные ресурсы вроде Timeweb Cloud с виртуальными серверами, хранилищем и управляемым Kubernetes.
Что сделать перед покупкой хранилища
Снимите метрики текущей нагрузки: IOPS, задержку, долю случайных операций, пиковые часы. Переведите их в требования по типу доступа и задержке, затем сопоставьте с таблицей DAS, NAS и SAN. Проверьте, есть ли у команды компетенции под выбранный класс: если специалиста по Fibre Channel нет, берите NAS или программно-определяемое хранилище. Разверните пилот на реальных данных хотя бы на две недели и протестируйте восстановление из резервной копии до того, как система уйдёт в продуктив.