Обеспечение кворума в TrueNAS: отказоустойчивые конфигурации ZFS

Введение: зачем нужен кворум в TrueNAS

Отказоустойчивая система хранения без механизма кворума может превратиться в источник катастрофических проблем. Классический сценарий: два узла TrueNAS теряют сетевую связь друг с другом, но оба продолжают работать. Каждый узел считает, что второй вышел из строя, и пытается захватить общее хранилище. Результат - split-brain, состояние, при котором оба узла одновременно пишут данные в один и тот же пул ZFS. Файловая система повреждается, целостность данных нарушается, восстановление может занять часы или оказаться невозможным.

Кворум решает эту проблему через принцип большинства голосов. В кластере из двух узлов добавляется третий участник - кворум-устройство. Когда узлы теряют связь, право на работу получает тот, кто сохранил доступ к кворум-устройству. Второй узел блокируется и переходит в режим ожидания. TrueNAS SCALE поддерживает HA-кластеры с кворум-устройством, что позволяет автоматизировать это решение. В статье разберем, как настроить кворум, выбрать конфигурацию ZFS и организовать мониторинг для превентивного обнаружения проблем.

Перед настройкой кластера стоит изучить пошаговое руководство по созданию отказоустойчивого кластера файлового хранилища на TrueNAS SCALE. Материал содержит проверенные сценарии сбоев и готовые команды, которые дополняют описанные здесь принципы.

Основы отказоустойчивости ZFS: пулы, vdev и уровни RAID-Z

ZFS объединяет диски в пулы, а пулы состоят из виртуальных устройств - vdev. Каждый vdev имеет свой уровень избыточности. От конфигурации vdev зависят допустимое количество отказов дисков, скорость восстановления и производительность. Базовые типы vdev: mirror, RAID-Z1, RAID-Z2, RAID-Z3 и dRAID.

Mirror - зеркало из двух или более дисков. Выдерживает отказ всех дисков, кроме одного. Скорость чтения высокая, запись ограничена скоростью самого медленного диска. Восстановление после замены диска занимает минимум времени, так как данные копируются с живого зеркала.

RAID-Z1 - аналог RAID-5, требует минимум три диска и выдерживает отказ одного. RAID-Z2 - аналог RAID-6, минимум четыре диска, выдерживает отказ двух. RAID-Z3 - минимум пять дисков, выдерживает отказ трех. dRAID - распределенный RAID-Z с фиксированной шириной полосы и ускоренным восстановлением на больших массивах.

Самовосстановление ZFS работает через контрольные суммы. При обнаружении несовпадения данных с контрольной суммой ZFS автоматически читает копию с другого диска и перезаписывает поврежденный блок. Этот механизм работает на всех типах vdev с избыточностью.

Зеркала против RAID-Z: сравнение надежности и производительности

Выбор между зеркалами и RAID-Z зависит от приоритетов: скорость восстановления, производительность или полезная емкость.

Параметр	Mirror	RAID-Z1	RAID-Z2
Минимум дисков	2	3	4
Допустимые отказы	1 (при 2 дисках)	1	2
Полезная емкость	50%	66-80%	50-75%
Скорость записи	Высокая	Средняя	Низкая
Время восстановления	Минимальное	Высокое	Очень высокое
Гибкость расширения	Высокая (добавление пар)	Низкая (добавление vdev)	Низкая

Зеркала выбирают для баз данных, виртуальных машин и задач с интенсивной записью. RAID-Z2 и RAID-Z3 - для архивного хранения и файловых серверов, где важна емкость и допустимость нескольких отказов. RAID-Z1 на дисках большого объема (от 4 ТБ) рискован: во время восстановления одного диска вероятность отказа второго высока.

Для детального разбора выбора конфигурации пула обратитесь к статье о сборке массива хранения TrueNAS. Там разобраны критерии выбора HBA-контроллера и расчет емкости.

Специальные vdev: ZIL, L2ARC и их роль в отказоустойчивости

ZIL (ZFS Intent Log) - журнал синхронной записи. По умолчанию ZIL хранится в самом пуле на обычных дисках. Для ускорения синхронных операций (NFS, iSCSI) можно вынести ZIL на отдельное устройство - SLOG. SLOG должен быть зеркалирован. Потеря SLOG при незеркалированной конфигурации приводит к потере последних синхронных транзакций и повреждению данных.

L2ARC - кэш чтения второго уровня. Расширяет оперативный кэш ARC за счет быстрых SSD или NVMe. L2ARC не влияет на отказоустойчивость: при потере устройства кэш просто очищается, данные в пуле остаются целыми. Для L2ARC зеркалирование не требуется.

Практический вывод: SLOG всегда зеркалируйте, L2ARC можно использовать без избыточности. Подробнее о настройке кэширования рассказано в руководстве по конфигурации ZFS-пула.

Кластеризация TrueNAS: архитектура High Availability

TrueNAS HA-кластер состоит из двух контроллеров, подключенных к общему дисковому массиву. Оба контроллера имеют доступ к одним и тем же дискам, но активным является только один. Второй находится в режиме ожидания и постоянно синхронизирует состояние. При отказе активного узла пассивный перехватывает управление и продолжает обслуживать клиентов.

Требования к оборудованию: идентичные контроллеры, общее хранилище с двумя портами SAS, выделенный канал heartbeat между узлами. TrueNAS SCALE реализует HA с использованием технологий кластеризации, встроенных в операционную систему. Для корректной работы требуется минимум три точки подключения: два канала данных и один канал управления.

Без кворум-устройства HA-кластер из двух узлов уязвим для split-brain. Кворум-устройство добавляет третий голос, который решает, какой узел продолжит работу.

Настройка кворум-устройства в TrueNAS HA

Кворум-устройство в TrueNAS HA - это третий узел или сетевое хранилище, доступное обоим контроллерам. Настройка выполняется через веб-интерфейс в разделе System → Failover.

Подготовьте третий узел с минимальной конфигурацией: достаточно одноплатного компьютера с сетевым интерфейсом и небольшим диском.
Настройте статические IP-адреса для обоих контроллеров и кворум-устройства в одной подсети.
В веб-интерфейсе активного узла перейдите в System → Failover → Quorum Device.
Укажите IP-адрес кворум-устройства и метод аутентификации (SSH-ключ или пароль).
Сохраните конфигурацию и проверьте статус командой midclt call failover.status.

Проверка состояния кворума выполняется командой midclt call failover.status. Вывод должен показывать оба узла в состоянии MASTER и BACKUP, а кворум-устройство - в состоянии CONNECTED. Если кворум-устройство недоступно, кластер продолжает работать, но риск split-brain возрастает.

Тестирование отказоустойчивости: имитация сбоев

Тестирование кластера до ввода в эксплуатацию - обязательный этап. Проверьте три сценария:

Отключение сетевого интерфейса активного узла. Пассивный узел должен перехватить управление в течение 5-30 секунд. Клиенты могут заметить кратковременную паузу, но данные останутся целыми.
Перезагрузка активного узла. Пассивный узел становится активным, сервисы продолжают работать. После возврата перезагруженного узла он должен автоматически перейти в режим ожидания.
Отказ диска в пуле. ZFS должна пометить диск как DEGRADED и продолжить работу. Замените диск и убедитесь, что resilver запустился автоматически.

После каждого теста проверяйте целостность данных: zpool status -v и zpool scrub. Если scrub находит ошибки, конфигурация требует доработки.

Автоматическое восстановление после сбоев

ZFS автоматически восстанавливает данные при обнаружении ошибок контрольных сумм. Механизм самовосстановления работает на уровне блоков: поврежденный блок перезаписывается корректной копией с другого диска. Это происходит без вмешательства администратора.

Resilver - процесс восстановления данных на замененном диске. В отличие от традиционного RAID, ZFS resilver копирует только занятые блоки, а не весь диск. На пуле с 30% заполнением resilver занимает примерно 30% времени полного копирования. Скорость resilver можно регулировать через параметр zfs_resilver_delay.

TrueNAS автоматически переключает ресурсы при failover: IP-адреса, SMB-шары, NFS-экспорты и iSCSI-таргеты переносятся на резервный узел. Клиенты повторно подключаются к тем же адресам без изменения конфигурации.

Настройка scrub и SMART-мониторинга для превентивного обнаружения проблем

Scrub - полная проверка всех данных в пуле. Рекомендуемая периодичность: еженедельно для корпоративных систем, ежемесячно для домашних. Настройка в TrueNAS: Tasks → Scrub Tasks → Add. Выберите пул, расписание и порог уведомлений.

SMART-мониторинг выявляет проблемы дисков до их отказа. Настройка: Storage → Disks → выберите диск → Edit → S.M.A.R.T. Tests. Рекомендуемые тесты:

Short self-test - ежедневно, занимает 2-5 минут.
Long self-test - еженедельно, занимает несколько часов.
Conveyance self-test - после установки нового диска.

Критичные параметры SMART: Reallocated_Sector_Ct, Current_Pending_Sector, Offline_Uncorrectable, Temperature_Celsius. Рост первых трех параметров - сигнал к замене диска. Температура выше 45°C для HDD и 60°C для SSD сокращает срок службы.

Мониторинг состояния пулов и оповещения

Встроенные средства TrueNAS показывают базовые метрики: занятость пула, активность дисков, состояние SMART. Для превентивного обнаружения проблем этого недостаточно. Настройте email-оповещения и внешний мониторинг.

Настройка email-оповещений в TrueNAS

TrueNAS отправляет уведомления о событиях: отказ диска, ошибки scrub, превышение порогов SMART, проблемы с failover. Настройка SMTP:

Перейдите в System → Alert Settings → Email.
Укажите SMTP-сервер, порт, логин и пароль.
В поле From Email укажите адрес отправителя.
В поле To Email укажите адрес получателя.
Нажмите Send Test Email для проверки.

Выберите события для оповещения в System → Alert Settings → Alert Rules. Минимальный набор: CRITICAL и ALERT уровни. Информационные события можно отключить, чтобы не создавать шум.

Интеграция с Prometheus и Grafana для расширенного мониторинга

Для продвинутого мониторинга используйте node_exporter с ZFS collector. Node_exporter собирает метрики: состояние пулов, количество ошибок, занятость, скорость операций. Prometheus сохраняет метрики, Grafana визуализирует их.

Ключевые метрики для отслеживания:

zfs_pool_state - состояние пула: ONLINE, DEGRADED, FAULTED.
zfs_pool_errors - количество ошибок чтения/записи/контрольных сумм.
zfs_pool_free_bytes - свободное место в пуле.
node_disk_smart_healthy - состояние SMART каждого диска.

Настройте алерты в Prometheus: состояние пула не ONLINE, ошибки контрольных сумм больше нуля, свободное место меньше 20%. Это позволит реагировать на проблемы до того, как они станут критичными.

Заключение: ключевые выводы и дальнейшие шаги

Кворум - обязательный элемент HA-кластера TrueNAS. Без него отказоустойчивая система из двух узлов рискует столкнуться с split-brain и повреждением данных. Добавьте кворум-устройство, настройте тестирование сбоев и проверьте, что failover работает корректно.

Выбор конфигурации ZFS определяет надежность и производительность. Зеркала подходят для высоконагруженных систем, RAID-Z2 и RAID-Z3 - для архивного хранения. SLOG всегда зеркалируйте, L2ARC используйте без избыточности.

Мониторинг - последняя линия защиты. Настройте scrub, SMART-тесты и email-оповещения. Для корпоративных систем добавьте Prometheus и Grafana с алертами на критические метрики.

Дальнейшие шаги: оцените свои требования к доступности, выберите конфигурацию из описанных выше, разверните тестовый стенд и проверьте сценарии сбоев. После успешного тестирования переносите конфигурацию в продакшен.