Ошибка truenas pool metadata corrupted i o error: диагностика и решение

Что такое ошибка "truenas pool metadata corrupted i o error" и почему она возникает?

Представь, что ты открыл веб-интерфейс TrueNAS (или CORE, или SCALE) и увидел тревожное сообщение: пул недоступен, данные не читаются, а в логах красуется "pool metadata corrupted" и "I/O error". Это один из самых неприятных сценариев для администратора хранилища. Давай разберем, что это значит на языке ZFS.

Метаданные пула (pool metadata) — это внутренняя структура ZFS, которая описывает, где находятся ваши данные, их версии (снапшоты), свойства, историю изменений. Это «карта» вашего хранилища. Когда эта карта повреждена (corrupted), система не может найти файлы, даже если сами данные физически целы на дисках. I/O error (ошибка ввода-вывода) часто сопровождает эту проблему, указывая на физические или логические проблемы с чтением/записью этих критических структур.

Основные причины:

Сбой диска (особенно в vdev, где хранится метаинформация).
Проблемы с памятью (RAM), приводящие к corrupt данных при записи.
Нештатное завершение работы (power loss) во время критической операции ZFS.
Битые сектора на диске в области метаданных.
Ошибки в более ранних версиях TrueNAS/ZFS (редко).

Пошаговое руководство по диагностике и восстановлению

Действовать нужно методично. Сначала диагноз, затем попытка мягкого восстановления, и только потом — тяжелая артиллерия. ВАЖНО: Если у вас есть последний рабочий снапшот пула — это ваш главный спасательный круг.

Шаг 1: Диагностика состояния пула через CLI

Откройте консоль TrueNAS (Shell) или подключитесь через SSH. Первая команда — проверка статуса всех пулов.

bash

zpool status -x

Если ваш пул в списке, он будет показан с детализацией ошибок. Если пул не импортирован, используйте:

bash

zpool import

Эта команда покажет все пулы, которые система видит, но не импортировала. Найдите ваш поврежденный пул (например, tank). Обратите внимание на сообщения — они могут прямо указывать на corrupted metadata.

Шаг 2: Попытка импорта с проверкой и восстановлением

ZFS имеет механизм попытки восстановления при импорте. Попробуем импортировать пул с флагом -F (восстановление).

Эта операция может откатить последние транзакции, потенциально приводя к потере самых свежих данных. Используйте, если нет других вариантов.

bash

zpool import -F tank

Если импорт успешен, сразу проверьте целостность данных:

bash

zpool scrub tank

Scrub проверит все данные и метаданные, попытается исправить ошибки, если есть зеркальные копии (mirror) или parity (RAIDZ).

Шаг 3: Если импорт с -F не работает — глубокий анализ

Запросим детальную информацию о повреждениях. Иногда ошибка локализована в одном конкретном файле метаданных.

bash

zdb -e tank

zdb — это низкоуровневый инструмент диагностики ZFS. Вывод может быть сложным. Ищите строки с "CORRUPT", "FAULTED", "UNAVAIL".

Шаг 4: Восстановление из снапшота (идеальный сценарий)

Если у вас есть рабочий снапшот пула, сделанный до corruption, вы можете откатить весь пул к этому состоянию, даже если текущий импорт невозможен. Это требует экспорта пула.

bash

# 1. Если пул импортирован, сначала экспортируем его
zpool export tank

# 2. Импортируем, указывая конкретный снапшот для восстановления (например, от 2023-10-01)
zpool import -R /mnt -F tank -N
zfs rollback tank@snapshot-2023-10-01

# 3. Полный импорт
zpool import tank

Шаг 5: Крайние меры — восстановление отдельных файлов метаданных

В очень редких случаях, если corrupted metadata затрагивает только один файл (например, файл истории пула), и у вас есть его резервная копия с другого рабочего сервера (или из снапшота), можно попытаться заменить его вручную. Но это операция на грани фола.

ОПАСНО: Это требует остановки всех служб, работы в LiveCD режиме или на отдельной системе. Не выполняйте, если не уверены на 100%.

Профилактика ошибок corrupted metadata и I/O error

Чтобы избежать этой проблемы в будущем, внедрите следующие практики:

Регулярные снапшоты: Создавайте автоматические снапшоты пула (не только данных, но и состояния пула).
Мониторинг здоровья дисков: Настройте email-алерты для SMART ошибок и заменяйте диски предупредительно.
Адекватная мощность и UPS: Защита от нештатного отключения питания критически важна.
Периодический scrub: Запланируйте автоматический scrub пула (например, раз в месяц).
Использование mirror vdev для метадэталей: В сложных конфигурациях это повышает устойчивость.

Сравнение методов восстановления

Метод	Риск	Эффективность	Когда применять
Импорт с -F (zpool import -F)	Средний. Потеря последних изменений.	Высокая, если corruption не глубокий.	Первая попытка, когда пул не импортируется.
Rollback к снапшоту	Низкий. Данные возвращаются к известному хорошему состоянию.	Очень высокая, если снапшот существует.	При наличии свежего рабочего снапшота пула.
Ручная замена файлов метаданных	Очень высокий. Можно полностью убить пул.	Низкая, только для уникальных случаев.	Только при точном знании, какой файл поврежден и есть его копия.

FAQ: Ответы на смежные вопросы

Можно ли восстановить данные без снапшота, если метаданные повреждены?

Да, есть шанс. Команда zpool import -F часто восстанавливает доступ. Также можно попробовать импортировать пул в режиме read-only (zpool import -o readonly=on tank), чтобы хотя бы скопировать данные на другой носитель. Если corruption локален, scrub после импорта может исправить ошибки.

Ошибка I/O error после замены диска — это связано?

Да, возможно. Если новый диск имеет проблемы (контроллер, сектора), или если при замене была нарушена процедура resilvering, система может столкнуться с I/O error при попытке чтения метаданных, которые были перераспределены. Проверьте статус resilvering (zpool status) и здоровье нового диска (smartctl -a /dev/disk_name).

TrueNAS показывает "CORRUPTED" в веб-интерфейсе, но команды zpool работают. Что делать?

Иногда графический интерфейс отображает состояние с задержкой или ошибкой в UI. Проверьте истинный статус через CLI (zpool status). Если пул здоров в CLI, попробуйте перезагрузить службы TrueNAS или сам сервер. Проблема может быть в кэше веб-интерфейса.

Заключение

Ошибка "truenas pool metadata corrupted i o error" — серьезная, но не всегда фатальная. Система ZFS обладает мощными механизмами самовосстановления. Ваш алгоритм действий: диагностика через zpool status и zdb, попытка импорта с восстановлением (-F), откат к снапшоту если есть, и только в крайнем случае — глубокие ручные операции. Главный урок для будущего — регулярные снапшоты и scrub ваших пулов. Это лучшая страховка от подобных ситуаций.

Помните: перед любыми опасными операциями убедитесь, что у вас есть полная резервная копия важных данных на другом физическом носителе. Ни одна система хранилища, даже ZFS, не дает 100% гарантии.