Nginx пишет в access.log и error.log каждую секунду, пока обслуживает трафик. Файлы растут, пока их не ограничат. Ротация логов Nginx через logrotate решает задачу штатно: утилита переименовывает текущий файл, создаёт новый и отправляет Nginx сигнал переоткрыть дескрипторы. Без этого шага диск заполняется и падает всё, что живёт на том же разделе: сам Nginx, база, очередь, сборщик логов.
Посчитайте объём заранее, не ждите сюрприза. Формула простая: V = RPS × средний размер строки × 86400. При 100 RPS и строке 300 байт выходит 100 × 300 × 86400 ≈ 2,6 ГБ в сутки, около 18 ГБ за неделю. На разделе /var размером 20 ГБ это чуть больше недели работы.
awk '{ sum += length($0) } END { print sum/NR " байт в среднем" }' /var/log/nginx/access.log
Подставьте свой RPS, умножьте на средний размер строки, получите суточный прирост. error.log при уровне error растёт медленно, но во время инцидента с 502 и включённым debug он прибавляет гигабайты за минуты, и именно тогда свободное место нужно больше всего.
logrotate входит в штатный набор большинства дистрибутивов Linux и запускается по таймеру: logrotate.timer в systemd либо /etc/cron.daily/logrotate в cron-схеме. Пакет Nginx обычно уже ставит заготовку /etc/logrotate.d/nginx. Проверьте, что в ней есть блок postrotate: без него ротация проходит формально, а место на диске не освобождается.
Отдельная причина не отключать логи совсем: access.log остаётся основным источником при разборе 404 и 502. Если после ротации вы теряете строки в момент пикового трафика, диагностика маршрутизации усложняется, поэтому [алгоритм отладки маршрутизации Nginx](https://admin-wiki.ru/article/otladka-marshrutizatsii-nginx-loggirovanie-proverka-location-i-ustranenie-oshibok/) стоит держать под рукой вместе с рабочим конфигом ротации.
Готовый конфиг logrotate для Nginx: /etc/logrotate.d/nginx
Конфиг рассчитан на стандартные пути Debian/Ubuntu и CentOS/RHEL. Скопируйте его в /etc/logrotate.d/nginx и сверьте путь к pid-файлу со своей сборкой.
/var/log/nginx/access.log /var/log/nginx/error.log {
daily
rotate 14
missingok
notifempty
compress
delaycompress
sharedscripts
create 0640 nginx adm
su root adm
postrotate
kill -USR1 $(cat /run/nginx.pid)
endscript
}
Смысл строк: daily задаёт суточный цикл, rotate 14 хранит 14 архивов и удаляет более старые, missingok не считает ошибкой отсутствие файла, notifempty пропускает ротацию пустого лога, compress включает gzip для архивов, delaycompress откладывает сжатие на следующий цикл, чтобы свежий access.log.1 оставался читаемым и не мешал переоткрытию.
sharedscripts выполняет postrotate один раз на весь блок, а не для каждого файла отдельно. Без этой директивы скрипт сработает дважды: после access.log и после error.log, то есть Nginx получит два сигнала USR1 за один проход. Ошибка не смертельная, но лишние переоткрытия дескрипторов в момент пиковой нагрузки не нужны.
copytruncate в конфиге для Nginx быть не должно. Механику потери строк разбираем ниже, в разделе про переоткрытие дескрипторов.
Проверка синтаксиса без изменений на диске:
logrotate -d /etc/logrotate.d/nginx
Что делает каждая директива и как не сломать ротацию
| Директива | Что делает | Типичная ошибка |
|---|---|---|
| daily | Ротирует раз в сутки по метке последнего запуска | Ждут ротации по календарной дате, а logrotate смотрит на своё расписание |
| rotate 14 | Хранит 14 архивов, старые удаляет | Ставят 365 без расчёта объёма и возвращаются к переполнению диска |
| maxsize 500M | Ротирует раньше суток, если файл перерос лимит | Забывают про всплески трафика, и файл вырастает за час |
| size 100M | Ротирует по достижении размера | Ставят вместе с daily, не понимая, как сочетаются условия |
| create 0640 nginx adm | Создаёт новый файл с правами и владельцем | Не задают create, и новый лог получает владельца root |
| su root adm | Задаёт пользователя и группу, под которыми logrotate выполняет операции ротации внутри блока | Логи лежат в каталоге, куда logrotate не имеет доступа |
| sharedscripts | Запускает postrotate один раз на блок | Отсутствует, и сигнал уходит дважды |
Директива su требует поддержки в вашей версии logrotate, проверьте её в man logrotate. Если дистрибутив её не знает, оставьте create и убедитесь, что процесс logrotate запускается от пользователя с доступом к каталогу логов.
Сочетание size и daily ведёт себя неинтуитивно. По man-странице logrotate не изменяет лог более одного раза в день, если критерий для этого лога не основан на размере и logrotate запускается чаще одного раза в день. То есть при size-критерии ротация может срабатывать чаще суточного цикла, а при daily — не чаще раза в день. Для предсказуемого поведения выбирайте один основной критерий; на практике удобно держать daily и maxsize как страховку от аномального прироста.
Путь к pid-файлу и выбор сигнала
Сигнал USR1 получает master-процесс Nginx. Именно он владеет дескрипторами логов и переоткрывает их, worker-процессы наследуют результат. Отправлять USR1 отдельному worker бессмысленно: он не управляет остальными.
Найти pid master-процесса:
cat /run/nginx.pid systemctl show nginx -p MainPID ps -o pid,ppid,cmd -C nginx
Путь к pid-файлу задаётся директивой pid в nginx.conf и зависит от сборки: /run/nginx.pid, /var/run/nginx.pid или кастомное значение. Проверить фактическое значение в собранной конфигурации удобно так:
nginx -T 2>/dev/null | grep -w pid
Альтернатива kill: команда nginx -s reopen делает то же самое, обращаясь к pid-файлу из конфигурации. Она удобна, когда бинарь nginx доступен в PATH у пользователя logrotate. kill -USR1 не читает конфигурацию и не требует прав на её разбор, поэтому в postrotate он надёжнее.
Не подменяйте USR1 на HUP. SIGHUP заставляет Nginx перечитать конфигурацию: master проверяет синтаксис, применяет новую конфигурацию, запускает новые worker-процессы и корректно завершает старые после обслуживания клиентов. Для ротации это избыточно и рискованно: ошибка в конфиге проявится в самый неподходящий момент. Если задача всё же в перечитывании конфига, используйте отработанный сценарий [безопасного обновления конфигурации через nginx -s reload](https://admin-wiki.ru/article/bezopasnoe-obnovlenie-konfiguratsii-nginx-polnoe-rukovodstvo-po-nginx-s-reload/) с проверкой через nginx -t.
Механика: почему удаление открытых файлов не освобождает место
Файл на диске и имя файла в каталоге — разные сущности. Имя указывает на inode, а inode хранит метаданные и ссылки на блоки данных. Пока процесс держит открытый файловый дескриптор, ядро сохраняет блоки: освобождение происходит только после закрытия последнего дескриптора.
Отсюда классическая картина: вы удалили access.log через rm, df показывает те же 90% занятости, du по /var/log/nginx показывает почти ноль. Данные живы, они просто потеряли имя и держатся дескриптором Nginx.
Диагностика расхождения:
lsof +L1 | grep nginx ls -l /proc/$(cat /run/nginx.pid)/fd | grep log df -h /var du -sh /var/log/nginx
Флаг +L1 в lsof показывает файлы с числом ссылок меньше единицы, то есть удалённые, но открытые. Строки вида /var/log/nginx/access.log (deleted) в этом выводе означают, что место не вернётся до переоткрытия или перезапуска.
С ротацией та же механика работает в мирном варианте. logrotate переименовывает access.log в access.log.1. Nginx продолжает писать в тот же inode, теперь доступный по имени access.log.1. Формально ротация прошла, новый access.log создан, но свежие строки идут в архив. Место освобождается только после того, как Nginx закроет старый дескриптор.
Как Nginx переоткрывает дескрипторы по сигналу USR1
Последовательность при корректном postrotate:
- logrotate переименовывает access.log и error.log, при необходимости создаёт новые файлы с правами из create.
- Выполняется postrotate: kill -USR1 $(cat /run/nginx.pid).
- Master-процесс получает USR1 и заново открывает лог-файлы по путям из конфигурации.
- Новые дескрипторы указывают на свежие inode, старые закрываются, архивные блоки освобождаются под запись gzip или удаление.
- Worker-процессы наследуют новые дескрипторы при следующем цикле работы.
Обработка запросов не прерывается: переоткрытие логов не требует reload и не сбрасывает соединения. Если новый файл открыть не удалось, Nginx фиксирует ошибку в error.log и продолжает писать в старый дескриптор. Поэтому ротацию без проверки результата считать успешной нельзя.
Почему copytruncate опасен для Nginx: потеря строк под нагрузкой
copytruncate работает иначе: logrotate копирует содержимое файла в архив, затем обнуляет оригинал через truncate. Дескриптор остаётся прежним, сигнал не нужен. Между копированием и обнулением есть окно, и всё, что Nginx успел записать в этот интервал, исчезает: строки попадают в файл, который уже скопирован, а затем обрезаются.
Под нагрузкой окно растёт вместе с объёмом файла: копирование гигабайтного лога занимает секунды, и за эти секунды при 100 RPS теряются десятки тысяч строк. Дополнительно копирование создаёт пиковую нагрузку на диск в момент, когда рядом работает база.
| Критерий | copytruncate | Переименование + USR1 |
|---|---|---|
| Потеря строк | Возможна в окне между копированием и truncate | Нет, запись продолжается без разрыва |
| Нагрузка на I/O | Полное копирование файла каждый цикл | Только переименование и gzip архива |
| Нужен сигнал процессу | Нет | Да, USR1 в postrotate |
| Пригодность для Nginx | Не рекомендуется | Штатный способ |
copytruncate оставьте процессам, которые не умеют переоткрывать логи: приложение с открытым дескриптором без обработчика сигнала. Для Nginx есть reopen, значит и способ без потерь есть.
Проверка ротации без потери данных: dry-run и ls -l до и после
Проверку делайте на тестовом стенде с генерацией трафика, затем повторяйте на проде в окно низкой нагрузки. Шесть шагов ниже дают полную картину: что планирует logrotate, что произошло с inode и продолжает ли Nginx писать в новый файл.
- Снимите состояние до: ls -li /var/log/nginx. Запишите inode, размер и владельца access.log, error.log и предыдущих архивов.
- Прогоните dry-run: logrotate -d /etc/logrotate.d/nginx. Прочитайте вывод целиком, а не только последние строки.
- Выполните ротацию принудительно: logrotate -f /etc/logrotate.d/nginx.
- Повторите ls -li. Новый access.log должен получить новый inode, а access.log.1 — прежний inode из шага 1.
- Проверьте запись в новый файл: curl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1/, затем tail -n 2 /var/log/nginx/access.log.
- Убедитесь, что удалённых логов нет: lsof +L1 | grep nginx возвращает пусто.
Размер access.log.1 сравнивайте с размером исходного файла из шага 1: расхождение на несколько килобайт нормально, потому что Nginx дописывал строки до отправки сигнала. Расхождение в разы означает, что ротировался не тот файл или логирование ушло в другой путь.
Для проверки целостности на стенде считайте строки до и после при равномерной нагрузке:
wc -l /var/log/nginx/access.log
seq 1 2000 | xargs -P 8 -I{} curl -s -o /dev/null http://127.0.0.1/
wc -l /var/log/nginx/access.log.1
wc -l /var/log/nginx/access.log
Сумма строк в архиве и новом файле должна совпасть с числом запросов. Небольшой разброс допустим из-за запросов, попавших в момент переоткрытия между двумя дескрипторами.
Что именно смотреть в выводе logrotate -d
Dry-run показывает план без изменения файлов. Читайте вывод по блокам:
- considering log /var/log/nginx/access.log — файл найден и попал в обработку. Если строки нет, путь в конфиге не совпадает с реальным.
- rotating pattern: /var/log/nginx/access.log ... — применяемые директивы, включая лимиты и число архивов.
- log needs rotating — файл будет ротирован при реальном запуске. Строка log does not need rotating означает, что условие по времени или размеру не выполнено.
- running postrotate script — скрипт будет запущен. В dry-run команда не выполняется, но факт её вызова в плане виден.
- error: stat of /var/log/nginx/access.log failed — файла нет по указанному пути или нет прав на каталог.
- skipping ... потому что notifempty или missingok — штатное поведение, а не сбой.
Dry-run не создаёт файлы, поэтому после него нужен реальный запуск с -f на стенде. Если в плане нет строки running postrotate script, проверьте, что блок postrotate и endscript не разорваны и что sharedscripts не отключает скрипт при пустом списке файлов.
Контроль целостности: inode, размеры и отсутствие удалённых дескрипторов
Команды для быстрой проверки после ротации:
ls -li /var/log/nginx lsof +L1 | grep nginx ls -l /proc/$(cat /run/nginx.pid)/fd | grep log stat -c '%i %s %U:%G %n' /var/log/nginx/access.log /var/log/nginx/access.log.1
Ожидаемая картина: access.log с новым inode и нулевым или небольшим размером, access.log.1 с прежним inode и полным содержимым, владелец nginx:adm, права 0640. В /proc/PID/fd видны два дескриптора на access.log и error.log, и ни один не указывает на путь с пометкой (deleted).
Проверьте error.log отдельно: он переоткрывается тем же сигналом, но если права на новый файл выставлены неверно, ошибка появится именно там строкой про open() failed.
Права, владелец и мандатные политики: чтобы Nginx не потерял доступ
Новый файл после ротации создаётся с правами по umask процесса logrotate, если директива create не задана. В типичной схеме это root:root с 0644, и Nginx под пользователем nginx теряет доступ на запись. Явно задавайте create 0640 nginx adm: группа adm стандартно даёт доступ на чтение логов администраторам.
Проверка прав по всей цепочке каталогов:
namei -l /var/log/nginx/access.log ls -ld /var/log/nginx ls -l /var/log/nginx/access.log /var/log/nginx/error.log
Директория /var/log/nginx обычно принадлежит root:adm с правами 0755 или 0750. Если вы сузили права до 0750 и убрали группу adm, logrotate не сможет создать файл, а Nginx не сможет его открыть.
При включённом SELinux контекст нового файла должен совпадать с ожидаемым для каталога. Проверьте и при необходимости восстановите:
ls -Z /var/log/nginx restorecon -Rv /var/log/nginx ausearch -m AVC -ts recent
Записи AVC в момент ротации означают, что домен logrotate не может отправить сигнал или создать файл с нужной меткой. Типовое решение: убедиться, что файлы наследуют контекст каталога, и не менять путь логов на нестандартный без настройки политики.
Для AppArmor проверьте профиль /etc/apparmor.d/usr.sbin.nginx: пути /var/log/nginx/*.log должны быть разрешены на запись. Команда aa-status покажет, находится ли профиль в режиме enforce. После правки профиля его нужно перезагрузить, иначе изменения не применятся.
Диагностика: почему logrotate не сработал
Начните со статус-файла: он хранит дату последней ротации по каждому шаблону. Путь по умолчанию — /var/lib/logrotate/status; в некоторых дистрибутивах он может отличаться, поэтому проверьте фактическое значение в man logrotate или в конфигурации cron/timer вашей системы.
grep nginx /var/lib/logrotate/status systemctl list-timers | grep logrotate cat /etc/cron.daily/logrotate
Если записи по Nginx нет, ваш конфиг ни разу не обрабатывался: проверьте имя файла в /etc/logrotate.d (символы точки и тильды в имени logrotate игнорирует) и синтаксис блока.
Разбор частых ошибок:
- error: stat of /var/log/nginx/access.log failed — путь в конфиге не совпадает с реальным. Сверьтесь с директивой access_log в nginx.conf.
- kill: failed to parse argument — pid-файл пуст или содержит перевод строки с мусором. Проверьте cat /run/nginx.pid, при пустом значении Nginx не запущен или pid пишется в другое место.
- nginx.pid: No such file or directory — неверный путь в postrotate. Сверьте через nginx -T | grep -w pid.
- Ротация прошла, а место не освободилось — в конфиге нет postrotate с USR1 либо сигнал ушёл не тому процессу. Проверьте lsof +L1 | grep nginx.
Подробный ручной запуск с диагностикой:
logrotate -v -f /etc/logrotate.d/nginx
Флаг -v показывает, какие директивы применены и какой скрипт выполняется. Флаг -f игнорирует расписание и ротирует принудительно, что удобно для проверки после правки конфига.
При нескольких инстансах Nginx (например, отдельные конфигурации для разных сайтов) у каждого свой pid-файл и свой блок в /etc/logrotate.d. Общий блок с одним kill -USR1 переоткроет логи только одного master-процесса.
Особые случаи: контейнеры и нестандартные пути логов
В контейнерах файлы логов часто не хранятся на диске в привычном виде, и logrotate внутри контейнера не нужен. Ротацию берёт на себя драйвер логирования: для json-file задайте max-size и max-file, тогда Docker сам ограничит объём.
docker run -d --log-opt max-size=50m --log-opt max-file=5 nginx
Если логи контейнера смонтированы на хост, ротация на хосте требует доступа к процессу внутри контейнера. Сигнал можно отправить через docker kill -s USR1 имя_контейнера, а pid-файл внутри контейнера хосту не виден. Такую схему применяйте осознанно: проще вынести логи драйвером или отдельным сборщиком.
Для нестандартных путей адаптируйте конфиг: подставьте реальные пути логов в первой строке блока и фактический pid-файл в postrotate. Перед реальным запуском прогоните dry-run и убедитесь, что в выводе есть обе строки considering log для ваших файлов.
logrotate -d /etc/logrotate.d/nginx | grep -E 'considering|rotating|postrotate|error'
Чек-лист перед включением ротации на проде
- Путь к pid-файлу совпадает с реальным: nginx -T | grep -w pid, затем cat по этому пути отдаёт число.
- В postrotate стоит kill -USR1, а не HUP или reload.
- sharedscripts включён, postrotate и endscript на месте.
- copytruncate в блоке отсутствует.
- create 0640 nginx adm задан, права и владелец проверены через ls -l после тестовой ротации.
- logrotate -d /etc/logrotate.d/nginx проходит без строк error и показывает running postrotate script.
- На стенде проверены inode до и после: ls -li даёт новый inode у access.log и прежний у access.log.1.
- lsof +L1 | grep nginx не показывает удалённых логов после ротации.
- Статус-файл logrotate обновился: дата по Nginx изменилась после запуска.
- Перед правкой конфигов на проде сделан бэкап: [чек-лист резервного копирования и быстрого восстановления Nginx](https://admin-wiki.ru/article/obnovlenie-nginx-polnyij-chek-list-rezervnogo-kopirovaniya-i-byistrogo-vosstanovleniya/) покрывает /etc/nginx и /var/log/nginx.
Ротация без проверки результата даёт ложное спокойствие: файлы переименовываются, место не освобождается, строки уходят в архив с чужим именем. Прогоните dry-run, сравните inode, убедитесь, что Nginx пишет в новый файл, и только после этого оставляйте конфиг в /etc/logrotate.d/nginx работать по расписанию.
Источники и материалы по теме
Факты о сигналах Nginx и механике переоткрытия логов сверены с официальной документацией:
- Controlling nginx — nginx.org: перечитывание конфигурации по HUP, ротация логов через переименование и USR1, переоткрытие master-процессом всех открытых лог-файлов.
- Control NGINX Processes at Runtime — docs.nginx.com: SIGUSR1 означает reopen log files.
- logrotate(8) — man7.org: поведение sharedscripts (скрипт выполняется один раз на блок), ограничение частоты изменения лога при не-size критерии, путь статус-файла по умолчанию.
- Logrotate: права, copytruncate и postrotate без сюрпризов — fastfox.pro: директива su, риск незаметной потери строк при copytruncate в моменты пиков.
- Логи nginx: где лежат, как читать и как настроить ротацию — enterno.io: пример postrotate с kill -USR1 и sharedscripts, проверка /run/nginx.pid, параметры max-size и max-file для драйвера логов контейнеров.
- A Complete Guide to Managing Log Files with Logrotate — betterstack.com: путь статус-файла /var/lib/logrotate/status.
Смежные материалы на сайте: