Шпаргалка отвечает на прикладной вопрос: какую команду запустить сейчас, чтобы найти файл, вытащить нужные строки из лога или остановить зависший процесс. Внутри четыре рабочих блока: файлы и find, текст и связка grep + awk + sed, перенаправления и пайпы, процессы и фон. Пятый раздел разбирает ошибки с кавычками и пайпами, из-за которых команда срабатывает не так, как вы ожидали.
Формат каждого рецепта одинаковый: команда, что она делает, как проверить результат до запуска на живом сервере. Проверка строится на трёх приёмах: вывод списка целей вместо действия, подсчёт строк через wc -l, прогон на копии каталога.
Примеры рассчитаны на Linux с GNU-утилитами: Debian, Ubuntu, RHEL, AlmaLinux. На BSD и macOS часть флагов отличается, об этом сказано в разделах про sed, ps и xargs. Где нужен root, указано отдельно: чтение части файлов в /etc и /var/log, завершение чужих процессов.
Как пользоваться шпаргалкой и не сломать прод
Разделы идут в порядке типичной задачи: найти файл, разобрать его содержимое, связать команды в цепочку, разобраться с процессами. Внутри блока рецепты отсортированы от чтения к записи и удалению, поэтому верхние строки безопасны по определению.
Принцип один: сначала прогон в режиме чтения, потом запись. Для find это вывод списка и подсчёт строк, для sed - замена без -i и просмотр diff, для rm и mv - echo с теми же аргументами вместо самого действия. Деструктивные операции (rm, mv, перезапись через >) требуют сверки списка целей: опечатка в пути стоит файлов, а > на существующем файле обнуляет его ещё до выполнения команды.
Если команды cd, ls, cp и mv вызывают вопросы, начните с шпаргалки по базовым командам Linux: там разобраны пути, ключи -la и -lh и молчаливая перезапись файлов.
Чек-лист перед запуском на проде:
- Понять, что команда читает и что пишет: файл, каталог, stdout.
- Проверить путь: pwd и ls -la по целевой директории.
- Убедиться, что файл не обнулится: > перезаписывает, >> дописывает.
- Сохранить вывод или копию: cp file file.bak, tar нужного каталога.
- Прогнать команду на копии данных или на тестовом хосте.
Файлы: поиск и работа с путями через find
Синтаксис простой: find, затем путь, критерий и действие. Путь задаёт точку старта, критерий отбирает объекты, действие решает, что с ними сделать. Без действия find печатает найденное, и это лучший режим для первой проверки.
Обход по умолчанию рекурсивный, поэтому на большой файловой системе команда читает все каталоги подряд. Ограничивайте глубину ключом -maxdepth и не запускайте тяжёлый поиск по корню в час пиковой нагрузки: диск и inode-кэш делятся со всеми.
| Критерий | Что отбирает | Пример |
|---|---|---|
| -name / -iname | имя с учётом регистра / без учёта | find /etc -name "*.conf" |
| -type | файл (f), каталог (d), ссылка (l) | find /var/log -type f |
| -size | размер: +100M больше, -1k меньше | find /var -size +500M |
| -mtime / -mmin | изменён за N суток / N минут | find /etc -mtime -1 |
| -perm | права доступа | find / -xdev -perm -4000 |
| -maxdepth | глубина обхода | find /var/log -maxdepth 1 |
Для поиска в пределах одной файловой системы добавьте -xdev: find не уйдёт в смонтированные сетевые шары. Каталоги, которые нужно пропустить, отсекает -prune.
Поиск по имени, размеру и дате
find /var/log -maxdepth 1 -type f -name "*.log" -size +100M -print find /etc -type f -mtime -1 -name "*.conf" find /var/www -type f \( -name "*.php" -o -name "*.js" \) -print find /var/log -type f -name "*.log" -mtime +30 -print
Критерии объединяются через -a (И, подразумевается) и -o (ИЛИ). При смешивании -o с другими условиями группируйте скобки: без экранирования \( и \) оболочка попытается раскрыть их сама и вернёт синтаксическую ошибку. Первая команда ищет логи больше 100 МБ в одном каталоге, вторая - конфиги, изменённые за сутки, третья - файлы двух расширений, четвёртая - логи старше 30 дней.
Перед удалением или архивированием проверьте список: та же команда с добавленным | wc -l даёт число целей, а head на выводе показывает первые строки. Если число совпадает с ожидаемым, добавляйте действие.
Безопасная обработка найденного: -exec и xargs
-exec запускает команду для каждого найденного файла, {} подставляет имя, \; закрывает выражение. Вариант -exec ... {} + собирает имена пакетом и вызывает команду один раз: на десятках тысяч файлов это в разы быстрее за счёт меньшего числа процессов.
find /var/log -type f -name "*.log" -mtime +30 -exec gzip {} +
find /var/log -type f -name "*.gz" -print0 | xargs -0 du -ch | tail -1
Связка -print0 и xargs -0 рассчитана на имена с пробелами, кавычками и переводами строк: нулевой байт служит разделителем, поэтому имя не разбивается на отдельные аргументы. Вариант find ... | xargs без нулевого разделителя ломается на файле с пробелом в имени: xargs воспринимает части имени как разные файлы и может выполнить команду не над тем файлом. Разбор этой ловушки с примером есть в обсуждении Make xargs handle filenames that contain spaces.
Порядок для деструктивных сценариев: подставьте echo вместо действия и прочитайте список, затем замените echo на rm, gzip или mv. Для удаления есть отдельный ключ -delete, но он срабатывает сразу, поэтому сначала выполните тот же find с -print.
find /tmp -maxdepth 1 -type f -name "*.tmp" -mtime +7 -print | wc -l find /tmp -maxdepth 1 -type f -name "*.tmp" -mtime +7 -delete
Когда известен текст, а не имя файла, find заменяется на grep -r с фильтром по расширениям. Разбор обеих утилит и готовые связки собраны в статье grep и find: команды и связки для практических задач.
Текст: grep, awk и sed для поиска и правок
Три инструмента делят работу так: grep находит строки, awk разбирает их на колонки и считает, sed меняет текст. Каждый умеет больше, но в большинстве задач достаточно этой границы.
grep: найти и не утонуть в выводе
grep -n -C 3 "error" /var/log/nginx/error.log grep -c " 500 " /var/log/nginx/access.log grep -v "healthcheck" /var/log/nginx/access.log grep -r -n --include="*.conf" "server_name" /etc/nginx
-n печатает номера строк, -C 3 показывает три строки контекста до и после совпадения, -c считает совпадения, -v инвертирует фильтр и выбрасывает шум, -r идёт по каталогу, --include ограничивает типы файлов. Для классов символов вроде 50[0-9] включайте расширенный синтаксис ключом -E, иначе скобки обрабатываются по правилам базового regex.
Спецсимволы в шаблоне (точка, звёздочка, квадратные скобки) экранируйте обратным слешем, если нужен буквальный символ: точка без экранирования совпадёт с любым знаком. Проверка результата простая: сравните wc -l файла до и после фильтра и пролистайте первые строки через head.
awk: колонки, суммы и топы
Структура awk: шаблон в кавычках, затем действие в фигурных скобках. Поля нумеруются с единицы: $1 - первая колонка, $NF - последняя, NR - номер строки. Разделитель по умолчанию - пробелы и табы, для двоеточия или запятой задайте -F.
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -10
awk '$9 == 500 {print $7}' access.log | sort | uniq -c | sort -rn | head
awk '{sum += $10} END {print sum}' access.log
awk -F: '{print $1}' /etc/passwd
awk 'NR <= 20' access.log
Первая цепочка даёт топ IP по числу запросов, вторая - самые частые URL среди ответов с кодом 500, третья суммирует размер ответа (поле $10 в combined-формате), четвёртая выводит список пользователей из /etc/passwd. Перед прогоном по файлу в гигабайт проверьте логику на срезе: head -100 access.log | awk ...
sed: точечные правки с бэкапом
sed -n '/error/p' /var/log/app.log sed 's/worker_processes 1;/worker_processes auto;/' nginx.conf sed -i.bak 's/listen 80;/listen 8080;/' /etc/nginx/sites-enabled/default sed '5s/old/new/' file.conf sed '/^#/d' file.conf
Команда s/// заменяет первое вхождение в каждой строке, флаг g меняет все вхождения, номер перед s ограничивает замену одной строкой. Ключ -i записывает результат в файл, -i.bak дополнительно сохраняет копию с суффиксом .bak. И в GNU sed, и в BSD/macOS sed опция -i принимает аргумент, задающий суффикс для файла резервной копии обновляемого файла, но конкретный синтаксис различается между реализациями; разбор различий есть в обсуждении sed command with -i option (in-place editing). Перед переносом команды между Linux и macOS проверьте поведение -i в вашей версии sed на тестовом файле: sed -i.bak 's/a/b/' file и diff file file.bak.
Порядок для конфигов: выполните замену без -i, сравните вывод с оригиналом через diff, затем повторите с -i.bak. Спецсимволы в шаблоне и замене экранируйте, а в роли разделителя вместо / можно использовать | или #, если в строке много слешей.
Перенаправления и пайпы: как связать команды и проверить результат
У процесса три стандартных потока: stdin (0), stdout (1) и stderr (2). Перенаправление меняет адрес потока, пайп соединяет stdout одной команды со stdin другой.
stdout, stderr и порядок перенаправлений
| Запись | Результат |
|---|---|
| команда > file | stdout в файл, файл обнуляется до запуска |
| команда >> file | stdout в конец файла |
| команда 2> file | только stderr в файл |
| команда > file 2>&1 | stdout и stderr в один файл |
| команда &> file | то же короче, работает в bash |
| команда > /dev/null 2>&1 | выбросить весь вывод |
Порядок записи важен. В конструкции > file 2>&1 сначала stdout перенаправляется в файл, затем stderr перенаправляется на уже перенаправленный stdout, поэтому оба потока попадают в файл. При обратном порядке 2>&1 > file поток stderr копируется туда, куда stdout указывал до перенаправления, то есть на терминал, и в файл попадёт только stdout. Разбор порядка перенаправлений с примерами есть в обсуждениях Shell redirection i/o order и Order of redirections.
Отдельная ловушка: > обнуляет файл до запуска команды. Если та же команда читает этот файл, данные потеряны. Сортировка на месте через sort file > file даёт пустой файл, правильный вариант - sort file > file.tmp && mv file.tmp file.
Пайпы и pipefail: не терять ошибки в середине цепочки
Код возврата пайпа по умолчанию равен коду последней команды. Если grep не нашёл совпадений или awk упал, а последний head завершился успешно, вся цепочка выглядит удачной. В скриптах это прячет реальные сбои.
set -o pipefail grep -q "ERROR" /var/log/app.log | tee /dev/null echo $?
Опция pipefail по умолчанию отключена. Если её включить, код возврата пайпа берётся от самой правой команды в цепочке, завершившейся с ненулевым статусом, - то есть сбой в середине больше не скрывается. Разбор поведения пайпов и кодов возврата есть в материале The Exit Status of Piped Processes. В скриптах используйте полную связку set -euo pipefail в начале файла: -e останавливает выполнение на ошибке, -u ловит обращение к незаданной переменной, pipefail закрывает проблему середины цепочки; описание этих режимов есть в разборе Bash set Command: set -e, set -x, and set -u Explained. В интерактивной сессии включайте его осознанно: привычное поведение изменится. Каркас скрипта с ловушками и проверкой кодов возврата разобран в статье bash-скрипты для администрирования Linux.
tee показывает вывод на экран и пишет в файл, tee -a дописывает. Проверка результата: echo $? после цепочки, wc -l на выходном файле, сравнение с ожидаемым числом строк.
grep -i "error" /var/log/app.log | tee /tmp/errors.log | wc -l
Процессы: ps, kill, jobs и nohup
Найти процесс: ps, pgrep и дерево
ps aux --sort=-%cpu | head -5 ps aux --sort=-%mem | head -5 pgrep -af nginx ss -ltnp | grep :80 ps -eo pid,ppid,user,cmd --forest | less
ps aux | grep имя возвращает и сам grep, поэтому для поиска по имени удобнее pgrep -af: он показывает PID и полную командную строку, включая аргументы. ss -ltnp находит процесс, слушающий порт. Дерево через --forest показывает родителя: остановка родителя утащит за собой дочерние воркеры, а перезапуск супервизора поднимет их снова.
Перед kill сверяйте PID и командную строку, а не только имя: на общем сервере под похожими именами работают чужие задачи.
Завершить корректно: SIGTERM, SIGKILL и проверка
kill 4210 sleep 3 ps -p 4210 -o pid,etime,cmd kill -9 4210
SIGTERM (15) относится к сигналам с действием по умолчанию Term: процесс завершается, но может перехватить сигнал обработчиком и успеть закрыть соединения, дописать буферы и сохранить состояние. SIGKILL (9) и SIGSTOP нельзя перехватить, заблокировать или проигнорировать, поэтому незаписанные данные теряются, а файлы могут остаться в промежуточном состоянии. Порядок такой: kill с SIGTERM, пауза, проверка через ps или pgrep, и только потом kill -9. Поведение сигналов описано в man-страницах signal(7) и signal(7) — Arch manual pages.
pkill ищет по шаблону имени и опасен на общих серверах: pkill -f backup заденет все процессы, в командной строке которых встречается это слово. Ограничивайте выборку пользователем через pkill -u deploy и сначала проверяйте список через pgrep с теми же флагами.
Фон и nohup: задача переживает выход из сессии
./backup.sh & jobs fg %1 bg %1 nohup ./backup.sh > /var/log/backup.out 2>&1 & tail -f /var/log/backup.out
Запуск с & отправляет задачу в фон текущей сессии: jobs покажет список, fg %1 вернёт задачу на передний план, bg %1 продолжит её в фоне после Ctrl+Z. Фоновые задачи привязаны к сессии терминала, поэтому долгие процессы запускайте через nohup с перенаправлением вывода: без него запись в закрытый терминал приведёт к ошибке. Точное поведение при выходе из терминала зависит от оболочки и настроек сессии, поэтому после запуска обязательно проверьте, что процесс жив.
Проверка после запуска: ps -p PID -o pid,etime,cmd показывает время работы, tail лога - что задача пишет. Для интерактивных сессий вместо nohup берите tmux или screen. Если в лог попадают токены и пароли, ограничьте права на файл через chmod 600 /var/log/backup.out, а общий подход к секретам в скриптах разобран в статье безопасность скриптов администрирования.
Однострочники, которые экономят время
Каждый рецепт предполагает типовой Linux-сервер и формат логов combined; под другой формат поправьте номера полей. Проверяйте вывод на срезе через head, прежде чем считать статистику по всему файлу.
Топ IP в access-логе. Показывает, кто генерирует нагрузку.
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -10
Распределение кодов ответа. Сразу видно долю 5xx и 4xx.
awk '{print $9}' access.log | sort | uniq -c | sort -rn
Самые проблемные URL. Где именно сервер отдаёт 500.
awk '$9 == 500 {print $7}' access.log | sort | uniq -c | sort -rn | head -20
Кто занял диск. Каталоги первого уровня по размеру.
du -sh /var/* | sort -rh | head -10
Крупные файлы на диске. Список кандидатов на чистку.
find / -xdev -type f -size +500M -print | head -20
Свежие правки в конфигах. Что меняли за последнюю неделю.
find /etc -type f -mtime -7 -name "*.conf" -print
Место и inode. Вторая команда ловит переполнение inode при свободном диске.
df -h df -i
Ошибки сервиса за последний час. Быстрый срез из журнала systemd.
journalctl -u nginx --since "1 hour ago" | grep -i "error"
Разовые команды не заменяют регулярных проверок. Если серверов больше одного, соберите лёгкий мониторинг доступности портов и HTTP: скрипт с алертом надёжнее, чем ручной запуск ss раз в день.
Частые ошибки с пайпами и кавычками: чек-лист перед запуском
Кавычки: когда переменная раскрывается не так
file="my report.log" cat "$file" cat $file echo "$file" echo '$file'
Без кавычек значение переменной разбивается по пробелам, и cat получает два аргумента вместо одного; глоб-символы внутри значения раскрываются по текущему каталогу. В двойных кавычках переменная подставляется; в одинарных строка остаётся буквальной. Правило: переменные в двойных кавычках, литеральные шаблоны в одинарных, обратный слеш для буквального спецсимвола.
Проверка перед деструктивной командой: echo "$dir"/*.log вместо rm или ls -la по каталогу. Пустая переменная в конструкции rm -rf "$dir"/ превращается в rm -rf /, поэтому проверяйте значение на пустоту через [ -n "$dir" ].
Пайпы: где теряется ошибка и как это заметить
Код возврата цепочки по умолчанию берётся от последней команды. grep без совпадений вернёт 1, но head после него вернёт 0, и скрипт продолжит работу как после успеха. Приёмы: set -o pipefail в скрипте, tee для сохранения промежуточного вывода, явная проверка echo $? и чтение лога.
tee без -a перезаписывает файл, а в длинных цепочках вывод буферизуется: строки появляются в файле не мгновенно. Если лог нужен в реальном времени, добавляйте stdbuf -oL или смотрите вывод на экране.
| Неправильно | Правильно | Как проверить |
|---|---|---|
| rm $dir/*.log | rm "$dir"/*.log | echo "$dir"/*.log |
| find ... | xargs rm | find ... -print0 | xargs -0 rm | тот же find с -print и wc -l |
| sed -i 's/a/b/' file | sed -i.bak 's/a/b/' file | diff file file.bak |
| grep ... | awk ... без pipefail | set -o pipefail в начале скрипта | echo $? после цепочки |
| команда > file 2>&1 на читаемом файле | команда > file.tmp, затем mv | ls -la file и wc -l file.tmp |
Финальный чек-лист перед запуском на проде:
- Прогон в режиме чтения: echo вместо действия, -print вместо -delete, head вместо полного вывода.
- Проверка путей: pwd, ls -la, реальные имена без глобов и без пустых переменных.
- Копия перед правкой: cp file file.bak или sed -i.bak, для каталога - tar.
- Код возврата: echo $? после каждой значимой команды, pipefail в скриптах.
- Проверка целей: wc -l и head на списке файлов до удаления или архивирования.
- Первый запуск на копии данных или тестовом хосте, затем прод.
Возьмите один рецепт из нужного раздела, прогоните его в режиме чтения и сверьте список целей. Такой цикл занимает минуту и снимает главный риск шпаргалки - слепое копирование команды в прод.