В Linux практически всё — это текст: конфигурационные файлы, логи, скрипты, вывод системных команд. Поэтому умение эффективно обрабатывать текстовые данные через командную строку — навык, который значительно ускоряет вашу работу и делает вас увереннее в системном администрировании и автоматизации задач.
В этой статье собраны часто используемые команды для анализа, фильтрации, сравнения и трансформации текстовых данных в Linux. Команды сопровождаются пояснениями и примерами — сохраняйте себе как шпаргалку!
Просмотр содержимого файлов
cat -n file1Выводит содержимое файла с добавлением номеров строк слева от каждой строки — удобно для отладки и ссылок.
cat example.txt | awk 'NR%2==1'Фильтрует и отображает только нечётные строки файла — полезно, например, при разборе логов или работы с шаблонами.
Извлечение нужных столбцов
echo a b c | awk '{print $1,$3}'Печатает первую и третью часть строки (разделение по пробелам) — помогает вытащить нужные элементы из структурированных данных.
echo a b c | awk '{print $1}'Выводит только первый элемент строки — минимальная выборка для анализа.
Сравнение файлов на различия
comm -3 file1 file2Показывает различающиеся строки между двумя файлами, исключая общие — удобно при синхронизации конфигураций.
comm -1 file1 file2Отображает только строки, отсутствующие в file2— используется при сравнении исходного и изменённого файлов.
comm -2 file1 file2Показывает строки, которых нет в file1, но есть в file2 — полезно для отслеживания добавленных значений.
sdiff file1 file2Выводит построчное сравнение двух файлов в виде двух колонок — отличный способ найти конкретные отличия.
Поиск в текстовых файлах
grep [0-9] /var/log/messagesНаходит строки, содержащие хотя бы одну цифру — помогает быстро выделить записи с ID, кодами и т. п.
grep ^Aug /var/log/messagesФильтрует строки, начинающиеся с "Aug" — удобно при работе с логами по дате.
grep Aug /var/log/messagesПоказывает все строки, в которых встречается "Aug" в любом месте — быстрый фильтр по ключевому слову.
grep Aug -R /var/log/*Ищет строку "Aug" во всех файлах каталога рекурсивно — мощный инструмент при поиске по логам или конфигурациям.
Слияние файлов по строкам
paste -d '+' file1 file2Объединяет строки двух файлов, используя символ "+" как разделитель — формирует компактное представление данных.
paste file1 file2Создаёт таблицу, объединяя соответствующие строки двух файлов построчно — удобно для сопоставления данных.
Редактирование текста с sed
sed 's/string1/string2/g' example.txtВыполняет глобальную замену string1 на string2 во всём файле — базовая замена шаблонов.
sed '/ *#/d; /^$/d' example.txtУдаляет пустые строки и строки с комментариями (начинающиеся с #) — полезно для очистки конфигов.
sed '/^$/d' example.txtУдаляет только пустые строки — уплотнение текста без затрагивания данных.
sed -e '1d' example.txtУдаляет первую строку файла — может использоваться для пропуска заголовков.
sed -n '/string1/p'Выводит только те строки, которые содержат string1 — быстрый способ выборки по шаблону.
sed -e 's/string//g' example.txtУдаляет все вхождения string из файла — применяется для удаления ключевых слов или мусора.
sed -e 's/ *$//' example.txtУдаляет пробелы в конце строк — хорошо для "чистки" перед передачей файлов.
sed -n '5p;5q' example.txtВыводит только пятую строку файла — аналог точечной выборки.
sed -n '2,5p' example.txtПечатает строки с 2-й по 5-ю включительно — удобен при анализе фрагментов файла.
sed -e 's/00*/0/g' example.txtЗаменяет любые последовательности нулей на один ноль — отличная нормализация чисел.
Сортировка и фильтрация строк
sort file1 file2Сортирует объединённое содержимое двух файлов по алфавиту или численно — базовая операция для анализа.
sort file1 file2 | uniqУдаляет дублирующиеся строки после сортировки — очистка от повторов.
>sort file1 file2 | uniq -uВыводит только уникальные строки — позволяет найти данные, встречающиеся один раз.
sort file1 file2 | uniq -dПоказывает только те строки, которые повторяются — полезно для поиска дубликатов.
Преобразование регистра
echo 'word' | tr '[:lower:]' '[:upper:]'Преобразует все символы в верхний регистр — пригодится при нормализации данных.
Эти команды могут использоваться как по отдельности, так и в комбинации, образуя мощные цепочки обработки данных. Например, вы можете читать файл, фильтровать строки по ключевым словам, сортировать и удалять дубли — и всё это одной строкой в терминале!