В Linux практически всё — это текст: конфигурационные файлы, логи, скрипты, вывод системных команд. Поэтому умение эффективно обрабатывать текстовые данные через командную строку — навык, который значительно ускоряет вашу работу и делает вас увереннее в системном администрировании и автоматизации задач.
В этой статье собраны часто используемые команды для анализа, фильтрации, сравнения и трансформации текстовых данных в Linux. Команды сопровождаются пояснениями и примерами — сохраняйте себе как шпаргалку!
Просмотр содержимого файлов
Выводит содержимое файла с добавлением номеров строк слева от каждой строки — удобно для отладки и ссылок.
Фильтрует и отображает только нечётные строки файла — полезно, например, при разборе логов или работы с шаблонами.
Извлечение нужных столбцов
Печатает первую и третью часть строки (разделение по пробелам) — помогает вытащить нужные элементы из структурированных данных.
Выводит только первый элемент строки — минимальная выборка для анализа.
Сравнение файлов на различия
Показывает различающиеся строки между двумя файлами, исключая общие — удобно при синхронизации конфигураций.
Отображает только строки, отсутствующие в file2— используется при сравнении исходного и изменённого файлов.
Показывает строки, которых нет в file1, но есть в file2 — полезно для отслеживания добавленных значений.
Выводит построчное сравнение двух файлов в виде двух колонок — отличный способ найти конкретные отличия.
Поиск в текстовых файлах
Находит строки, содержащие хотя бы одну цифру — помогает быстро выделить записи с ID, кодами и т. п.
Фильтрует строки, начинающиеся с "Aug" — удобно при работе с логами по дате.
Показывает все строки, в которых встречается "Aug" в любом месте — быстрый фильтр по ключевому слову.
Ищет строку "Aug" во всех файлах каталога рекурсивно — мощный инструмент при поиске по логам или конфигурациям.
Слияние файлов по строкам
Объединяет строки двух файлов, используя символ "+" как разделитель — формирует компактное представление данных.
Создаёт таблицу, объединяя соответствующие строки двух файлов построчно — удобно для сопоставления данных.
Редактирование текста с sed
Выполняет глобальную замену string1 на string2 во всём файле — базовая замена шаблонов.
Удаляет пустые строки и строки с комментариями (начинающиеся с #) — полезно для очистки конфигов.
Удаляет только пустые строки — уплотнение текста без затрагивания данных.
Удаляет первую строку файла — может использоваться для пропуска заголовков.
Выводит только те строки, которые содержат string1 — быстрый способ выборки по шаблону.
Удаляет все вхождения string из файла — применяется для удаления ключевых слов или мусора.
Удаляет пробелы в конце строк — хорошо для "чистки" перед передачей файлов.
Выводит только пятую строку файла — аналог точечной выборки.
Печатает строки с 2-й по 5-ю включительно — удобен при анализе фрагментов файла.
Заменяет любые последовательности нулей на один ноль — отличная нормализация чисел.
Сортировка и фильтрация строк
Сортирует объединённое содержимое двух файлов по алфавиту или численно — базовая операция для анализа.
Удаляет дублирующиеся строки после сортировки — очистка от повторов.
Выводит только уникальные строки — позволяет найти данные, встречающиеся один раз.
Показывает только те строки, которые повторяются — полезно для поиска дубликатов.
Преобразование регистра
Преобразует все символы в верхний регистр — пригодится при нормализации данных.
Эти команды могут использоваться как по отдельности, так и в комбинации, образуя мощные цепочки обработки данных. Например, вы можете читать файл, фильтровать строки по ключевым словам, сортировать и удалять дубли — и всё это одной строкой в терминале!