Как найти out of memory ошибки в Linux и что делать дальше
Сервер вдруг перестаёт отвечать на запросы, важный процесс исчезает из списка запущенных без видимой причины, а в логах — короткая запись о нехватке памяти. Ошибка out of memory в Linux знакома почти каждому, кто администрирует серверы или разворачивает дистрибутивы вроде Astra Linux: оперативная память заканчивается, и ядро решает, какой процесс принести в жертву ради стабильности остальных. А где гарантия, что в следующий раз OOM Killer не выберет процесс базы данных под продакшен-нагрузкой? В этой инструкции разберём, как находить следы OOM в системных логах, что означают связанные термины и какие шаги предпринять, чтобы такие сбои не повторялись — включая ситуации, когда out of memory linux при установке мешает довести развёртывание системы до конца.
Терминология
OOM (Out of Memory) — состояние, при котором системе не хватает оперативной памяти и доступного свопа для выделения нового блока под запрос процесса. Ошибка out of memory возникает именно в этот момент — ядро физически не может продолжить работу без вмешательства.
OOM Killer — механизм ядра Linux, который включается при нехватке памяти и принудительно завершает один или несколько процессов, чтобы освободить ресурсы и не допустить полного зависания системы.
oom_score — числовая оценка «кандидата на удаление», которую ядро присваивает каждому процессу. Чем выше значение, тем вероятнее, что именно этот процесс завершит OOM Killer.
oom_score_adj — параметр, позволяющий вручную скорректировать оценку процесса: понизить (защитить от завершения) или, наоборот, повысить приоритет для завершения.
Своп (swap) — область на диске, которая используется как продолжение оперативной памяти, когда основного RAM недостаточно. Своп замедляет работу, но даёт системе запас времени перед тем, как вмешается OOM Killer.
Overcommit памяти — режим, при котором ядро разрешает процессам запрашивать больше памяти, чем физически доступно, рассчитывая, что не все запросы будут использованы одновременно.
cgroups (control groups) — механизм ядра, который ограничивает и учитывает ресурсы для группы процессов, в том числе память. Именно через cgroups Docker и Kubernetes задают лимиты контейнерам.
Как это работает
Linux по умолчанию не запрещает процессам запрашивать больше памяти, чем реально есть в системе — за это отвечает параметр vm.overcommit_memory. Пока запрошенная память не используется активно, всё работает без проблем: ядро выделяет адресное пространство «на будущее» и заполняет физические страницы только по факту обращения к ним. Сложности начинаются, когда сразу несколько процессов действительно начинают использовать выделенную память, а физического RAM и свопа для этого уже не хватает — именно тогда system.log фиксирует классическую ошибку out of memory linux.
Глобальный OOM Killer
Когда свободной памяти не остаётся, ядро запускает процедуру oom_kill. Она проходит по списку запущенных процессов и вычисляет для каждого oom_score — оценку, которая учитывает объём потребляемой памяти, время работы, привилегии и заданные вручную корректировки через oom_score_adj. Процесс с наибольшим значением получает сигнал SIGKILL и принудительно завершается. Проще говоря, ядро действует по принципу «лучше потерять один процесс, чем всю систему»: оно ищет не виновника утечки, а процесс, завершение которого высвободит больше всего памяти с наименьшими последствиями для остальных.
OOM в cgroups и контейнерах
У контейнеров Docker и подов Kubernetes есть собственные лимиты памяти, заданные через cgroups. Если процесс внутри контейнера пытается превысить установленный memory.limit_in_bytes, срабатывает локальный OOM Killer — даже если на хосте в этот момент полно свободной памяти. Именно поэтому контейнер может перезапускаться со статусом OOMKilled, пока остальная система выглядит совершенно здоровой.
Практическое применение
Ошибка out of memory проявляется по-разному в зависимости от нагрузки и архитектуры приложения. Разберём несколько типичных сценариев.
Веб-сервер падает под пиковой нагрузкой. Nginx или Apache с большим числом воркеров постепенно съедают всю доступную память, особенно если приложение отдаёт тяжёлый контент или держит много одновременных соединений.
СУБД неожиданно завершается. MySQL или PostgreSQL настроены с буферами, рассчитанными на больший объём RAM, чем реально выделено серверу — и рано или поздно ядро завершает именно процесс базы данных как самый прожорливый.
Контейнер перезапускается сам по себе. Docker показывает статус OOMKilled, хотя на хосте есть свободная память — причина в лимите cgroup, заданном при запуске контейнера.
Out of memory linux при установке дистрибутива. Live-инсталлятор Astra Linux или другого дистрибутива запускается на машине с минимальным объёмом RAM, а распаковка образа и настройка пакетов требуют больше памяти, чем доступно — установка обрывается с той же ошибкой out of memory, что встречается и на рабочих серверах.
Под в Kubernetes уходит в CrashLoopBackOff. Приложение внутри пода стабильно превышает заданный resources.limits.memory, и kubelet раз за разом перезапускает под, что видно в событиях через kubectl describe.
Пошаговая инструкция
Шаг 1. Проверяем системные логи на признаки OOM
Первым делом стоит посмотреть журнал ядра — именно там остаются записи о срабатывании OOM Killer.
dmesg | grep -i -E "killed process|out of memory"Если система использует systemd, удобнее работать через journalctl:
journalctl -k | grep -i oomНа системах на базе Debian и Ubuntu записи также попадают в отдельные файлы:
grep -i "out of memory" /var/log/syslog /var/log/kern.logAstra Linux построена на базе Debian и использует ту же схему логирования: error out of memory linux ищется там же — в /var/log/syslog или через journalctl, если система работает на systemd (актуально для Astra Linux Common Edition 2.12 и новее).
Похожая запись в логе выглядит примерно так: «Out of memory: Killed process 1842 (mysqld) total-vm:2145728kB». По PID и имени процесса сразу понятно, кого завершил OOM Killer и сколько памяти он занимал на момент срабатывания.
| Дистрибутив | Где искать | Команда |
| Ubuntu / Debian | /var/log/syslog, /var/log/kern.log | grep -i oom /var/log/syslog |
| Astra Linux | /var/log/syslog или journald | journalctl -k | grep -i oom |
| CentOS / AlmaLinux | /var/log/messages | grep -i oom /var/log/messages |
| Docker | статус контейнера | docker inspect --format='{{.State.OOMKilled}}' |
Шаг 2. Смотрим текущее состояние памяти
Прежде чем чинить проблему, полезно понять, как обстоят дела с памятью прямо сейчас:
free -hКоманда vmstat покажет динамику за несколько интервалов и подскажет, насколько активно используется своп:
vmstat 1 5Более детальная картина — в /proc/meminfo, где видно распределение по кэшам, буферам и доступной памяти.
Шаг 3. Находим процесс-виновник
Если OOM ещё не сработал, но память тает на глазах, стоит отсортировать процессы по потреблению:
ps aux --sort=-%mem | head -n 15Для наблюдения в реальном времени удобнее top или htop — они показывают, как потребление меняется по ходу нагрузки, и помогают поймать момент, когда конкретный процесс начинает набирать память.
Шаг 4. Проверяем OOM в контейнерах
Для Docker статус завершения по памяти можно получить напрямую:
docker inspect --format='{{.State.OOMKilled}}' В Kubernetes причину перезапуска пода видно в описании событий:
kubectl describe pod Там же обычно указан код завершения 137 — он как раз означает, что процесс получил SIGKILL, чаще всего от OOM Killer.
Обратите внимание
OOM Killer в контейнере и глобальный OOM Killer на хосте — это разные механизмы. Контейнер может упираться в собственный лимит cgroup, даже когда на хосте десятки гигабайт свободной памяти.
Шаг 5. Устраняем причину
Дальнейшие действия зависят от того, что показала диагностика.
Не хватает физической памяти. Самое прямое решение — увеличить объём RAM на сервере. На VPS это обычно занимает пару минут и не требует переустановки системы: ресурсы VPS-сервера меняются из панели управления без длительного простоя. Если апгрейд пока невозможен, временно помогает добавление свопа:
fallocate -l 2G /swapfile
chmod 600 /swapfile
mkswap /swapfile
swapon /swapfileСвоп не заменяет полноценную оперативную память — он лишь даёт системе запас времени под пиковую нагрузку и не подходит как постоянное решение для продакшена с интенсивным вводом-выводом. Этот же приём выручает и при установке: если инсталлятор падает с ошибкой out of memory, временный swap-файл, созданный с live-носителя, часто позволяет довести настройку пакетов до конца.
Нужно защитить критичный процесс. Если база данных или другой важный сервис регулярно попадает под раздачу OOM Killer, можно понизить его oom_score_adj:
echo -500 > /proc/$(pidof mysqld)/oom_score_adjДля сервисов на systemd проще задать это через юнит-файл параметром OOMScoreAdjust, чтобы настройка сохранялась после перезапуска.
Процесс потребляет больше, чем должен. Здесь помогают явные лимиты памяти через systemd:
systemctl edit myapp.serviceВ открывшемся файле добавляется директива MemoryMax, которая ограничивает потребление конкретного сервиса и не даёт ему захватить всю память сервера в одиночку.
Нужна более мягкая реакция на нехватку памяти. Утилиты вроде earlyoom или systemd-oomd отслеживают уровень свободной памяти заранее и завершают наименее приоритетные процессы до того, как сработает жёсткий OOM Killer ядра — это снижает риск, что под раздачу попадёт критичный сервис.
Шаг 6. Настраиваем мониторинг
Чтобы не искать причину задним числом каждый раз, стоит настроить алерты на использование памяти — например, через Zabbix или Prometheus с node_exporter. Оповещение при достижении 80–85% от лимита даёт время среагировать до того, как вмешается OOM Killer.
Заключение
Ошибка out of memory — это не сбой на пустом месте, а реакция ядра на реальную нехватку ресурсов, будь то нагруженный продакшен-сервер или установка Astra Linux на слабом железе. Разобраться в причине помогает связка из системных логов, текущей картины по памяти и понимания, кто именно и почему запросил больше, чем было доступно. Дальше выбор простой: расширить ресурсы, защитить критичные процессы через oom_score_adj, ограничить «прожорливые» сервисы лимитами cgroups или настроить раннее реагирование через earlyoom. Комбинация мониторинга и разумных лимитов памяти избавляет от внезапных падений сервисов и экономит время на разборе инцидентов постфактум.
700
300
700
300
700
300