☰
12.11.2025

KAITO - оператор Kubernetes для автоматизации AI и ML-нагрузок: инференс, fine-tuning и RAG-сервисы

KAITO (Kubernetes AI Toolchain Operator) - это open source-оператор, автоматизирующий запуск и управление задачами инференса (inference) и тонкой настройки (fine-tuning) AI/ML-моделей в кластере Kubernetes.
Проект создан для того, чтобы разработчики могли использовать Kubernetes не только для микросервисов, но и для работы с большими языковыми моделями (LLM), генеративным ИИ и ML-пайплайнами — без необходимости вручную настраивать инфраструктуру GPU, манифесты и зависимости.

KAITO был принят в Cloud Native Computing Foundation (CNCF) как sandbox-проект, что подтверждает его развитие и открытость сообществу.
Основная идея - описать AI-нагрузку декларативно, с помощью CRD (Custom Resource Definition), а оператор сам создаст необходимые узлы, контейнеры, сервисы и API.
Применение: KAITO подходит для развертывания LLM-моделей (например, Llama 3, Phi-3, Mistral, Gemma), инференс-API, RAG-систем и тонкой настройки моделей в корпоративных или частных Kubernetes-кластерах, в том числе с GPU-нодами.

Полезные ссылки

Архитектура и ключевые компоненты

KAITO построен по принципу Kubernetes Operator Pattern и использует контроллеры, которые следят за состоянием специальных ресурсов и автоматически создают инфраструктуру под нужную AI-нагрузку.

Основные компоненты:

Компонент Назначение
KAITO Controller Управляет пользовательскими ресурсами, создаёт узлы и развёртывает workloads.
CRD (Custom Resource Definitions) Основные типы ресурсов: Workspace, RAGEngine, Preset, InferenceService.
Presets Преднастроенные профили моделей (например, Phi-3, Llama-3, Mistral) с параметрами GPU, контейнерами и API.
Provisioner Integration Интеграция с Karpenter или другими GPU-провиженерами для автоматического выделения нод.
OpenAI-совместимый API Позволяет обращаться к запущенным моделям через стандартный OpenAI-интерфейс /v1/chat/completions.
RAG Engine (начиная с v0.5) Поддержка Retrieval-Augmented Generation с FAISS и LlamaIndex.

Архитектурно KAITO работает так:

  1. Вы создаёте YAML-манифест (например, Workspace) с указанием модели, ресурсов и конфигурации.
  2. Контроллер создаёт GPU-нод (через NodeClaim или Provisioner), подбирает контейнер и развёртывает сервис.
  3. Kubernetes создаёт Service с API, к которому можно обращаться для инференса.

Возможности и преимущества

  1. Декларативное управление AI-нагрузкой
    Всё описывается YAML-манифестами — не нужно вручную писать deployment-файлы, подбирать GPU или конфигурацию.
  2. Поддержка LLM-моделей и инференс-сервисов
    Встроенные пресеты для популярных моделей, поддержка OpenAI API и автонастройка параметров под GPU-пул.
  3. Автоматическое управление GPU-нодами
    KAITO интегрируется с провиженерами (например, Karpenter), чтобы автоматически выделять и освобождать GPU-ресурсы.
  4. Fine-tuning и RAG-возможности
    Оператор RAGEngine позволяет создавать RAG-сервисы с FAISS и embedding-сервисами прямо в кластере.
  5. OpenAI-совместимый API
    Позволяет легко переключать приложения, которые уже используют OpenAI API, на локально хостимые модели.
  6. Расширяемость
    Можно добавлять кастомные контейнеры, модели и интегрировать KAITO в CI/CD-процессы по принципу GitOps.

Быстрый старт

Ниже приведён пример YAML-манифеста для запуска инференс-сервиса с моделью Phi-3.5-Mini-Instruct.

apiVersion: kaito.sh/v1beta1
kind: Workspace
metadata:
name: workspace-phi-3.5-mini
spec:
resource:
instanceType: "Standard_NC24ads_A100_v4"
labelSelector:
matchLabels:
app: phi-3.5
inference:
preset:
name: phi-3.5-mini-instruct

Шаги запуска

# Установите оператор KAITO
kubectl apply -f https://raw.githubusercontent.com/kaito-project/kaito/main/deploy/kaito-operator.yaml

# Примените YAML-файл
kubectl apply -f workspace-phi-3.5-mini.yaml

# Проверьте статус
kubectl get workspace workspace-phi-3.5-mini

# Получите Service и выполните запрос
kubectl get svc workspace-phi-3.5-mini

Пример вызова API:

curl -X POST http://<CLUSTER-IP>/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "phi-3.5-mini-instruct",
"messages": [{"role": "user", "content": "Что такое Kubernetes?"}],
"max_tokens": 50
}'

Настройка nodeSelector, taints и кастомных образов

KAITO позволяет гибко управлять тем, где и как будут развёрнуты workloads:

spec:
resource:
labelSelector:
matchLabels:
gpu-type: nvidia
nodeSelector:
disktype: ssd
tolerations:
- key: "nvidia.com/gpu"
operator: "Exists"
effect: "NoSchedule"
inference:
preset:
name: llama3-8b
image: custom.registry.io/llama3:latest

Ограничения и лучшая практика

Ограничения:

Рекомендации:

Реальные сценарии использования

1. Инференс моделей

Запуск LLM-моделей в собственном кластере с OpenAI-совместимым API для внутренних приложений.

2. Игровые чат-боты и NPC-агенты

Интеграция модели в игровой сервер: NPC реагируют на действия игрока с помощью локально хостимого инференс-сервиса (без передачи данных во внешний API).

3. RAG-системы

Связка KAITO + FAISS для Retrieval-Augmented Generation — например, генерация ответов на основе внутренней документации или игровых данных.

4. Fine-tuning моделей

Тонкая настройка предобученных моделей (например, Mistral или Phi-3) под собственные датасеты для конкретных задач.

Заключение

KAITO делает работу с AI/ML-нагрузками в Kubernetes простой и декларативной.
Он подходит как для инженеров, строящих AI-инфраструктуру в облаке или on-prem, так и для команд, которые хотят интегрировать модели в геймдев-проекты, не завися от внешних API.

Проект активно развивается и уже сегодня может стать частью вашего AI-стека в Kubernetes.