KAITO (Kubernetes AI Toolchain Operator) - это open source-оператор, автоматизирующий запуск и управление задачами инференса (inference) и тонкой настройки (fine-tuning) AI/ML-моделей в кластере Kubernetes.
Проект создан для того, чтобы разработчики могли использовать Kubernetes не только для микросервисов, но и для работы с большими языковыми моделями (LLM), генеративным ИИ и ML-пайплайнами — без необходимости вручную настраивать инфраструктуру GPU, манифесты и зависимости.
KAITO был принят в Cloud Native Computing Foundation (CNCF) как sandbox-проект, что подтверждает его развитие и открытость сообществу.
Основная идея - описать AI-нагрузку декларативно, с помощью CRD (Custom Resource Definition), а оператор сам создаст необходимые узлы, контейнеры, сервисы и API.
Применение: KAITO подходит для развертывания LLM-моделей (например, Llama 3, Phi-3, Mistral, Gemma), инференс-API, RAG-систем и тонкой настройки моделей в корпоративных или частных Kubernetes-кластерах, в том числе с GPU-нодами.
Полезные ссылки
- GitHub проекта: github.com/kaito-project/kaito
- Документация Azure (пример использования): learn.microsoft.com/en-us/azure/aks/ai-toolchain-operator
- CNCF Sandbox проект: cncf.io/projects/kaito
- Блог о KAITO и AI на Kubernetes: blog.aks.azure.com
- Примеры CRD и YAML: examples/ на GitHub
Архитектура и ключевые компоненты
KAITO построен по принципу Kubernetes Operator Pattern и использует контроллеры, которые следят за состоянием специальных ресурсов и автоматически создают инфраструктуру под нужную AI-нагрузку.
Основные компоненты:
| Компонент | Назначение |
|---|---|
| KAITO Controller | Управляет пользовательскими ресурсами, создаёт узлы и развёртывает workloads. |
| CRD (Custom Resource Definitions) | Основные типы ресурсов: Workspace, RAGEngine, Preset, InferenceService. |
| Presets | Преднастроенные профили моделей (например, Phi-3, Llama-3, Mistral) с параметрами GPU, контейнерами и API. |
| Provisioner Integration | Интеграция с Karpenter или другими GPU-провиженерами для автоматического выделения нод. |
| OpenAI-совместимый API | Позволяет обращаться к запущенным моделям через стандартный OpenAI-интерфейс /v1/chat/completions. |
| RAG Engine (начиная с v0.5) | Поддержка Retrieval-Augmented Generation с FAISS и LlamaIndex. |
Архитектурно KAITO работает так:
- Вы создаёте YAML-манифест (например, Workspace) с указанием модели, ресурсов и конфигурации.
- Контроллер создаёт GPU-нод (через NodeClaim или Provisioner), подбирает контейнер и развёртывает сервис.
- Kubernetes создаёт Service с API, к которому можно обращаться для инференса.
Возможности и преимущества
- Декларативное управление AI-нагрузкой
Всё описывается YAML-манифестами — не нужно вручную писать deployment-файлы, подбирать GPU или конфигурацию. - Поддержка LLM-моделей и инференс-сервисов
Встроенные пресеты для популярных моделей, поддержка OpenAI API и автонастройка параметров под GPU-пул. - Автоматическое управление GPU-нодами
KAITO интегрируется с провиженерами (например, Karpenter), чтобы автоматически выделять и освобождать GPU-ресурсы. - Fine-tuning и RAG-возможности
Оператор RAGEngine позволяет создавать RAG-сервисы с FAISS и embedding-сервисами прямо в кластере. - OpenAI-совместимый API
Позволяет легко переключать приложения, которые уже используют OpenAI API, на локально хостимые модели. - Расширяемость
Можно добавлять кастомные контейнеры, модели и интегрировать KAITO в CI/CD-процессы по принципу GitOps.
Быстрый старт
Ниже приведён пример YAML-манифеста для запуска инференс-сервиса с моделью Phi-3.5-Mini-Instruct.
apiVersion: kaito.sh/v1beta1
kind: Workspace
metadata:
name: workspace-phi-3.5-mini
spec:
resource:
instanceType: "Standard_NC24ads_A100_v4"
labelSelector:
matchLabels:
app: phi-3.5
inference:
preset:
name: phi-3.5-mini-instructШаги запуска
# Установите оператор KAITO
kubectl apply -f https://raw.githubusercontent.com/kaito-project/kaito/main/deploy/kaito-operator.yaml
# Примените YAML-файл
kubectl apply -f workspace-phi-3.5-mini.yaml
# Проверьте статус
kubectl get workspace workspace-phi-3.5-mini
# Получите Service и выполните запрос
kubectl get svc workspace-phi-3.5-mini
Пример вызова API:
curl -X POST http://<CLUSTER-IP>/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "phi-3.5-mini-instruct",
"messages": [{"role": "user", "content": "Что такое Kubernetes?"}],
"max_tokens": 50
}'
Настройка nodeSelector, taints и кастомных образов
KAITO позволяет гибко управлять тем, где и как будут развёрнуты workloads:
spec:
resource:
labelSelector:
matchLabels:
gpu-type: nvidia
nodeSelector:
disktype: ssd
tolerations:
- key: "nvidia.com/gpu"
operator: "Exists"
effect: "NoSchedule"
inference:
preset:
name: llama3-8b
image: custom.registry.io/llama3:latest- nodeSelector — указывает, на каких узлах можно разворачивать workload (например, GPU-узлы).
- taints/tolerations — позволяют назначать поды только на нужные ноды.
- image — задаёт кастомный контейнер с моделью или собственной сборкой (например, с дополнительными библиотеками или токенизаторами).
Ограничения и лучшая практика
Ограничения:
- KAITO находится в стадии CNCF Sandbox — API может меняться.
- Полная поддержка GPU и auto-scaling реализована преимущественно для Azure AKS (но возможно адаптировать под другие среды).
- Автоматическое обновление моделей пока не реализовано.
- Для работы RAG требуется дополнительное хранилище и embedding-сервисы.
Рекомендации:
- Используйте GPU-ноды с A100/V100/T4 в отдельном пуле.
- Изолируйте workloads с помощью taints/tolerations.
- Мониторьте ресурсы (через Prometheus/Grafana или Kube-metrics-server).
- Применяйте GitOps-подход: храните CRD и YAML-файлы в репозитории, деплойте через ArgoCD или Flux.
- Для тонкой настройки моделей используйте отдельные namespaces и ограниченные квоты ресурсов.
Реальные сценарии использования
1. Инференс моделей
Запуск LLM-моделей в собственном кластере с OpenAI-совместимым API для внутренних приложений.
2. Игровые чат-боты и NPC-агенты
Интеграция модели в игровой сервер: NPC реагируют на действия игрока с помощью локально хостимого инференс-сервиса (без передачи данных во внешний API).
3. RAG-системы
Связка KAITO + FAISS для Retrieval-Augmented Generation — например, генерация ответов на основе внутренней документации или игровых данных.
4. Fine-tuning моделей
Тонкая настройка предобученных моделей (например, Mistral или Phi-3) под собственные датасеты для конкретных задач.
Заключение
KAITO делает работу с AI/ML-нагрузками в Kubernetes простой и декларативной.
Он подходит как для инженеров, строящих AI-инфраструктуру в облаке или on-prem, так и для команд, которые хотят интегрировать модели в геймдев-проекты, не завися от внешних API.
Проект активно развивается и уже сегодня может стать частью вашего AI-стека в Kubernetes.