Для решения локальных задач зачастую не хватает автоматизации, которая бы упростила процесс работы пользователей, как для решения личных вопросов, так и стала бы отличным модулем в ИС. В данном материале рассмотрим, как с помощью Ollama развернуть локальную LLM или всем известные AI-модели через Docker.
Если ваших мощностей не хватает для решения задач, то Serverspace предоставляет самые последние GPT модели, которые так же просто интегрировать через API или использовать в веб-панели.
Инструкция подходит для Ubuntu, Windows (WSL2) или macOS. Ниже приведён пошаговый процесс запуска языковой модели через Docker c использованием CPU.
1. Установка Docker
Linux (Ubuntu/Debian)
sudo apt install docker.io
sudo systemctl enable --now docker
Windows/macOS
Скачайте Docker Desktop с официального сайта и установите. После установки проверьте работу:
А после можно проверить его работоспособность, запустив команду:
2. Запуск Ollama в Docker (на CPU)
Ollama — это локальный сервер для запуска LLM (например, LLaMA, Mistral и др.).
--name ollama \
-p 11434:11434 \
-v ollama_data:/root/.ollama \
ollama/ollama
Параметр -v ollama_data:/root/.ollama — сохраняет модели между перезапусками. По умолчанию Ollama будет использовать CPU, если нет GPU-драйверов внутри контейнера
docker exec -it ollama ollama pull llama3
docker exec -it ollama ollama list
3. Подключение веб-интерфейса — Open WebUI
--name open-webui \
-p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
ghcr.io/open-webui/open-webui:ollama
Интерфейс будет доступен на: http://localhost:3000
4. Альтернатива: Text Generation Web UI (на CPU)
Создайте Dockerfile:
RUN apt-get update && apt-get install -y git build-essential
RUN pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
RUN git clone https://github.com/oobabooga/text-generation-webui
WORKDIR /text-generation-webui
RUN pip install -r requirements_cpu_only.txt
COPY start.sh /start.sh
RUN chmod +x /start.sh
ENTRYPOINT ["/start.sh"]
Скрипт запуска start.sh:
rm -rf models && ln -s /models models
python server.py --listen --cpu
docker-compose.yml:
services:
textgen:
build: .
container_name: textgen_cpu
ports:
- "7860:7860"
volumes:
- ./models:/models
Запуск:
Для коммуникации с моделью можно использовать так же API, который позволит интегрировать ее как модуль в любую ИС. Конечный эндпоинт обращения:
Для запроса по API необходимо использовать любую тулзу/библиотеку:
-d '{
"model": "llama3",
"prompt": "Расскажи, что такое квантовая физика простыми словами",
"stream": false
}'
- model - Название модели, например llama3, mistral, gemma, phi и т.д.
- prompt - Текст запроса
- stream - Если `true`, ответ будет приходить по частям (удобно для чата). Если `false` — весь ответ сразу
- options - Дополнительные параметры генерации
Пример с настройками генерации:
curl http://localhost:11434/api/generate \
-d '{
"model": "llama3",
"prompt": "Напиши короткий рассказ о роботе.",
"stream": false,
"options": {
"temperature": 0.8,
"top_k": 40,
"top_p": 0.9,
"num_predict": 200
}
}'
- temperature - Контроль случайности. Чем выше — тем креативнее
- top_k - Ограничение по количеству токенов, среди которых выбирается следующий
- top_p - Контроль вероятности (nucleus sampling)
- num_predict - Сколько токенов максимум генерировать
5. Оптимизация для CPU
Ограничение ресурсов Docker-контейнера:
Если ваших мощностей не хватает для решения задач, то Serverspace предоставляет самые последние GPT модели, которые так же просто интегрировать через API или использовать в веб-панели.