☰
04.07.2025

Развертывание AI / LLM на своем устройстве

Для решения локальных задач зачастую не хватает автоматизации, которая бы упростила процесс работы пользователей, как для решения личных вопросов, так и стала бы отличным модулем в ИС. В данном материале рассмотрим, как с помощью Ollama развернуть локальную LLM или всем известные AI-модели через Docker.

Если ваших мощностей не хватает для решения задач, то Serverspace предоставляет самые последние GPT модели, которые так же просто интегрировать через API или использовать в веб-панели.

Инструкция подходит для Ubuntu, Windows (WSL2) или macOS. Ниже приведён пошаговый процесс запуска языковой модели через Docker c использованием CPU.

1. Установка Docker

Linux (Ubuntu/Debian)

sudo apt update
sudo apt install docker.io
sudo systemctl enable --now docker

Windows/macOS

Скачайте Docker Desktop с официального сайта и установите. После установки проверьте работу:

winget install Docker.DockerDesktop

А после можно проверить его работоспособность, запустив команду:

docker run hello-world

2. Запуск Ollama в Docker (на CPU)

Ollama — это локальный сервер для запуска LLM (например, LLaMA, Mistral и др.).

docker run -d \
--name ollama \
-p 11434:11434 \
-v ollama_data:/root/.ollama \
ollama/ollama

Параметр -v ollama_data:/root/.ollama — сохраняет модели между перезапусками. По умолчанию Ollama будет использовать CPU, если нет GPU-драйверов внутри контейнера

docker ps
docker exec -it ollama ollama pull llama3
docker exec -it ollama ollama list

3. Подключение веб-интерфейса — Open WebUI

docker run -d \
--name open-webui \
-p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
ghcr.io/open-webui/open-webui:ollama

Интерфейс будет доступен на: http://localhost:3000

4. Альтернатива: Text Generation Web UI (на CPU)

Создайте Dockerfile:

FROM python:3.11-slim
RUN apt-get update && apt-get install -y git build-essential
RUN pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
RUN git clone https://github.com/oobabooga/text-generation-webui
WORKDIR /text-generation-webui
RUN pip install -r requirements_cpu_only.txt
COPY start.sh /start.sh
RUN chmod +x /start.sh
ENTRYPOINT ["/start.sh"]

Скрипт запуска start.sh:

#!/bin/bash
rm -rf models && ln -s /models models
python server.py --listen --cpu

docker-compose.yml:

version: '3.8'
services:
textgen:
build: .
container_name: textgen_cpu
ports:
- "7860:7860"
volumes:
- ./models:/models

Запуск:

docker compose up -d

Для коммуникации с моделью можно использовать так же API, который позволит интегрировать ее как модуль в любую ИС. Конечный эндпоинт обращения:

POST http://localhost:11434/api/generate

Для запроса по API необходимо использовать любую тулзу/библиотеку:

curl http://localhost:11434/api/generate \
-d '{
"model": "llama3",
"prompt": "Расскажи, что такое квантовая физика простыми словами",
"stream": false
}'

Пример с настройками генерации:

curl http://localhost:11434/api/generate \
-d '{
"model": "llama3",
"prompt": "Напиши короткий рассказ о роботе.",
"stream": false,
"options": {
"temperature": 0.8,
"top_k": 40,
"top_p": 0.9,
"num_predict": 200
}
}'

5. Оптимизация для CPU

Ограничение ресурсов Docker-контейнера:

docker run --cpus=4 --memory=16g ollama/ollama
Используйте quantized модели (GGUF/ggml) для уменьшения нагрузки CLI-интерфейс (через curl) быстрее, чем WebUI

Если ваших мощностей не хватает для решения задач, то Serverspace предоставляет самые последние GPT модели, которые так же просто интегрировать через API или использовать в веб-панели.