Локальные LLM / vLLM / PagedAttention

vLLM для команды: PagedAttention, батчинг и OpenAI-совместимый API на Linux

Как развернуть высокопроизводительный сервер локальной LLM для нескольких сотрудников, чтобы 5 одновременных запросов не ставили GPU в очередь.

Почему однопользовательские рантаймы буксуют в команде

При обращении 5–10 сотрудников к обычной локальной модели запросы выстраиваются в последовательную очередь. vLLM решает эту задачу с помощью алгоритма PagedAttention и непрерывного батчинга (Continuous Batching), объединяя генерацию токенов для разных пользователей в единый проход GPU.

Запуск OpenAI-совместимого сервера в Docker

vLLM предоставляет готовый HTTP-сервер, полностью совместимый со спецификацией OpenAI API (/v1/chat/completions), что позволяет сразу подключить к нему Open WebUI, Continue или внутренние скрипты.

КОМАНДНАЯ СТРОКА / КОНФИГУРАЦИЯ
docker run --gpus all --shm-size 16g -p 127.0.0.1:8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:latest \
  --model Qwen/Qwen2.5-14B-Instruct-AWQ \
  --quantization awq \
  --max-model-len 16384 \
  --gpu-memory-utilization 0.90

Параметр --shm-size 16g критичен при работе с несколькими GPU (Tensor Parallelism) через NCCL.

Управление параметром gpu-memory-utilization

По умолчанию vLLM резервирует 90% всей видеопамяти под блоки PagedAttention. Если на том же ускорителе работает модель эмбеддингов или реранкер для RAG, снизьте этот порог до 0.70–0.75.

Авторизация и префиксное кэширование

Добавьте флаг --enable-prefix-caching: если пользователи работают с общим длинным системным промптом или большим документом, vLLM не будет пересчитывать его на каждом запросе, сокращая задержку до первого токена (TTFT) в разы.

Когда выбирать vLLM вместо Ollama

Используйте vLLM на выделенных Linux-серверах с GPU NVIDIA/AMD при числе параллельных запросов от 3 и выше, когда важна предсказуемая задержка и высокая суммарная пропускная способность.

МАТЕРИАЛ ПРОЙДЕН?

Отметка поможет найти непрочитанное.

← Локальные LLM
Продолжить тему

Читайте дальше

Смотреть все
128 материалов · 18 направлений · Esc — закрыть