vLLM для команды: PagedAttention, батчинг и OpenAI-совместимый API на Linux
Как развернуть высокопроизводительный сервер локальной LLM для нескольких сотрудников, чтобы 5 одновременных запросов не ставили GPU в очередь.
Почему однопользовательские рантаймы буксуют в команде
При обращении 5–10 сотрудников к обычной локальной модели запросы выстраиваются в последовательную очередь. vLLM решает эту задачу с помощью алгоритма PagedAttention и непрерывного батчинга (Continuous Batching), объединяя генерацию токенов для разных пользователей в единый проход GPU.
Запуск OpenAI-совместимого сервера в Docker
vLLM предоставляет готовый HTTP-сервер, полностью совместимый со спецификацией OpenAI API (/v1/chat/completions), что позволяет сразу подключить к нему Open WebUI, Continue или внутренние скрипты.
docker run --gpus all --shm-size 16g -p 127.0.0.1:8000:8000 \
-v ~/.cache/huggingface:/root/.cache/huggingface \
vllm/vllm-openai:latest \
--model Qwen/Qwen2.5-14B-Instruct-AWQ \
--quantization awq \
--max-model-len 16384 \
--gpu-memory-utilization 0.90Параметр --shm-size 16g критичен при работе с несколькими GPU (Tensor Parallelism) через NCCL.
Управление параметром gpu-memory-utilization
По умолчанию vLLM резервирует 90% всей видеопамяти под блоки PagedAttention. Если на том же ускорителе работает модель эмбеддингов или реранкер для RAG, снизьте этот порог до 0.70–0.75.
Авторизация и префиксное кэширование
Добавьте флаг --enable-prefix-caching: если пользователи работают с общим длинным системным промптом или большим документом, vLLM не будет пересчитывать его на каждом запросе, сокращая задержку до первого токена (TTFT) в разы.
Когда выбирать vLLM вместо Ollama
Используйте vLLM на выделенных Linux-серверах с GPU NVIDIA/AMD при числе параллельных запросов от 3 и выше, когда важна предсказуемая задержка и высокая суммарная пропускная способность.
Отметка поможет найти непрочитанное.