llama.cpp в продакшене: ключи запуска llama-server, Flash Attention и слоты
Настраиваем нативный C++ сервер инференса без лишних прослоек: параллельные слоты, непрерывный батчинг, удержание модели в ОЗУ и systemd-юнит.
Зачем переходить на чистый llama-server
В то время как Ollama удобна для быстрой смены моделей, бинарный сервер llama-server из проекта llama.cpp даёт прямой контроль над числом параллельных слотов, разбиением контекста, привязкой потоков к физическим ядрам CPU и тонкой настройкой KV-кэша.
Ключевые флаги производительности
Флаг -ngl (--n-gpu-layers) отвечает за выгрузку слоёв на видеокарту, -fa включает аппаратный Flash Attention, а -np задаёт количество параллельных клиентских слотов для одновременной обработки запросов.
llama-server \
-m /models/qwen2.5-14b-instruct-q4_k_m.gguf \
--host 127.0.0.1 --port 8080 \
-ngl 99 -fa -c 32768 -np 4 \
--cache-type-k q8_0 --cache-type-v q8_0 \
--mlockОбратите внимание: общий контекст (-c 32768) делится между всеми слотами (-np 4), поэтому каждый параллельный запрос получит до 8192 токенов.
Настройка потоков CPU и mlock
Если часть вычислений идёт на процессоре, указывайте число физических ядер (-t), а не виртуальных потоков Hyper-Threading. Флаг --mlock запрещает ядру Linux выгружать страницы модели в swap-раздел при простое.
Оформление в качестве службы systemd
Для постоянной работы на сервере создайте выделенного непривилегированного пользователя, ограничьте сетевой интерфейс локальным хостом и добавьте автоматический перезапуск при сбоях драйвера GPU.
Мониторинг метрик /metrics
Запуск с флагом --metrics открывает совместимый с Prometheus эндпоинт, где можно отслеживать очередь запросов, заполнение KV-кэша и реальную скорость генерации токенов в секунду.
Отметка поможет найти непрочитанное.