Локальные LLM / llama.cpp

llama.cpp в продакшене: ключи запуска llama-server, Flash Attention и слоты

Настраиваем нативный C++ сервер инференса без лишних прослоек: параллельные слоты, непрерывный батчинг, удержание модели в ОЗУ и systemd-юнит.

Зачем переходить на чистый llama-server

В то время как Ollama удобна для быстрой смены моделей, бинарный сервер llama-server из проекта llama.cpp даёт прямой контроль над числом параллельных слотов, разбиением контекста, привязкой потоков к физическим ядрам CPU и тонкой настройкой KV-кэша.

Ключевые флаги производительности

Флаг -ngl (--n-gpu-layers) отвечает за выгрузку слоёв на видеокарту, -fa включает аппаратный Flash Attention, а -np задаёт количество параллельных клиентских слотов для одновременной обработки запросов.

КОМАНДНАЯ СТРОКА / КОНФИГУРАЦИЯ
llama-server \
  -m /models/qwen2.5-14b-instruct-q4_k_m.gguf \
  --host 127.0.0.1 --port 8080 \
  -ngl 99 -fa -c 32768 -np 4 \
  --cache-type-k q8_0 --cache-type-v q8_0 \
  --mlock

Обратите внимание: общий контекст (-c 32768) делится между всеми слотами (-np 4), поэтому каждый параллельный запрос получит до 8192 токенов.

Настройка потоков CPU и mlock

Если часть вычислений идёт на процессоре, указывайте число физических ядер (-t), а не виртуальных потоков Hyper-Threading. Флаг --mlock запрещает ядру Linux выгружать страницы модели в swap-раздел при простое.

Оформление в качестве службы systemd

Для постоянной работы на сервере создайте выделенного непривилегированного пользователя, ограничьте сетевой интерфейс локальным хостом и добавьте автоматический перезапуск при сбоях драйвера GPU.

Мониторинг метрик /metrics

Запуск с флагом --metrics открывает совместимый с Prometheus эндпоинт, где можно отслеживать очередь запросов, заполнение KV-кэша и реальную скорость генерации токенов в секунду.

МАТЕРИАЛ ПРОЙДЕН?

Отметка поможет найти непрочитанное.

← Локальные LLM
Продолжить тему

Читайте дальше

Смотреть все
128 материалов · 18 направлений · Esc — закрыть