Локальные LLM / VRAM & Memory

Формула памяти локальных LLM: веса, контекст, KV-кэш и накладные расходы

Как точно рассчитать потребление VRAM и системной ОЗУ перед загрузкой модели, чтобы избежать OOM и падения скорости до 1 токена в секунду.

Из чего складывается реальный объём памяти

Размер файла модели на диске — это лишь базовая часть потребления видеопамяти. При запуске локальной LLM память расходуется на четыре компонента: веса самой модели (Weights), буфер контекста (KV-кэш), буферы активаций (Compute Graph / Scratchpad) и системный резерв драйвера CUDA/ROCm (обычно 450–800 МБ).

Быстрая инженерная формула оценки

Для оценки весов в гигабайтах умножьте число параметров (в млрд) на байты на параметр: для FP16 это ×2.0, для Q8_0 — ×1.05, для Q4_K_M — ×0.62. Затем прибавьте KV-кэш: при контексте 32 768 токенов на модели 32B он легко занимает ещё 4–8 ГБ без квантования кэша.

Проверка распределения слоёв между GPU и CPU

Если модель не помещается в VRAM целиком, рантайм переносит часть слоёв в системную ОЗУ. Даже 4–6 слоёв на CPU снижают скорость генерации в 4–7 раз из-за узкого места шины PCIe и пропускной способности DDR4/DDR5.

КОМАНДНАЯ СТРОКА / КОНФИГУРАЦИЯ
ollama ps
nvidia-smi --query-gpu=memory.used,memory.free,utilization.gpu --format=csv

Следите за колонкой PROCESSOR в выводе ollama ps: значение вида 100% GPU гарантирует отсутствие медленного гибридного оффлоадинга.

Квантование KV-кэша (q8_0 и q4_0)

Современные движки позволяют сжимать не только веса, но и сам KV-кэш. Переключение типа кэша в режим q8_0 почти вдвое сокращает расход памяти на длинном контексте без заметной деградации точности ответов.

Практический чек-лист перед выбором модели

Всегда оставляйте минимум 1.2–1.5 ГБ свободной видеопамяти под пиковые графы вычислений и композитор ОС. Используйте наш калькулятор VRAM для локальных LLM в разделе «Инструменты», чтобы заранее проверить совместимость модели с вашей видеокартой.

МАТЕРИАЛ ПРОЙДЕН?

Отметка поможет найти непрочитанное.

← Локальные LLM
Продолжить тему

Читайте дальше

Смотреть все
128 материалов · 18 направлений · Esc — закрыть