Формула памяти локальных LLM: веса, контекст, KV-кэш и накладные расходы
Как точно рассчитать потребление VRAM и системной ОЗУ перед загрузкой модели, чтобы избежать OOM и падения скорости до 1 токена в секунду.
Из чего складывается реальный объём памяти
Размер файла модели на диске — это лишь базовая часть потребления видеопамяти. При запуске локальной LLM память расходуется на четыре компонента: веса самой модели (Weights), буфер контекста (KV-кэш), буферы активаций (Compute Graph / Scratchpad) и системный резерв драйвера CUDA/ROCm (обычно 450–800 МБ).
Быстрая инженерная формула оценки
Для оценки весов в гигабайтах умножьте число параметров (в млрд) на байты на параметр: для FP16 это ×2.0, для Q8_0 — ×1.05, для Q4_K_M — ×0.62. Затем прибавьте KV-кэш: при контексте 32 768 токенов на модели 32B он легко занимает ещё 4–8 ГБ без квантования кэша.
Проверка распределения слоёв между GPU и CPU
Если модель не помещается в VRAM целиком, рантайм переносит часть слоёв в системную ОЗУ. Даже 4–6 слоёв на CPU снижают скорость генерации в 4–7 раз из-за узкого места шины PCIe и пропускной способности DDR4/DDR5.
ollama ps
nvidia-smi --query-gpu=memory.used,memory.free,utilization.gpu --format=csvСледите за колонкой PROCESSOR в выводе ollama ps: значение вида 100% GPU гарантирует отсутствие медленного гибридного оффлоадинга.
Квантование KV-кэша (q8_0 и q4_0)
Современные движки позволяют сжимать не только веса, но и сам KV-кэш. Переключение типа кэша в режим q8_0 почти вдвое сокращает расход памяти на длинном контексте без заметной деградации точности ответов.
Практический чек-лист перед выбором модели
Всегда оставляйте минимум 1.2–1.5 ГБ свободной видеопамяти под пиковые графы вычислений и композитор ОС. Используйте наш калькулятор VRAM для локальных LLM в разделе «Инструменты», чтобы заранее проверить совместимость модели с вашей видеокартой.
Отметка поможет найти непрочитанное.