VRAM для локальных LLM
Расчёт видеопамяти под веса, контекст (KV-кэш), CUDA-буфер и оценка скорости генерации (токен/с).
КАК УСТРОЕН РАСЧЁТ
Веса + KV-кэш + Граф вычислений
Итоговый расход видеопамяти складывается из квантованных весов модели, буфера внимания KV-кэша (умноженного на число параллельных слотов) и системного резерва драйвера CUDA/ROCm (~0.7–1.2 ГБ). Теоретическая скорость генерации для одного потока рассчитывается из пропускной способности шины памяти (Memory Bandwidth).