Инструмент / Локальные LLM

VRAM для локальных LLM

Расчёт видеопамяти под веса, контекст (KV-кэш), CUDA-буфер и оценка скорости генерации (токен/с).

КАК УСТРОЕН РАСЧЁТ

Веса + KV-кэш + Граф вычислений

Итоговый расход видеопамяти складывается из квантованных весов модели, буфера внимания KV-кэша (умноженного на число параллельных слотов) и системного резерва драйвера CUDA/ROCm (~0.7–1.2 ГБ). Теоретическая скорость генерации для одного потока рассчитывается из пропускной способности шины памяти (Memory Bandwidth).

128 материалов · 18 направлений · Esc — закрыть