Железо для локальных LLM: выбор GPU, шина памяти, multi-GPU и охлаждение
Почему пропускная способность памяти (Memory Bandwidth) важнее терафлопсов, как работают связки из двух GPU и на чём нельзя экономить в сборке.
Главное узкое место генерации — Memory Bandwidth
Генерация каждого нового токена авторегрессионной моделью требует чтения всех активных весов из видеопамяти в вычислительные блоки чипа. Поэтому скорость в токенах/сек напрямую пропорциональна пропускной способности шины памяти (ГБ/с), а не пиковой частоте ядра.
Практическая формула максимальной скорости
Теоретический потолок скорости для одного пользователя равен Пропускной способности памяти (ГБ/с), делённой на Размер весов модели (ГБ), умноженной на КПД рантайма (0.65–0.78). Например, видеокарта с ПСП 936 ГБ/с на модели весом 18 ГБ выдаст около 35–40 токенов/сек.
Сравнение конфигураций: 1×24 ГБ, 2×24 ГБ и Unified Memory
Одна карта на 24 ГБ VRAM уверенно закрывает модели 14B–32B в Q4/Q5. Две карты по 24 ГБ (48 ГБ суммарно) позволяют запускать модели 70B полностью в видеопамяти. Системы с единой памятью (Apple Silicon M-серии или серверные APU) дают доступ к 64–192 ГБ под огромные модели, но уступают дискретным GPU на этапе чтения длинного промпта (Prompt Processing).
Особенности сборок с двумя видеокартами
Для инференса в режиме разделения слоёв (Pipeline Parallelism) достаточно даже слотов PCIe x8/x4, но для скоростного Tensor Parallelism в vLLM желательна полноценная формула PCIe 4.0/5.0 x8+x8 и включённый в BIOS режим Above 4G Decoding и Resizable BAR.
nvidia-smi topo -m
nvidia-smi -pl 280Ограничение Power Limit (например, до 250–280 Вт вместо 350–450 Вт) снижает нагрев и шум на 25%, отнимая всего 4–6% скорости генерации.
Требования к блоку питания и корпусу
При установке двух ускорителей выбирайте блок питания стандарта ATX 3.0/3.1 с запасом 30% по линии 12V и продуваемый корпус, так как карточки с осевыми вентиляторами подогревают друг друга.
Отметка поможет найти непрочитанное.