Квантование GGUF, AWQ и EXL2: как выбрать баланс между Q4_K_M, Q5_K_M и Q8_0
Разбираемся в форматах квантования весов, перплексии (PPL), imatrix-калибровке и выборе формата под CPU, Apple Silicon и дискретные GPU.
Почему один и тот же размер модели работает по-разному
Квантование переводит веса модели из 16-битных чисел с плавающей точкой (FP16/BF16) в компактные целочисленные блоки (4, 5, 6 или 8 бит). От выбранной схемы зависит не только объём файла, но и то, насколько точно модель удерживает сложные инструкции, код и редкие факты.
Чем отличаются GGUF, AWQ и EXL2
GGUF — универсальный формат экосистемы llama.cpp и Ollama, работающий на GPU, CPU и Apple Silicon. AWQ (Activation-aware Weight Quantization) оптимизирован для высокоскоростного батчинга в vLLM на серверных GPU. EXL2 (ExLlamaV2) позволяет задавать дробный битрейт (например, 4.65 bpw), чтобы идеально заполнить 24 ГБ VRAM.
Золотой стандарт: Q4_K_M, Q5_K_M и Q8_0
Схемы K-quants распределяют битность неравномерно: критичные слои внимания (Attention) и выходные тензоры получают 6–8 бит, а остальные — 4–5 бит.
llama-quantize model-f16.gguf model-q4_k_m.gguf Q4_K_M
llama-perplexity -m model-q4_k_m.gguf -f wiki.test.rawQ4_K_M — оптимальный выбор по соотношению скорости и памяти; Q5_K_M и Q6_K подходят для кода и аналитики; Q8_0 практически неотличим от исходного FP16.
Зачем нужна матрица важности (imatrix)
При сжатии до 3–4 бит (IQ4_XS, IQ3_M) использование калибровочной матрицы imatrix позволяет сохранить качество за счёт анализа активаций на реальных текстах. Без imatrix агрессивное квантование ниже 4 бит приводит к зацикливанию и потере логики.
Правило выбора для рабочей среды
Начните с Q4_K_M для моделей 14B–70B. Для компактных моделей (3B–8B), которые сильнее страдают от потери точности весов, старайтесь выбирать Q5_K_M, Q6_K или Q8_0.
Отметка поможет найти непрочитанное.