Формула памяти локальных LLM: веса, контекст, KV-кэш и накладные расходы
Как точно рассчитать потребление VRAM и системной ОЗУ перед загрузкой модели, чтобы избежать OOM и падения скорости до 1 токена в секунду.
От точного расчёта видеопамяти и выбора квантования GGUF/AWQ до продакшен-кластеров на базе llama.cpp и vLLM, локальных помощников в IDE и закрытого контура безопасности.
Как точно рассчитать потребление VRAM и системной ОЗУ перед загрузкой модели, чтобы избежать OOM и падения скорости до 1 токена в секунду.
Разбираемся в форматах квантования весов, перплексии (PPL), imatrix-калибровке и выборе формата под CPU, Apple Silicon и дискретные GPU.
Настраиваем нативный C++ сервер инференса без лишних прослоек: параллельные слоты, непрерывный батчинг, удержание модели в ОЗУ и systemd-юнит.
Как развернуть высокопроизводительный сервер локальной LLM для нескольких сотрудников, чтобы 5 одновременных запросов не ставили GPU в очередь.
Почему пропускная способность памяти (Memory Bandwidth) важнее терафлопсов, как работают связки из двух GPU и на чём нельзя экономить в сборке.
Почему Ollama по умолчанию обрезает контекст до 2048 токенов и как собрать собственный воспроизводимый профиль модели под задачи компании.
Настраиваем расширение Continue.dev и локальные модели Qwen2.5-Coder / DeepSeek-Coder: разделяем тяжёлую модель для чата и быструю 1.5B–3B для автодополнения.
Почему хороший локальный RAG начинается не с генеративной LLM, а с правильного выбора мультиязычной модели эмбеддингов и двухэтапного реранкинга.
Как разбирать фотографии серверных стоек, скриншоты ошибок, кассовые чеки и сложные таблицы локально без передачи изображений во внешние API.
Защищаем корпоративный узел Ollama, vLLM и Open WebUI от несанкционированного доступа, утечки истории чатов и вредоносных весов моделей.
Эксперимент с реальными замерами памяти, скорости и качества на одинаковых заданиях.