Направление / Локальные LLM

Локальные LLM

От точного расчёта видеопамяти и выбора квантования GGUF/AWQ до продакшен-кластеров на базе llama.cpp и vLLM, локальных помощников в IDE и закрытого контура безопасности.

Рекомендуемый маршрут изучения (11 статей)

01
Формула памяти локальных LLM: веса, контекст, KV-кэш и накладные расходы4 мин · Практика
02
Квантование GGUF, AWQ и EXL2: как выбрать баланс между Q4_K_M, Q5_K_M и Q8_04 мин · Практика
03
llama.cpp в продакшене: ключи запуска llama-server, Flash Attention и слоты5 мин · Практика
04
vLLM для команды: PagedAttention, батчинг и OpenAI-совместимый API на Linux5 мин · Практика
05
Железо для локальных LLM: выбор GPU, шина памяти, multi-GPU и охлаждение4 мин · Практика
06
Настройка Modelfile в Ollama: системные промпты, температура, num_ctx и шаблоны4 мин · Практика
07
Локальный ИИ-помощник для кода: подключение моделей к VS Code и JetBrains4 мин · Практика
08
Локальные эмбеддинги и реранкеры для русского языка: BGE-M3, E5 и гибридный поиск5 мин · Практика
09
Локальные мультимодальные модели (VLM): Qwen2.5-VL и Llama-Vision для схем и сканов4 мин · Практика
10
Безопасность локального ИИ-сервера: изоляция сети, Reverse Proxy, TLS и аудит5 мин · Практика
11
Локальный ИИ на своём компьютере: что получится на вашем железе5 мин · Практика

Все материалы раздела

128 материалов · 18 направлений · Esc — закрыть