Локальные LLM / Coding IDE

Локальный ИИ-помощник для кода: подключение моделей к VS Code и JetBrains

Настраиваем расширение Continue.dev и локальные модели Qwen2.5-Coder / DeepSeek-Coder: разделяем тяжёлую модель для чата и быструю 1.5B–3B для автодополнения.

Зачем разделять модель чата и модель автодополнения (FIM)

Главный секрет комфортной работы с локальным кодовым ассистентом — использовать две разные модели. Для диалога, рефакторинга и объяснения архитектуры нужна модель 14B–32B, а для мгновенного автодополнения по клавише Tab (Fill-In-the-Middle) — сверхбыстрая специализированная модель 1.5B–3B со временем отклика до 150 мс.

Конфигурация Continue.dev в VS Code и JetBrains

Расширение Continue позволяет напрямую подключить локальный сервер Ollama или llama.cpp без отправки исходного кода во внешние облака.

КОМАНДНАЯ СТРОКА / КОНФИГУРАЦИЯ
{
  "models": [
    {
      "title": "Qwen 2.5 Coder 14B",
      "provider": "ollama",
      "model": "qwen2.5-coder:14b"
    }
  ],
  "tabAutocompleteModel": {
    "title": "Qwen 2.5 Coder 1.5B FIM",
    "provider": "ollama",
    "model": "qwen2.5-coder:1.5b-base"
  },
  "embeddingsProvider": {
    "provider": "ollama",
    "model": "nomic-embed-text"
  }
}

Для автодополнения Tab выбирайте base-версии кодовых моделей с поддержкой FIM-токенов.

Локальная индексация кодовой базы (@codebase)

Подключив локальную модель эмбеддингов (например, nomic-embed-text или bge-m3), вы можете задавать вопросы по всему проекту через контекст @codebase или прикреплять документацию через @docs.

Параллельная загрузка двух моделей в Ollama

Чтобы маленькая модель автодополнения не вытесняла большую модель чата из видеопамяти, задайте в сервисе Ollama переменную OLLAMA_MAX_LOADED_MODELS=2.

Проверка безопасности и сетевой изоляции

Убедитесь, что в настройках телеметрии плагина отключена отправка анонимной статистики (`allowAnonymousTelemetry: false`), если вы работаете в закрытом контуре.

МАТЕРИАЛ ПРОЙДЕН?

Отметка поможет найти непрочитанное.

← Локальные LLM
Продолжить тему

Читайте дальше

Смотреть все
128 материалов · 18 направлений · Esc — закрыть