Настройка Modelfile в Ollama: системные промпты, температура, num_ctx и шаблоны
Почему Ollama по умолчанию обрезает контекст до 2048 токенов и как собрать собственный воспроизводимый профиль модели под задачи компании.
Скрытая ловушка дефолтного контекста (2048 токенов)
Даже если скачанная вами модель поддерживает контекст 32К или 128К токенов, Ollama по умолчанию выставляет параметр num_ctx равным 2048 для экономии видеопамяти. В результате при загрузке длинного лога или документа начало текста незаметно отбрасывается.
Создаём кастомный Modelfile с фиксированным контекстом
Чтобы закрепить нужный размер окна контекста, температуру и системную роль, создайте текстовый файл Modelfile и соберите на его основе локальный тег.
FROM qwen2.5:14b
PARAMETER num_ctx 16384
PARAMETER temperature 0.2
PARAMETER top_p 0.9
SYSTEM """
Ты — старший системный инженер. Отвечай кратко, приводи проверенные команды Linux и предупреждай о рисках потери данных.
"""Соберите профиль командой: ollama create sysadmin-qwen -f ./Modelfile
Как подобрать температуру и параметры сэмплирования
Для генерации кода, SQL-запросов, JSON-схем и анализа логов устанавливайте temperature в диапазоне 0.1–0.3. Для мозгового штурма и редактуры текстов — 0.6–0.7. При использовании современных семейств Qwen и Llama 3 также полезен параметр min_p 0.05.
Управление временем выгрузки из памяти (keep_alive)
По умолчанию модель выгружается из VRAM через 5 минут простоя. Если вы используете локальную LLM в автоматизации или внутреннем боте, передайте keep_alive: -1 в API или задайте переменную окружения OLLAMA_KEEP_ALIVE=24h.
Версионирование профилей в Git
Храните файлы Modelfile в корпоративном репозитории вместе с примерами проверочных запросов — это гарантирует, что после обновления сервера поведение ассистента останется предсказуемым.
Отметка поможет найти непрочитанное.