Локальный ИИ на своём компьютере: что получится на вашем железе
Эксперимент с реальными замерами памяти, скорости и качества на одинаковых заданиях.
Чего реально ждать от домашнего и рабочего ПК без серверных ускорителей
Вокруг локальных моделей много крайностей: одни считают, что без стойки за миллион рублей ничего не запустится, другие ждут от модели 7B на ноутбуке уровня флагманского облачного кластера. На практике всё определяется объёмом доступной видеопамяти (VRAM) и пропускной способностью памяти.
Три типовых класса оборудования и их потолок
1. **Офисный ПК или ноутбук без дискретной GPU (16–32 ГБ RAM)**: комфортно работают модели 3B–8B в квантовании Q4_K_M со скоростью 8–18 токенов/с — достаточно для суммаризации заметок, перевода и простых шаблонов. 2. **Игровая/рабочая видеокарта с 12–16 ГБ VRAM**: золотая середина для моделей 8B–14B (Qwen 2.5 14B, Llama 3.1 8B) целиком в видеопамяти со скоростью 45–85 токенов/с. 3. **Рабочая станция с 24 ГБ VRAM или Apple Silicon 32–64 ГБ**: уверенно тянет серьёзные модели 27B–32B в Q4/Q5 с контекстом 16K–32K токенов, пригодные для сложного кода, локального RAG и анализа логов.
Методика честного эксперимента на своём компьютере
Не оценивайте модель вопросом «привет, как дела». Соберите фиксированный стенд из 5 реальных рабочих задач: извлечь таблицу в строгий JSON, найти ошибку в конфигурационном файле Nginx, написать Bash-скрипт резервного копирования, кратко резюмировать длинный регламент и ответить строго по тексту со ссылкой на пункт.
# Запуск модели в Ollama с выводом точной статистики времени и скорости:
ollama run qwen2.5:14b --verbose "Разбери лог и выдели 3 причины тайм-аута..."
# В конце ответа обратите внимание на строки:
# prompt eval rate: ... tokens/s (скорость чтения вашего документа)
# eval rate: ... tokens/s (скорость генерации ответа)Если eval rate падает ниже 8–10 токенов/с, проверьте через ollama ps — скорее всего, модель не поместилась в VRAM и часть слоёв выгрузилась в системную ОЗУ.
Два главных показателя скорости: Prompt Eval и Generation
Инженеры часто смотрят только на скорость появления букв ответа (`eval rate`), забывая про скорость чтения входного промпта (`prompt eval rate`). На процессоре (CPU) генерация короткого ответа может быть терпимой, но чтение документа на 10 000 токенов перед первым словом ответа займёт несколько минут, тогда как дискретная GPU прочитает его за 2–4 секунды.
Вывод по итогам замеров
Локальная модель 14B–32B на одной видеокарте отлично закрывает 80% ежедневной рутины с конфиденциальными данными, логами и кодом, позволяя обращаться к большим облачным моделям только для редких обезличенных архитектурных задач.
Отметка поможет найти непрочитанное.