Локальный ИИ с Ollama: первый запуск и границы приватности
Как начать с небольшой локальной модели, проверить ресурсы и не открыть API всему интернету.
Локальные модели, GPU, RAG, агенты и проверка качества. Материалы выстроены от основных понятий к рабочему решению. Примеры — учебные, а критерии проверки помогут адаптировать их к своей задаче.
Как начать с небольшой локальной модели, проверить ресурсы и не открыть API всему интернету.
Что входит в рабочий контур чатов и почему резервировать нужно больше, чем контейнер.
Оригиналы, фрагменты, эмбеддинги и ссылки на источники: собираем понятную базу знаний.
Как сравнить аренду ускорителя и API, не сводя выбор к числу гигабайт видеопамяти.
Как дать помощнику доступ к данным и действиям, сохранив понятные границы рабочего процесса.
Проверяем промпты, модели и RAG на повторяемом наборе рабочих задач.
Как объединить локальные серверы Ollama/vLLM и облачные API за единой точкой входа с персональными ключами сотрудников и учётом бюджета.
Сравниваем индексы HNSW, фильтрацию по метаданным, потребление оперативной памяти и стоимость сопровождения векторных БД.
Как отслеживать стоимость каждого шага агента, находить причины медленных ответов и собирать датасеты из реальных ошибок в продакшене.
Собираем надёжную контейнерную среду для Ollama, vLLM, Open WebUI и Qdrant с разделением сетей, проверкой здоровья (healthcheck) и бэкапами.
Развенчиваем миф о том, что Fine-Tuning заменяет базу знаний, и разбираем случаи, где LoRA-адаптер даёт кратную экономию токенов.
Понятное объяснение RAG, ссылки на исходные страницы и примеры ошибок поиска.
Архитектура, разграничение пользователей, память, лимиты расходов и управление данными.