Инфраструктура ИИ / Docker GPU

Эталонный Docker Compose стек для ИИ: NVIDIA Container Toolkit, тома, сети и автообновление

Собираем надёжную контейнерную среду для Ollama, vLLM, Open WebUI и Qdrant с разделением сетей, проверкой здоровья (healthcheck) и бэкапами.

Правильная проброска GPU и фиксация версий образов

Настройте `nvidia-container-toolkit` и явно указывайте секцию `deploy.resources.reservations.devices` в `compose.yaml`. Никогда не используйте плавающий тег `:latest` в боевом контуре без предварительной проверки на тестовом стенде — обновление фронтенда может изменить схему БД.

МАТЕРИАЛ ПРОЙДЕН?

Отметка поможет найти непрочитанное.

← Инфраструктура ИИ
Продолжить тему

Читайте дальше

Смотреть все
AI / INFRASTRUCTURETRACE
Инфраструктура ИИ

Наблюдаемость ИИ-систем (LLM Observability): трейсинг промптов, задержек и качества с Self-Hosted Langfuse

Как отслеживать стоимость каждого шага агента, находить причины медленных ответов и собирать датасеты из реальных ошибок в продакшене.

4 МИН ЧТЕНИЯЧитать
128 материалов · 18 направлений · Esc — закрыть