Безопасность локального ИИ-сервера: изоляция сети, Reverse Proxy, TLS и аудит
Защищаем корпоративный узел Ollama, vLLM и Open WebUI от несанкционированного доступа, утечки истории чатов и вредоносных весов моделей.
Главная ошибка: открытый порт 11434 или 8000 на 0.0.0.0
Сканеры безопасности регулярно находят тысячи открытых в интернет серверов Ollama и vLLM без пароля. Поскольку эти сервисы изначально проектировались как локальные бэкенды, у них нет встроенного управления ролями пользователей и защиты от перебора.
Сетевая архитектура: Loopback + Reverse Proxy с авторизацией
Привязывайте сам движок инференса строго к 127.0.0.1 или внутренней Docker-сети без проброса портов наружу. Доступ сотрудников организуйте через защищённый фронтенд (Open WebUI с RBAC) либо через Nginx/Caddy с проверкой Bearer-токенов, mTLS и лимитами запросов.
# В systemd-оверрайде ollama.service:
Environment="OLLAMA_HOST=127.0.0.1:11434"
Environment="OLLAMA_ORIGINS=https://ai.internal.example.com"
# Проверка открытых сокетов:
ss -tulpn | grep -E '11434|8000|3000'Никогда не выставляйте OLLAMA_HOST=0.0.0.0 на сервере с публичным белым IP без межсетевого экрана.
Безопасность цепочки поставок моделей (GGUF vs Pickle)
Используйте форматы GGUF и Safetensors: в отличие от старых архивов PyTorch (.bin / .pt на базе модуля pickle), они содержат только тензоры и метаданные и не позволяют выполнить произвольный вредоносный код при загрузке файла.
Контроль исходящего трафика (Egress Filtering)
Чтобы гарантировать, что веб-интерфейс или плагин не подгружает внешние скрипты и не отправляет телеметрию, ограничьте исходящие соединения контейнера на уровне nftables/ufw только списком доверенных узлов во время обновления.
Шифрование хранилища истории диалогов и RAG
Помните, что база данных Open WebUI (`webui.db`) и векторный индекс содержат весь архив вопросов сотрудников и загруженных документов. Включите их в контур зашифрованного резервного копирования restic и разграничьте права доступа к каталогу данных.
Отметка поможет найти непрочитанное.