Локальные LLM / SecOps

Безопасность локального ИИ-сервера: изоляция сети, Reverse Proxy, TLS и аудит

Защищаем корпоративный узел Ollama, vLLM и Open WebUI от несанкционированного доступа, утечки истории чатов и вредоносных весов моделей.

Главная ошибка: открытый порт 11434 или 8000 на 0.0.0.0

Сканеры безопасности регулярно находят тысячи открытых в интернет серверов Ollama и vLLM без пароля. Поскольку эти сервисы изначально проектировались как локальные бэкенды, у них нет встроенного управления ролями пользователей и защиты от перебора.

Сетевая архитектура: Loopback + Reverse Proxy с авторизацией

Привязывайте сам движок инференса строго к 127.0.0.1 или внутренней Docker-сети без проброса портов наружу. Доступ сотрудников организуйте через защищённый фронтенд (Open WebUI с RBAC) либо через Nginx/Caddy с проверкой Bearer-токенов, mTLS и лимитами запросов.

КОМАНДНАЯ СТРОКА / КОНФИГУРАЦИЯ
# В systemd-оверрайде ollama.service:
Environment="OLLAMA_HOST=127.0.0.1:11434"
Environment="OLLAMA_ORIGINS=https://ai.internal.example.com"

# Проверка открытых сокетов:
ss -tulpn | grep -E '11434|8000|3000'

Никогда не выставляйте OLLAMA_HOST=0.0.0.0 на сервере с публичным белым IP без межсетевого экрана.

Безопасность цепочки поставок моделей (GGUF vs Pickle)

Используйте форматы GGUF и Safetensors: в отличие от старых архивов PyTorch (.bin / .pt на базе модуля pickle), они содержат только тензоры и метаданные и не позволяют выполнить произвольный вредоносный код при загрузке файла.

Контроль исходящего трафика (Egress Filtering)

Чтобы гарантировать, что веб-интерфейс или плагин не подгружает внешние скрипты и не отправляет телеметрию, ограничьте исходящие соединения контейнера на уровне nftables/ufw только списком доверенных узлов во время обновления.

Шифрование хранилища истории диалогов и RAG

Помните, что база данных Open WebUI (`webui.db`) и векторный индекс содержат весь архив вопросов сотрудников и загруженных документов. Включите их в контур зашифрованного резервного копирования restic и разграничьте права доступа к каталогу данных.

МАТЕРИАЛ ПРОЙДЕН?

Отметка поможет найти непрочитанное.

← Локальные LLM
Продолжить тему

Читайте дальше

Смотреть все
128 материалов · 18 направлений · Esc — закрыть