Практика ИИ / AI Security

Защита от Prompt Injection: как обезопасить ИИ-ассистентов, читающих внешние письма и сайты

Почему любая модель, обрабатывающая недоверенный текст с правом вызова инструментов, уязвима к перехвату инструкций, и как выстроить эшелонированную защиту.

Прямые и косвенные (Indirect) инъекции промптов

Самый опасный вектор атаки возникает, когда корпоративный ассистент резюмирует внешнее письмо, резюме кандидата или веб-страницу, внутри которой скрытым шрифтом написана команда переслать данные наружу или вызвать API.

Архитектурное разделение данных и привилегий

Ни один системный промпт не даёт абсолютной защиты от инъекций. Безопасность обеспечивается на уровне кода: любое действие с внешним эффектом (отправка письма, удаление записи, перевод средств) должно требовать явного подтверждения человека (Human-in-the-Loop).

МАТЕРИАЛ ПРОЙДЕН?

Отметка поможет найти непрочитанное.

← Практика ИИ
Продолжить тему

Читайте дальше

Смотреть все
128 материалов · 18 направлений · Esc — закрыть