Защита от Prompt Injection: как обезопасить ИИ-ассистентов, читающих внешние письма и сайты
Почему любая модель, обрабатывающая недоверенный текст с правом вызова инструментов, уязвима к перехвату инструкций, и как выстроить эшелонированную защиту.
Прямые и косвенные (Indirect) инъекции промптов
Самый опасный вектор атаки возникает, когда корпоративный ассистент резюмирует внешнее письмо, резюме кандидата или веб-страницу, внутри которой скрытым шрифтом написана команда переслать данные наружу или вызвать API.
Архитектурное разделение данных и привилегий
Ни один системный промпт не даёт абсолютной защиты от инъекций. Безопасность обеспечивается на уровне кода: любое действие с внешним эффектом (отправка письма, удаление записи, перевод средств) должно требовать явного подтверждения человека (Human-in-the-Loop).
Отметка поможет найти непрочитанное.