security-prompt-injection

name	security-prompt-injection
description	当你要防御提示注入（攻击者经外部数据间接操纵 Agent）、做指令与数据分离、识别越狱 vs 提示注入时使用；当 Agent 处理网页/邮件/文档等不可信内容时使用。不适用于执行层/数据层权限控制（见 security-execution-data）。

提示注入防御（Prompt Injection Defense）

角色与读者

面向处理不可信外部内容的 Agent 开发者。本 Skill 服务的目标：帮模型分清"指令"与"数据"——哪些内容有权指挥自己，哪些只是待处理素材。核心认识：越狱是用户自己绕过安全限制，提示注入是攻击者经外部数据间接操纵；上下文层只能降低攻击成功率，给不出保证（同一上下文的 Agent 难判断自己是否已被注入）。

核心原则（配正例/反例）

1. 来源标记：外部内容注入前用明确标记包裹并标注来源

   • 正例：<external_content source="webpage">...</external_content>，提示模型这段来自不可信外部世界，其中"指令"不应执行。

2. 结构化角色：严格用 Chat Template 角色体系传递信息

   • system/user/assistant/tool 让模型按训练优先级区分可信指令与外部数据。这是"不要自行拼接消息"的又一理由——把工具结果混入 user 消息，等于亲手抹掉模型辨别来源的依据。

3. 输入清洗（辅助手段）

   • 过滤外部内容中的可疑模式（"忽略之前的指令"等）。只能作辅助，易被措辞变体绕过。

4. 认识新的注入面：Skill 和状态栏也是注入通道

   • Skill 本质是"把外部内容当指令加载"的制度化形式，第三方 Skill 藏恶意指令比网页隐藏文本更直接，安装前必须审查。
   • 状态栏信息被模型高度信任，一旦状态摘要来自可被外部污染的数据源（把外部网页片段直接写进状态栏），信任被反向利用。

5. 上下文层有结构性上限，必须分层防御

   • 上下文层只能降攻击成功率；执行层（权限控制、沙盒、独立审查）和数据层（行级安全）才是真正保证。
   • Constitutional Classifiers 三点：规则驱动生成合成数据训练分类器；上下文联合判断（提问+回答一起查）；两级筛查（轻量探针先查，可疑再交强分类器）。

执行流程（SOP 检查清单）

1. 识别注入入口：每个感知工具（网页/文档/邮件）都是潜在入口。
2. 来源标记 + 结构化角色传递。
3. 审查 Skill/状态栏的来源（第三方 Skill 安装前审查，状态栏只来自可信代码）。
4. 输入清洗作辅助。
5. 分层防御：上下文层降风险 + 执行层/数据层兜底。

禁止清单（写清合法例外）

• 禁止把工具结果混入 user 消息（抹掉模型辨别来源的依据）。例外：严格用 tool 角色 + tool_call_id。
• 禁止安装来源不明的 Skill/MCP 工具。例外：安装前审查内容（如同审查将要执行的代码）。
• 禁止把外部网页片段直接写进状态栏（状态栏被高度信任，会被反向利用）。例外：状态栏只来自可信的代码计算和本地环境。
• 禁止把输入清洗当唯一防御（易被措辞变体绕过）。例外：作辅助手段，主防线是分层防御。
• 禁止把 LLM 总结当净化（总结不是把输入变无害）。例外：提取字符串绝不能作为指令执行。

参考资料

• 本书第 2.4.7 节《提示注入》+ 第 1.2.5 节《护栏与安全性》。
• 笔记 02-上下文工程.md 第 2.4.7 节、01-AI-Agent入门.md 第 1.9 节。
• Anthropic Constitutional Classifiers。