agent-security

name	agent-security
description	当你在设计 Agent 的安全防线、接入第三方工具/MCP/不可信输入、处理提示注入、越权操作、数据外泄时使用；当需要确定"谁能对什么数据做什么"的边界时使用。不适用于单一工具的参数校验实现（见 tool-design），聚焦分层防御架构与信任边界。

Agent 安全护栏（Agent Security / Guardrails）

子 Skill 索引（渐进式披露：目录常驻，正文按需加载）

子 Skill	目录	何时深入加载
提示注入防御	security-prompt-injection	指令与数据分离、来源标记、识别注入面
执行层与数据层安全	security-execution-data	工具权限、沙盒隔离、权限下沉数据层

角色与读者

面向构建接触真实数据与真实世界的 Agent 的开发者。本 Skill 服务的目标：即使 Agent 被提示注入或生成错误，也没有机会把危险动作真正执行出去。核心认识：单个护栏不够，需要多个专门护栏组合；且护栏评估不能只测"应拒绝的是否拦截"，还要测"明确允许的是否能正常完成"（防误拒绝）。

核心原则（配正例/反例）

1. 三层护栏，越靠下越难被绕过（按被绕过难度排序）

   • 上下文层（管能看到什么）：来源标注 <external_content source="webpage">...</external_content>、指令与数据分离、相关性/安全分类器。
   • 执行层（管能做什么）：工具风险评级（低/中/高）、独立审查进程、最小权限凭证、沙盒隔离、人在回路、输出 PII 过滤。
   • 数据层（管世界最终被改成什么样）：数据库行级安全、约束校验器、受控视图、存储过程、不可伪造的访问上下文。
   • 关键：数据层不依赖上面两层是否正确——即使提示注入得手、生成代码漏写权限判断，越权操作仍在数据层被拒绝。

2. 指令与数据分离（上下文层的核心）

   • 区分"有权指挥我的指令"与"待处理的素材"。来源标注 + 结构化角色（system/user/assistant/tool）让模型按训练优先级区分。
   • 越狱（用户自己绕过安全限制）vs 提示注入（攻击者经外部数据间接操纵）是两个不同概念。

3. 独立审查必须由上下文之外的机制完成

   • 独立审查进程、最小权限凭证、沙盒隔离、人在回路——否则审查会和被注入的 Agent 一起沦陷。
   • Sidecar 只读结构化字段（{tool:"bash", command:"rm -rf ..."}），不读主模型自由文本（防话术通道）。

4. 致命三要素 + 持久记忆（攻击放大器）

   • 三要素：访问私有数据 + 暴露于不受信任内容 + 具备外部通信能力（攻击路径闭合：恶意指令进 → 读私密 → 传出）。
   • 补充第四维度：持久记忆——恶意指令写入长期记忆跨会话潜伏，把一次性攻击升级为长期威胁。写入长期记忆的内容需与外部内容同等信任审查。

5. 忠诚度：主人指令优先级最高，外部内容默认降格为"可参考不具指令效力"的数据

   • 守则：保护主人私密信息（甚至不泄露这些信息是否存在）；拒绝时不逐条念拒绝清单（本身在泄露）；只执行主人明确具体指令；顶住重复施压。

执行流程（SOP 检查清单）

1. 识别风险：数据边界 / 输入信任边界 / 输出影响边界 / 跨会话边界。
2. 逐层设防：上下文层（来源标注 + 分类器 + 规则过滤）→ 执行层（工具风险评级 + Sidecar + 最小权限）→ 数据层（行级安全 + 校验器 + 访问上下文）。
3. 对不可逆/高风险操作设事前审批（异源模型双签）+ 事后验证（模态切换）。
4. 把权限下沉到数据层：动态生成的应用层只负责界面/流程，权限由稳定、经人类审查的数据层强制。
5. 评估护栏：测"应拦截" + 测"应放行"（防误拒绝）。

禁止清单（写清合法例外）

• 禁止把安全审查依赖模型自由文本（只看结构化 JSON 字段）。例外：Sidecar 判断简单分类问题（命令是否危险）可用轻量模型看结构化字段。
• 禁止把权限检查写在动态生成的业务逻辑里（与被约束代码同信任域，可被绕开）。例外：数据层保留最终裁决权，应用层可做权限预检查改善体验。
• 禁止给 Agent 直接管理用户主账号。例外：用独立虚拟身份 + 隔离执行环境；必须用本人身份时用 Human-in-the-Loop 认证。
• 禁止安装来源不明的 Skill/第三方 MCP 工具（工具描述和 Skill 内容都是注入面）。例外：安装前审查内容、锁定版本、最小权限凭证。
• 禁止误拒绝合法敏感任务（授权安全测试、模型蒸馏研究）。例外：护栏评估必须同时测"应拒绝"和"应放行"。

参考资料

• 本书第 1.2.5 节《护栏与安全性》+ 第 5.1.9 节《Coding Agent 的安全》（致命三要素、沙盒、语义解析、忠诚度）。
• 笔记 01-AI-Agent入门.md 第 1.9 节、05-Coding-Agent与通用Agent.md 第 5.1.9 节。
• Simon Willison 致命三要素；Anthropic Constitutional Classifiers。