Session 14: agent security — who actually guarantees safety?
Agent 能调用工具、读取网页、访问数据库、执行代码,也能根据中间结果不断决定下一步做什么。这些能力让它可以完成复杂任务,同时也增加了风险。一次提示词注入,可能就会导致文件泄露、越权操作或失控的外部请求。
讨论 Agent Security,不能只考虑用户输入是否有害、模型输出是否合规。真正需要梳理的是:有哪些安全风险,应该在哪个执行阶段处理,由什么机制负责,以及当检测失效时,系统是否仍然安全。
本文以 Python 和 LangGraph 为主要实现背景,讨论 Agent 的安全分类、设计原则、拦截位置、工程方案和第三方工具。需要先说明:LangGraph 主要提供工作流编排、状态管理和中断恢复等能力,它本身并不是一套开箱即用的完整安全产品。实际安全控制还需要程序代码、工具实现、权限系统和运行环境共同完成。
一、Agent 安全问题怎么分类?
可以按风险发生的位置和产生的后果来划分。各类别之间会有交集,例如提示词注入可能进一步导致敏感信息泄露;分类的目的是帮助定位防护措施,而不是给每个攻击贴上唯一标签。
1. 输入与提示词注入
典型场景:
- 用户直接要求模型忽略原有规则、泄露系统提示词或发送 API Key。
- 搜索到的网页、PDF、邮件或知识库文档中藏有指令,要求 Agent 调用特定工具。
- 用户通过多轮对话逐渐诱导 Agent 绕过限制。
- 恶意输入利用过长文本、特殊格式或编码方式,干扰模型判断。
这里需要区分直接提示词注入和间接提示词注入。直接注入来自用户输入;间接注入藏在 Agent 读取的外部内容中。只检查用户最初的输入,无法覆盖后者。
2. 敏感信息泄露
典型场景:
- 模型将 API Key、环境变量、内部提示词或其他用户的数据输出给当前用户。
- 恶意网页诱导 Agent 将本地文件内容发送到外部地址。
- 调试日志、Trace、异常堆栈或模型请求记录意外保存密钥和个人数据。
- 多用户系统中,一个用户读取了另一个用户的会话、记忆或检索结果。
3. 工具越权与危险操作
典型场景:
- 模型提出删除文件、修改数据库、发送邮件或发布文章的操作。
- 用户本身没有某项权限,但通过 Agent 间接调用了相关工具。
- 工具的参数被模型错误生成,导致操作对象、范围或接收方不正确。
- MCP Server 或第三方工具获得超出任务所需的权限。
4. 代码执行与运行环境风险
典型场景:
- Agent 生成 Python 或 Shell 代码并直接执行。
- 代码读取工作目录以外的文件、访问环境变量、启动子进程或连接外部网络。
- 恶意代码消耗大量 CPU、内存或磁盘空间。
- 文件路径穿越、符号链接或其他边界问题让文件操作逃出允许目录。
5. 资源消耗与失控循环
典型场景:
- Agent 反复调用工具,迟迟不能完成任务。
- 工具失败后不断重试,放大故障或外部 API 费用。
- 长上下文、过多模型调用或并发任务导致成本激增。
- 用户高频请求占满模型配额、工具服务或运行资源。
这类问题同时属于安全、可靠性和成本控制。无论动机是恶意攻击还是模型自身的循环失控,都需要硬性的资源预算。
6. 数据、状态与多用户隔离
典型场景:
- 一个用户的 Memory、Checkpoint 或会话历史被另一个用户读取。
- 恶意指令进入长期记忆或知识库,影响之后的任务。
- 恢复任务时,系统加载了错误用户、错误租户或不可信的旧状态。
- 检索结果包含不应被当前用户访问的数据。
7. 供应链与外围系统风险
典型场景:
- 安装的 Python 包、Skill、插件或 MCP Server 含有恶意代码。
- 第三方服务被入侵,或工具描述、配置在运行时被替换。
- Agent 被诱导访问内网地址、云元数据端点或不应访问的管理接口。
- 安全检测服务不可用,但主流程仍然无条件放行。
二、Agent 安全的核心设计原则
1. Prompt 不是权限系统
System Prompt 可以告诉模型“不要泄露密钥”“不要删除数据库”,但它无法保证模型每次都遵守,也无法阻止其他调用路径绕过模型。
模型是根据上下文生成决策的组件,不应该成为唯一的安全边界。真正的权限必须由程序和下游系统验证。
例如,数据库工具使用只读账号,就能从权限层面限制删除操作。即使模型提出了 DELETE 语句,数据库账号也没有权限执行它。这比单纯在提示词中写一句“禁止删除数据”更可靠。
2. 最小权限
每个 Agent、用户和工具只获得完成当前任务所需的权限。
Research Agent 如果只需要搜索网页、读取用户提供的文件和生成报告,就不应该默认拥有 Shell、任意文件读写、数据库写入和邮件发送权限。暂时用不到的能力,不要提前开放。
3. 不可信内容不能自动升级为指令
网页、PDF、邮件、检索结果和工具返回内容都可能包含恶意指令。Agent 可以把它们当作研究材料,但不能因为它们出现在上下文中,就允许它们修改系统策略或取得额外权限。
4. 在实际执行边界实施控制
风险检查要放在能够阻止危险动作的位置。
- 输入检测可以拦截一部分明显恶意请求。
- 模型输出检测可以发现部分违规内容。
- Tool 执行前的授权检查可以阻止未授权操作。
- 数据库、文件系统和网络出口的权限控制可以限制实际影响。
- 沙箱可以限制代码执行的能力和资源。
这些措施各自解决不同的问题,不能互相替代。
5. 高风险操作需要独立的审批机制
删除数据、批量修改记录、向外部发送敏感内容、公开发布文章等操作,可以按风险要求人工审批。是否需要审批应由程序根据操作类型、权限和风险策略决定,不应该让模型自行决定是否需要审批。
人工确认也不能替代权限检查。确认界面需要清楚展示实际操作对象、范围和后果,防止模型在审批后悄悄改变参数。
6. 默认限制资源,并为失败设计关闭策略
工具调用次数、模型调用次数、执行时长、重试次数和费用都应该有上限。安全检测服务不可用时,也要预先决定是拒绝高风险操作、进入受限模式,还是在明确可接受的情况下继续低风险任务。
三、不同风险应该在哪一层解决?
安全方案要从具体场景出发,确定拦截时机和真正执行控制的组件。
| 场景 | 建议检查位置 | 主要方案 | 不能只依赖什么 |
|---|---|---|---|
| 用户要求泄露 Key | 输入检测;敏感数据访问和外发边界 | 规则、安全分类器、密钥隔离、外发策略 | 只在 Prompt 中禁止 |
| 网页中包含恶意指令 | 获取外部内容后、模型处理期间及工具执行前 | 将外部内容标记为不可信、注入检测、工具权限限制 | 只检查用户最初的输入 |
| 模型请求删除数据库记录 | Tool 执行前;数据库权限层 | 操作白名单、用户授权、参数校验、只读账号、事务或审批 | 只检查模型生成的文本 |
| 模型生成 Shell 或 Python 代码 | 代码执行前和执行环境内部 | 静态检查、沙箱、文件/网络权限、资源限制 | 仅靠关键词过滤 |
| Agent 循环调用工具 | Agent 运行时和工具调度层 | 最大步数、调用预算、超时、重试上限、速率限制 | 让模型自行判断何时停止 |
| 模型输出违规内容 | 最终输出前;必要时在关键中间节点 | 规则检查、内容分类器、敏感信息扫描、人工审核 | 只检查用户输入 |
| 多用户数据串用 | 身份验证、状态存取、检索和工具执行层 | 按用户/租户隔离状态、服务端授权、数据访问控制 | 仅靠会话 ID 或 Prompt |
| MCP 工具过度授权 | 工具注册、调用前和下游服务 | 工具白名单、最小权限凭据、参数校验、审计 | 只相信工具描述或模型判断 |
1. 输入检测:规则、小模型与安全服务如何组合?
输入检测可以先用程序规则处理确定性问题,例如请求长度、格式、用户身份、调用频率和明确禁止的操作。需要语义理解时,再考虑分类模型或专门的安全检测服务。
专门的检测模型可以识别一部分提示词注入、越狱或不合规内容,但检测结果存在误报和漏报。它适合作为防线之一,不应该被当成安全保证。
对敏感信息尤其要注意:最可靠的方式通常是避免把密钥放进模型可见的上下文。工具可以在服务端读取所需凭据,模型只提供经过校验的业务参数。
2. 工具执行前:把授权检查放在工具真正执行的位置
假设模型提出一个删除数据库记录的调用。此时应该检查当前用户是否有权限、操作是否允许、目标记录是否在授权范围内,以及是否需要人工确认。校验通过后,工具再通过权限受限的数据库账号执行操作。
一个简化的 Python 结构如下:
from typing import Any
ALLOWED_ACTIONS = {
"search_web",
"read_document",
"generate_report",
}
def execute_tool(
action: str,
args: dict[str, Any],
user_id: str,
):
if action not in ALLOWED_ACTIONS:
raise PermissionError(f"Action not allowed: {action}")
validate_user_permission(user_id, action, args)
validate_arguments(action, args)
return dispatch_tool(action, args, user_id)
这里的 validate_user_permission、validate_arguments 和 dispatch_tool 是项目需要实现的函数,不是 Python 或 LangGraph 自带的 API。实际系统还应确保工具无法通过其他路径绕过这个入口,并在数据库、文件服务等下游系统继续实施权限检查。
3. 代码执行:静态检查不能替代沙箱
静态分析可以检查危险导入、可疑函数调用和已知违规模式,但无法证明任意代码安全。仅靠屏蔽 eval、subprocess 等关键词也不可靠,因为代码可以使用其他方式达到类似效果。
真正执行模型生成的代码时,应优先考虑独立的受限环境,并按风险限制:
- 可读写的目录和文件类型。
- 是否允许网络访问,以及可以访问哪些地址。
- 可用的系统调用、进程权限和凭据。
- CPU、内存、磁盘、执行时长和进程数量。
如果业务只是搜索资料和写文章,初期最好不提供任意代码执行能力。减少不必要的工具,本身就是有效的安全措施。
4. 资源限制:防止失控调用和费用增长
可以为每个任务设置最大模型调用次数、工具调用次数、总 Token 预算、运行时间和费用上限。每个工具也应有自己的超时、重试上限和并发限制,同时设置用户级和全局速率限制。
这些限制应由程序强制执行。模型可以被提示尽快完成任务,但它不能负责决定自己的预算是否已经用尽。
四、LangGraph 中如何落地?
LangGraph 可以把安全检查组织成图中的节点、条件分支和人工中断;如果使用 LangChain 的高层 Agent API,也可以结合其 Middleware 机制。但要区分框架负责的流程编排与应用自身的安全策略。
一个简化的 Research Agent 流程可以表示为:
START
|
v
输入校验与风险检测
|
v
Agent / LLM 决策
|
v
工具调用请求
|
v
工具权限与参数检查
|
+---- 不允许 ----> 拒绝 / 记录审计事件
|
+---- 需要审批 --> 暂停并等待人工确认
| |
| v
| 再次校验并执行
|
+---- 允许 ------> 执行工具
|
v
检查工具结果
|
v
返回 Agent
|
v
最终输出检查
|
v
END
1. Node 和条件边
输入检查、风险分类、输出检查都可以做成独立节点;条件边根据检查结果路由到继续执行、拒绝、重试或人工审核等分支。
不过,图里有一个安全检查节点,并不意味着所有工具调用都会经过它。开发者必须检查整张图的调用路径,确保没有其他节点能绕过安全检查直接执行工具。
2. ToolNode、自定义工具与 Middleware
可以在工具实现内部进行参数验证和权限检查,也可以通过统一的工具包装器实现公共策略。使用高层 Agent API 时,可以考虑 Middleware 统一处理工具调用前后逻辑。
无论选择哪种方式,都应该把关键授权放在实际执行边界,而不是只放在模型生成工具调用之前。下游服务仍需检查权限,避免 Agent 之外的调用路径绕过保护。
3. interrupt() 与人工审批
对高风险操作,可以在工具执行前暂停工作流,展示操作详情并等待人工审批。LangGraph 的中断与持久化能力可用于暂停和恢复工作流。
审批恢复后仍应重新校验权限和操作参数。不能把“曾经有人批准过”理解成后续所有操作都可以直接执行。
4. Checkpoint、状态和日志
Checkpoint 能支持任务恢复,但持久化状态本身也需要保护。应确保状态按用户或租户隔离,限制读取权限,谨慎保存敏感数据,并考虑恶意内容进入长期状态后影响后续任务的风险。
日志与 Trace 同样需要脱敏。调试信息不应无意中保存 API Key、认证头、完整个人资料或不必要的模型上下文。
五、第三方安全方案能解决什么?
第三方方案可以补充检测、测试、隔离和应用安全能力,但不存在一个工具可以单独解决全部 Agent 安全问题。
1. 提示词注入与内容安全检测
Microsoft Azure AI Content Safety / Prompt Shields 可以用于检测一部分直接提示词攻击和来自文档、网页等外部内容的间接提示词注入。它提供的是检测能力,不能代替工具授权、敏感信息隔离或沙箱。
如果采用外部安全服务,应评估数据是否需要发送给第三方、服务不可用时如何处理,以及检测误报和漏报对业务的影响。
2. Agent 安全测试与红队评估
PyRIT(Python Risk Identification Toolkit for generative AI) 是微软开源的生成式 AI 风险识别工具,可用于组织红队测试、设计攻击样例和评估系统响应。它更适合帮助发现漏洞、验证防护,不是生产环境中每次工具调用的权限拦截器。
测试应覆盖直接与间接提示词注入、敏感信息泄露、工具越权、拒绝机制绕过和资源消耗等场景。
3. 应用与供应链安全
常见的应用安全工具可以补充 Agent 项目中的传统安全工作:
- SAST:检查源代码中的潜在漏洞。
- 依赖漏洞扫描:发现 Python 包和其他依赖中的已知漏洞。
- 密钥扫描:发现意外提交到仓库的凭据。
- DAST:从外部测试运行中的应用。
- 日志与审计系统:帮助追踪谁在何时触发了什么操作。
这些工具并不专门理解 Agent 的所有行为,但依然是完整安全方案的一部分。
4. 沙箱与受限执行环境
当 Agent 需要执行代码或命令时,可以考虑容器、专用沙箱或其他受限执行环境。选型时应检查网络访问、文件系统隔离、权限边界、资源限制和环境销毁机制,而不能只看它是否声称支持“安全执行”。
5. LangGraph 自身与外围能力的边界
LangGraph 主要负责把应用流程组织起来,包括状态、条件分支和中断恢复。LangChain 的高层 Agent API 及其 Middleware 可以帮助统一实现部分调用前后逻辑。具体权限、内容检测、密钥管理和运行环境隔离,仍然要由应用代码、第三方服务或基础设施负责。
选择方案时,应逐项核对实际版本的官方文档和能力边界,不要因为某个框架支持 Tool、MCP 或 Human-in-the-Loop,就认为它已经提供了完整安全机制。
六、设计 Agent 安全时的检查清单
开始实现前,可以先逐项确认:
- 输入长度、用户身份和请求频率有程序级限制。
- 外部网页、文档、检索结果和工具返回值按不可信数据处理。
- API Key 等凭据不会无必要地进入模型上下文。
- 每个工具有明确的用途、参数约束和权限范围。
- 高风险操作在实际执行前进行授权检查。
- 数据库、文件系统和外部服务也实施自己的权限控制。
- 任意代码执行受到沙箱、网络策略和资源限制保护。
- 模型调用、工具调用、重试、循环次数和费用均有硬上限。
- 多用户的会话、Checkpoint、Memory 和检索结果相互隔离。
- 高风险操作有清晰的人工审批机制和审计记录。
- 日志、Trace 和异常信息经过必要的敏感数据脱敏。
- 对提示词注入、越权、泄露和资源消耗有持续的安全测试。
- 安全服务失效时,系统会按风险等级采取明确的降级或拒绝策略。
总结
Agent 安全不是在模型前后各加一个分类器就能完成的。检测模型可以识别一部分风险,Prompt 可以约束模型行为,LangGraph 可以组织安全流程;但真正决定系统能否删除数据、读取文件、访问网络和发送信息的,仍然是程序权限、下游授权和运行环境的控制。
对于 Research Agent 或公众号写作 Agent,比较务实的起点是:先限制工具能力和数据访问范围,再给每个工具建立统一的参数校验与权限检查,为高风险操作增加人工审批,并对调用次数、执行时间和费用设置硬限制。等这些基础边界清楚后,再根据实际威胁引入专门的检测服务、安全测试工具和沙箱。