Session 14: agent security — who actually guarantees safety?

Agent 能调用工具、读取网页、访问数据库、执行代码,也能根据中间结果不断决定下一步做什么。这些能力让它可以完成复杂任务,同时也增加了风险。一次提示词注入,可能就会导致文件泄露、越权操作或失控的外部请求。

Originally in ChineseThis article was written in Chinese. The body below is the Chinese original; the English translation is not available yet.

讨论 Agent Security,不能只考虑用户输入是否有害、模型输出是否合规。真正需要梳理的是:有哪些安全风险,应该在哪个执行阶段处理,由什么机制负责,以及当检测失效时,系统是否仍然安全。

本文以 Python 和 LangGraph 为主要实现背景,讨论 Agent 的安全分类、设计原则、拦截位置、工程方案和第三方工具。需要先说明:LangGraph 主要提供工作流编排、状态管理和中断恢复等能力,它本身并不是一套开箱即用的完整安全产品。实际安全控制还需要程序代码、工具实现、权限系统和运行环境共同完成。

一、Agent 安全问题怎么分类?

可以按风险发生的位置和产生的后果来划分。各类别之间会有交集,例如提示词注入可能进一步导致敏感信息泄露;分类的目的是帮助定位防护措施,而不是给每个攻击贴上唯一标签。

1. 输入与提示词注入

典型场景:

  • 用户直接要求模型忽略原有规则、泄露系统提示词或发送 API Key。
  • 搜索到的网页、PDF、邮件或知识库文档中藏有指令,要求 Agent 调用特定工具。
  • 用户通过多轮对话逐渐诱导 Agent 绕过限制。
  • 恶意输入利用过长文本、特殊格式或编码方式,干扰模型判断。

这里需要区分直接提示词注入和间接提示词注入。直接注入来自用户输入;间接注入藏在 Agent 读取的外部内容中。只检查用户最初的输入,无法覆盖后者。

2. 敏感信息泄露

典型场景:

  • 模型将 API Key、环境变量、内部提示词或其他用户的数据输出给当前用户。
  • 恶意网页诱导 Agent 将本地文件内容发送到外部地址。
  • 调试日志、Trace、异常堆栈或模型请求记录意外保存密钥和个人数据。
  • 多用户系统中,一个用户读取了另一个用户的会话、记忆或检索结果。

3. 工具越权与危险操作

典型场景:

  • 模型提出删除文件、修改数据库、发送邮件或发布文章的操作。
  • 用户本身没有某项权限,但通过 Agent 间接调用了相关工具。
  • 工具的参数被模型错误生成,导致操作对象、范围或接收方不正确。
  • MCP Server 或第三方工具获得超出任务所需的权限。

4. 代码执行与运行环境风险

典型场景:

  • Agent 生成 Python 或 Shell 代码并直接执行。
  • 代码读取工作目录以外的文件、访问环境变量、启动子进程或连接外部网络。
  • 恶意代码消耗大量 CPU、内存或磁盘空间。
  • 文件路径穿越、符号链接或其他边界问题让文件操作逃出允许目录。

5. 资源消耗与失控循环

典型场景:

  • Agent 反复调用工具,迟迟不能完成任务。
  • 工具失败后不断重试,放大故障或外部 API 费用。
  • 长上下文、过多模型调用或并发任务导致成本激增。
  • 用户高频请求占满模型配额、工具服务或运行资源。

这类问题同时属于安全、可靠性和成本控制。无论动机是恶意攻击还是模型自身的循环失控,都需要硬性的资源预算。

6. 数据、状态与多用户隔离

典型场景:

  • 一个用户的 Memory、Checkpoint 或会话历史被另一个用户读取。
  • 恶意指令进入长期记忆或知识库,影响之后的任务。
  • 恢复任务时,系统加载了错误用户、错误租户或不可信的旧状态。
  • 检索结果包含不应被当前用户访问的数据。

7. 供应链与外围系统风险

典型场景:

  • 安装的 Python 包、Skill、插件或 MCP Server 含有恶意代码。
  • 第三方服务被入侵,或工具描述、配置在运行时被替换。
  • Agent 被诱导访问内网地址、云元数据端点或不应访问的管理接口。
  • 安全检测服务不可用,但主流程仍然无条件放行。

二、Agent 安全的核心设计原则

1. Prompt 不是权限系统

System Prompt 可以告诉模型“不要泄露密钥”“不要删除数据库”,但它无法保证模型每次都遵守,也无法阻止其他调用路径绕过模型。

模型是根据上下文生成决策的组件,不应该成为唯一的安全边界。真正的权限必须由程序和下游系统验证。

例如,数据库工具使用只读账号,就能从权限层面限制删除操作。即使模型提出了 DELETE 语句,数据库账号也没有权限执行它。这比单纯在提示词中写一句“禁止删除数据”更可靠。

2. 最小权限

每个 Agent、用户和工具只获得完成当前任务所需的权限。

Research Agent 如果只需要搜索网页、读取用户提供的文件和生成报告,就不应该默认拥有 Shell、任意文件读写、数据库写入和邮件发送权限。暂时用不到的能力,不要提前开放。

3. 不可信内容不能自动升级为指令

网页、PDF、邮件、检索结果和工具返回内容都可能包含恶意指令。Agent 可以把它们当作研究材料,但不能因为它们出现在上下文中,就允许它们修改系统策略或取得额外权限。

4. 在实际执行边界实施控制

风险检查要放在能够阻止危险动作的位置。

  • 输入检测可以拦截一部分明显恶意请求。
  • 模型输出检测可以发现部分违规内容。
  • Tool 执行前的授权检查可以阻止未授权操作。
  • 数据库、文件系统和网络出口的权限控制可以限制实际影响。
  • 沙箱可以限制代码执行的能力和资源。

这些措施各自解决不同的问题,不能互相替代。

5. 高风险操作需要独立的审批机制

删除数据、批量修改记录、向外部发送敏感内容、公开发布文章等操作,可以按风险要求人工审批。是否需要审批应由程序根据操作类型、权限和风险策略决定,不应该让模型自行决定是否需要审批。

人工确认也不能替代权限检查。确认界面需要清楚展示实际操作对象、范围和后果,防止模型在审批后悄悄改变参数。

6. 默认限制资源,并为失败设计关闭策略

工具调用次数、模型调用次数、执行时长、重试次数和费用都应该有上限。安全检测服务不可用时,也要预先决定是拒绝高风险操作、进入受限模式,还是在明确可接受的情况下继续低风险任务。

三、不同风险应该在哪一层解决?

安全方案要从具体场景出发,确定拦截时机和真正执行控制的组件。

场景 建议检查位置 主要方案 不能只依赖什么
用户要求泄露 Key 输入检测;敏感数据访问和外发边界 规则、安全分类器、密钥隔离、外发策略 只在 Prompt 中禁止
网页中包含恶意指令 获取外部内容后、模型处理期间及工具执行前 将外部内容标记为不可信、注入检测、工具权限限制 只检查用户最初的输入
模型请求删除数据库记录 Tool 执行前;数据库权限层 操作白名单、用户授权、参数校验、只读账号、事务或审批 只检查模型生成的文本
模型生成 Shell 或 Python 代码 代码执行前和执行环境内部 静态检查、沙箱、文件/网络权限、资源限制 仅靠关键词过滤
Agent 循环调用工具 Agent 运行时和工具调度层 最大步数、调用预算、超时、重试上限、速率限制 让模型自行判断何时停止
模型输出违规内容 最终输出前;必要时在关键中间节点 规则检查、内容分类器、敏感信息扫描、人工审核 只检查用户输入
多用户数据串用 身份验证、状态存取、检索和工具执行层 按用户/租户隔离状态、服务端授权、数据访问控制 仅靠会话 ID 或 Prompt
MCP 工具过度授权 工具注册、调用前和下游服务 工具白名单、最小权限凭据、参数校验、审计 只相信工具描述或模型判断

1. 输入检测:规则、小模型与安全服务如何组合?

输入检测可以先用程序规则处理确定性问题,例如请求长度、格式、用户身份、调用频率和明确禁止的操作。需要语义理解时,再考虑分类模型或专门的安全检测服务。

专门的检测模型可以识别一部分提示词注入、越狱或不合规内容,但检测结果存在误报和漏报。它适合作为防线之一,不应该被当成安全保证。

对敏感信息尤其要注意:最可靠的方式通常是避免把密钥放进模型可见的上下文。工具可以在服务端读取所需凭据,模型只提供经过校验的业务参数。

2. 工具执行前:把授权检查放在工具真正执行的位置

假设模型提出一个删除数据库记录的调用。此时应该检查当前用户是否有权限、操作是否允许、目标记录是否在授权范围内,以及是否需要人工确认。校验通过后,工具再通过权限受限的数据库账号执行操作。

一个简化的 Python 结构如下:

python
from typing import Any

ALLOWED_ACTIONS = {
    "search_web",
    "read_document",
    "generate_report",
}

def execute_tool(
    action: str,
    args: dict[str, Any],
    user_id: str,
):
    if action not in ALLOWED_ACTIONS:
        raise PermissionError(f"Action not allowed: {action}")

    validate_user_permission(user_id, action, args)
    validate_arguments(action, args)

    return dispatch_tool(action, args, user_id)

这里的 validate_user_permission、validate_arguments 和 dispatch_tool 是项目需要实现的函数,不是 Python 或 LangGraph 自带的 API。实际系统还应确保工具无法通过其他路径绕过这个入口,并在数据库、文件服务等下游系统继续实施权限检查。

3. 代码执行:静态检查不能替代沙箱

静态分析可以检查危险导入、可疑函数调用和已知违规模式,但无法证明任意代码安全。仅靠屏蔽 eval、subprocess 等关键词也不可靠,因为代码可以使用其他方式达到类似效果。

真正执行模型生成的代码时,应优先考虑独立的受限环境,并按风险限制:

  • 可读写的目录和文件类型。
  • 是否允许网络访问,以及可以访问哪些地址。
  • 可用的系统调用、进程权限和凭据。
  • CPU、内存、磁盘、执行时长和进程数量。

如果业务只是搜索资料和写文章,初期最好不提供任意代码执行能力。减少不必要的工具,本身就是有效的安全措施。

4. 资源限制:防止失控调用和费用增长

可以为每个任务设置最大模型调用次数、工具调用次数、总 Token 预算、运行时间和费用上限。每个工具也应有自己的超时、重试上限和并发限制,同时设置用户级和全局速率限制。

这些限制应由程序强制执行。模型可以被提示尽快完成任务,但它不能负责决定自己的预算是否已经用尽。

四、LangGraph 中如何落地?

LangGraph 可以把安全检查组织成图中的节点、条件分支和人工中断;如果使用 LangChain 的高层 Agent API,也可以结合其 Middleware 机制。但要区分框架负责的流程编排与应用自身的安全策略。

一个简化的 Research Agent 流程可以表示为:

text
START
  |
  v
输入校验与风险检测
  |
  v
Agent / LLM 决策
  |
  v
工具调用请求
  |
  v
工具权限与参数检查
  |
  +---- 不允许 ----> 拒绝 / 记录审计事件
  |
  +---- 需要审批 --> 暂停并等待人工确认
  |                       |
  |                       v
  |                 再次校验并执行
  |
  +---- 允许 ------> 执行工具
                         |
                         v
                    检查工具结果
                         |
                         v
                    返回 Agent
                         |
                         v
                    最终输出检查
                         |
                         v
                        END

1. Node 和条件边

输入检查、风险分类、输出检查都可以做成独立节点;条件边根据检查结果路由到继续执行、拒绝、重试或人工审核等分支。

不过,图里有一个安全检查节点,并不意味着所有工具调用都会经过它。开发者必须检查整张图的调用路径,确保没有其他节点能绕过安全检查直接执行工具。

2. ToolNode、自定义工具与 Middleware

可以在工具实现内部进行参数验证和权限检查,也可以通过统一的工具包装器实现公共策略。使用高层 Agent API 时,可以考虑 Middleware 统一处理工具调用前后逻辑。

无论选择哪种方式,都应该把关键授权放在实际执行边界,而不是只放在模型生成工具调用之前。下游服务仍需检查权限,避免 Agent 之外的调用路径绕过保护。

3. interrupt() 与人工审批

对高风险操作,可以在工具执行前暂停工作流,展示操作详情并等待人工审批。LangGraph 的中断与持久化能力可用于暂停和恢复工作流。

审批恢复后仍应重新校验权限和操作参数。不能把“曾经有人批准过”理解成后续所有操作都可以直接执行。

4. Checkpoint、状态和日志

Checkpoint 能支持任务恢复,但持久化状态本身也需要保护。应确保状态按用户或租户隔离,限制读取权限,谨慎保存敏感数据,并考虑恶意内容进入长期状态后影响后续任务的风险。

日志与 Trace 同样需要脱敏。调试信息不应无意中保存 API Key、认证头、完整个人资料或不必要的模型上下文。

五、第三方安全方案能解决什么?

第三方方案可以补充检测、测试、隔离和应用安全能力,但不存在一个工具可以单独解决全部 Agent 安全问题。

1. 提示词注入与内容安全检测

Microsoft Azure AI Content Safety / Prompt Shields 可以用于检测一部分直接提示词攻击和来自文档、网页等外部内容的间接提示词注入。它提供的是检测能力,不能代替工具授权、敏感信息隔离或沙箱。

如果采用外部安全服务,应评估数据是否需要发送给第三方、服务不可用时如何处理,以及检测误报和漏报对业务的影响。

2. Agent 安全测试与红队评估

PyRIT(Python Risk Identification Toolkit for generative AI) 是微软开源的生成式 AI 风险识别工具,可用于组织红队测试、设计攻击样例和评估系统响应。它更适合帮助发现漏洞、验证防护,不是生产环境中每次工具调用的权限拦截器。

测试应覆盖直接与间接提示词注入、敏感信息泄露、工具越权、拒绝机制绕过和资源消耗等场景。

3. 应用与供应链安全

常见的应用安全工具可以补充 Agent 项目中的传统安全工作:

  • SAST:检查源代码中的潜在漏洞。
  • 依赖漏洞扫描:发现 Python 包和其他依赖中的已知漏洞。
  • 密钥扫描:发现意外提交到仓库的凭据。
  • DAST:从外部测试运行中的应用。
  • 日志与审计系统:帮助追踪谁在何时触发了什么操作。

这些工具并不专门理解 Agent 的所有行为,但依然是完整安全方案的一部分。

4. 沙箱与受限执行环境

当 Agent 需要执行代码或命令时,可以考虑容器、专用沙箱或其他受限执行环境。选型时应检查网络访问、文件系统隔离、权限边界、资源限制和环境销毁机制,而不能只看它是否声称支持“安全执行”。

5. LangGraph 自身与外围能力的边界

LangGraph 主要负责把应用流程组织起来,包括状态、条件分支和中断恢复。LangChain 的高层 Agent API 及其 Middleware 可以帮助统一实现部分调用前后逻辑。具体权限、内容检测、密钥管理和运行环境隔离,仍然要由应用代码、第三方服务或基础设施负责。

选择方案时,应逐项核对实际版本的官方文档和能力边界,不要因为某个框架支持 Tool、MCP 或 Human-in-the-Loop,就认为它已经提供了完整安全机制。

六、设计 Agent 安全时的检查清单

开始实现前,可以先逐项确认:

  • 输入长度、用户身份和请求频率有程序级限制。
  • 外部网页、文档、检索结果和工具返回值按不可信数据处理。
  • API Key 等凭据不会无必要地进入模型上下文。
  • 每个工具有明确的用途、参数约束和权限范围。
  • 高风险操作在实际执行前进行授权检查。
  • 数据库、文件系统和外部服务也实施自己的权限控制。
  • 任意代码执行受到沙箱、网络策略和资源限制保护。
  • 模型调用、工具调用、重试、循环次数和费用均有硬上限。
  • 多用户的会话、Checkpoint、Memory 和检索结果相互隔离。
  • 高风险操作有清晰的人工审批机制和审计记录。
  • 日志、Trace 和异常信息经过必要的敏感数据脱敏。
  • 对提示词注入、越权、泄露和资源消耗有持续的安全测试。
  • 安全服务失效时,系统会按风险等级采取明确的降级或拒绝策略。

总结

Agent 安全不是在模型前后各加一个分类器就能完成的。检测模型可以识别一部分风险,Prompt 可以约束模型行为,LangGraph 可以组织安全流程;但真正决定系统能否删除数据、读取文件、访问网络和发送信息的,仍然是程序权限、下游授权和运行环境的控制。

对于 Research Agent 或公众号写作 Agent,比较务实的起点是:先限制工具能力和数据访问范围,再给每个工具建立统一的参数校验与权限检查,为高风险操作增加人工审批,并对调用次数、执行时间和费用设置硬限制。等这些基础边界清楚后,再根据实际威胁引入专门的检测服务、安全测试工具和沙箱。

On this page