Session 20:Agent Caching——缓存机制与复用策略
Agent 执行一次任务,可能会调用模型多次、查询数据库、检索知识库、访问外部 API,还可能对同一批资料反复分析。这里面有不少重复工作,缓存可以减少这些开销。
不过,Agent 的缓存比普通业务接口多一层判断:两次请求看起来相似,不代表它们可以共用结果。用户权限、任务上下文、数据版本、时间范围,甚至提示词版本发生变化,都可能让之前的结果失效。
这一节主要记录两件事:Agent 中有哪些内容可以缓存,以及设计缓存时需要注意什么。
1. Agent 中有哪些内容可以缓存
1.1 数据查询结果
最常见的是数据库查询、业务配置和知识库元数据。例如,Research Agent 需要查询某个主题对应的资料列表、项目配置或一份固定的研究规范。如果这些数据会被重复读取,而且允许短时间内保持不变,就可以考虑缓存。
def get_project_config(project_id: str): cached = cache.get(f"project-config:{project_id}") if cached is not None: return cached config = db.load_project_config(project_id) cache.set(f"project-config:{project_id}", config, ttl=300) return config
这类缓存的收益比较直观:减少数据库查询,降低数据库连接和查询负载。是否值得做,取决于访问频率、查询成本和数据变化速度。简单、低频、执行很快的查询未必需要缓存。
还要区分数据类型。静态配置、产品说明、历史资料通常比较适合;库存、账户余额、订单状态等强时效数据则需要更严格的过期和一致性策略。
1.2 Tool 执行结果
Agent 的 Tool 经常连接外部服务,例如网页搜索、第三方 API、内部检索服务。相同参数被反复调用时,可以考虑缓存工具结果。
def search_web(query: str, date_range: str): key = f"web-search:{query}:{date_range}" cached = cache.get(key) if cached is not None: return cached result = web_client.search( query=query, date_range=date_range, ) cache.set(key, result, ttl=600) return result
Research Agent 可以在短时间内复用相同搜索条件的结果,避免重复请求,也能减少外部服务的调用费用。但搜索结果会随时间变化,因此缓存时间需要结合研究任务的时效要求设置。研究“某个技术的基本原理”和研究“今天发生了什么”,不适合使用相同的缓存策略。
缓存键也不能只包含查询文本。语言、地区、过滤条件、时间范围、数据源以及用户权限等因素,都可能影响结果。
另外,Tool 的结果缓存只适合可以安全复用的读取操作。付款、发送邮件、创建工单、修改数据库等有副作用的操作,不能靠缓存结果来防止重复执行。这类操作需要幂等键、执行记录和明确的状态确认。
1.3 LLM 调用结果
如果同一个输入在相同条件下被反复提交给模型,可以缓存完整的模型输出。比如,Research Agent 需要把一份不变的资料转换成固定格式的摘要;当资料、提示词、模型和输出要求都没有变化时,可以直接复用上次结果。
概念上可以这样处理:
def summarize_document(document: str, prompt_version: str): key = make_hash({ "document": document, "prompt_version": prompt_version, "model": MODEL_NAME, }) cached = cache.get(key) if cached is not None: return cached result = llm.invoke(build_summary_prompt(document)) cache.set(key, result, ttl=3600) return result
实际项目里,缓存键通常应当由规范化后的输入、模型标识、提示词版本、输出格式和其他影响结果的参数共同决定。示例中的 make_hash 代表生成稳定缓存键的逻辑。
LLM 输出缓存的价值可能很高,因为它能直接省掉一次模型调用。但也有明显边界:
- 输入内容相同,但用户权限不同,不能随意共用结果。
- 提示词更新后,旧输出可能已经不符合新要求。
- 结果依赖实时数据时,缓存可能过期。
- 模型参数、工具定义或输出 Schema 发生变化时,旧结果未必仍然适用。
- 模型本身具有随机性。缓存命中后会复用旧输出,而不会重新采样。
所以,缓存模型输出之前,需要先定义“什么条件下的结果算等价”。仅仅把用户原始问题作为缓存键,通常过于简单。
1.4 Embedding 向量
RAG 流程中,文本通常需要先转换成向量,再进行相似度检索。同一段文本如果重复计算 Embedding,就会产生不必要的模型调用和计算成本。
可以按照文本内容、Embedding 模型和相关预处理版本缓存向量。文档内容没有变化时,重复使用已有向量;文档更新后,再重新计算对应部分。
这里需要注意模型版本和文本处理流程。相同文本用不同的 Embedding 模型生成的向量,不能直接当作同一种结果使用。分块方式、清洗规则或向量维度发生变化时,也可能需要重建缓存或索引。
1.5 Prompt Caching
Prompt Caching 和前面几类缓存不完全一样。前面缓存的通常是一次调用的结果,而 Prompt Caching 是模型服务商对重复输入前缀进行复用,以减少重复处理带来的延迟或输入成本。
Agent 经常会带着较长的系统提示词、工具说明、固定规则和输出约束调用模型。如果这些内容在多次请求中保持稳定,就可能受益于 Prompt Caching。动态的用户消息和每轮变化的任务状态则通常放在后面。
它的具体命中规则、缓存有效期、计费方式和可见指标取决于模型服务商。开发者需要查看对应 API 文档,不能假设所有模型都以相同方式支持缓存,也不能把 Prompt Caching 当成完整答案缓存。
2. 缓存设计时要考虑什么
2.1 缓存键:怎样判断两次请求可以复用
缓存的首要问题是判断两个请求是否足够相同。缓存键决定了这个边界。
例如,下面这种键可能不够安全:
key = f"answer:{user_question}"
如果不同用户提出相同问题,但拥有不同的数据访问权限,系统就可能把一个用户的答案返回给另一个用户。即使没有权限问题,时间范围、语言、筛选条件、模型版本或提示词版本不同,也可能导致结果不再适用。
更完整的缓存键可能包含:
- 规范化后的输入参数;
- 用户或租户的隔离范围(在结果与权限相关时);
- 模型名称、模型版本和关键生成参数;
- 系统提示词或任务模板的版本;
- 检索范围、过滤条件和数据版本;
- 输出格式、语言、时间范围等业务参数。
不是每一种缓存都必须包含上述所有字段,而是要明确哪些因素会影响结果。一个实用原则是:任何会改变结果含义、可见范围或有效性的条件,都应该纳入缓存键或缓存校验逻辑。
2.2 缓存失效:数据变了,旧结果怎么办
缓存最容易出问题的地方,是原始数据已经更新,但缓存还保留旧值。
常见策略有几种:
| 策略 | 做法 | 适用情况与限制 |
|---|---|---|
| TTL 过期 | 缓存到达指定时间后自动失效 | 实现简单,但有效期内可能读到旧数据 |
| 主动删除 | 数据更新后删除相关缓存 | 需要知道哪些缓存依赖这份数据 |
| 事件驱动失效 | 数据写入方发布事件,由缓存消费者处理 | 适合多个服务协作,需要可靠的消息投递与消费 |
| 版本号校验 | 缓存记录数据版本,读取时确认版本仍有效 | 能明确识别旧版本,但需要维护版本信息 |
假设业务系统更新了商品库存。更新成功后,系统可以发布 ProductStockChanged 事件,缓存服务收到事件后删除对应库存缓存。Agent 下一次读取时,缓存未命中,再从权威数据源查询。
但单纯“数据库提交成功后发送一条消息”仍有失败窗口:数据库已经提交,应用却在发送消息前崩溃。对一致性要求较高的系统,可以考虑 Transactional Outbox,把业务更新和待发送事件放进同一个数据库事务,再由后台任务投递事件。消费端也需要支持重复消息,避免同一个事件被处理多次产生问题。
TTL 仍然有价值,可以作为兜底策略。缓存失效方案需要根据数据的业务风险来选:产品介绍允许短暂陈旧,账户余额和库存就可能需要更严格的控制。对强时效数据,也可以选择不缓存,或者每次都向权威数据源确认。
2.3 缓存粒度:缓存中间结果,还是最终答案
Agent 通常由多个步骤组成。Research Agent 可能依次执行搜索、资料清洗、证据提取、证据充分性判断和报告生成。
每一步都可能缓存,但复用范围不一样。
| 缓存位置 | 好处 | 风险 |
|---|---|---|
| 搜索结果 | 不必重复请求相同搜索条件 | 搜索结果会随时间变化 |
| 文档解析结果 | 同一文档不必重复解析 | 文档内容或解析规则更新后要失效 |
| 证据提取结果 | 减少重复模型调用 | 提示词或证据标准变化后可能过期 |
| 最终报告 | 命中后可以省掉大部分执行成本 | 对主题、时间、证据和用户要求的变化非常敏感 |
缓存粒度越靠近最终答案,潜在节省的成本可能越高,但判断两个任务是否真正等价也越难。对于研究任务,缓存搜索结果、文档解析结果和向量,通常比直接复用最终报告更容易控制风险。最终报告只有在输入范围、资料版本、生成要求等条件都符合时才适合复用。
2.4 权限与数据隔离
缓存属于数据存储的一部分,必须沿用原系统的权限边界。不能因为缓存命中了,就跳过原本应该执行的授权检查。
例如,两个企业租户可能使用相同的研究问题,但各自的内部资料不同。缓存键如果没有包含租户隔离信息,就有机会发生数据串用。更稳妥的做法是明确缓存的数据归属,在读取缓存之前或缓存访问过程中执行授权校验,并为敏感数据设置合适的存储、访问和过期策略。
2.5 缓存不等于幂等
这两个概念容易混淆。
缓存解决的是“相同条件下是否可以复用已有结果”;幂等解决的是“同一操作重复执行是否会造成额外副作用”。
例如,发送邮件的 Tool 即使缓存了第一次调用的返回值,也不能据此保证邮件只发送一次。请求超时后,Agent 可能不知道邮件究竟发送成功没有。正确的做法是为操作设置幂等键,保存执行状态,并在重试前查询或确认执行结果。
对于读取型 Tool,缓存通常比较自然;对于写入型 Tool,应优先考虑幂等、事务、状态查询和重试策略,不能把缓存当成防重机制。
2.6 命中率、成本与容量
缓存本身也需要资源。缓存占用内存或外部存储空间,还会带来序列化、网络访问、过期清理和失效管理等开销。如果数据几乎不会重复使用,缓存的收益可能不够覆盖维护成本。
实际运行时值得关注:
- 缓存命中率和未命中率;
- 命中后节省的模型调用次数、延迟和费用;
- 缓存占用空间、淘汰频率和读取错误;
- 过期数据或失效事件积压的情况;
- 不同缓存类型的命中效果,而不只是一个总体命中率。
高命中率不一定意味着缓存设计合理。如果缓存经常返回过期或权限不正确的数据,即使省下了大量模型调用,也属于失败的设计。
3. LangGraph 中如何看待缓存
LangGraph 里,Agent 的执行流程通常被拆成多个节点。节点可以执行模型调用、检索、数据处理或业务逻辑。缓存可以围绕这些重复计算的步骤设计,例如复用文档解析结果,或缓存相同输入下的确定性处理结果。
但缓存并不改变节点本身的业务正确性要求。节点的输入、依赖的数据版本和副作用都会影响能否安全复用。对于会修改外部状态的节点,不能只根据输入相同就跳过执行;对于依赖实时数据的节点,也需要明确数据新鲜度要求。
如果使用 LangGraph 提供的节点缓存机制,需要结合当前版本的文档确认缓存策略、键生成方式、TTL 和失效行为。无论采用框架缓存还是自己封装缓存,都应当把缓存视为性能优化层,不能让它成为权限检查或业务正确性的唯一保障。
4. 常见的业界方案
工程上可以把方案大致分成三类:
- 通用缓存存储:例如 Redis,用于存放数据库查询结果、Tool 返回值、任务中间结果和版本信息。它解决的是缓存存储、过期和访问的问题,业务仍然需要决定缓存键与失效策略。
- 模型调用缓存:在模型调用层对符合条件的请求进行结果复用。使用时要确认缓存键是否覆盖模型、提示词、参数和权限等关键条件。
- 模型服务商的 Prompt Caching:由服务商复用重复输入前缀,具体支持方式、计费和有效期取决于所用模型 API。
这些方案可以同时存在。例如,Agent 使用 Redis 缓存检索结果,应用层缓存确定性的数据转换结果,模型 API 再利用 Prompt Caching。它们优化的是不同部分,不能互相替代。
5. 小结
Agent 中可以缓存数据库查询结果、Tool 返回值、LLM 输出、Embedding 向量和重复的 Prompt 前缀。选择缓存对象时,需要同时考虑重复访问频率、重新计算的成本、数据变化速度和结果复用的安全性。
设计缓存时,最重要的是定义好缓存键、失效机制、缓存粒度和权限边界。对于写操作,还要把缓存与幂等机制区分开;对于强时效数据,则需要明确能否容忍过期。
缓存的价值在于减少重复工作。只有在复用条件明确、失效行为可靠的情况下,它才会稳定地降低 Agent 的成本和延迟。