Session 19:Agent Context Optimization——上下文优化
Agent 在执行任务时,需要把相关信息传递给模型。随着任务推进,消息历史、Tool 返回结果、研究材料、执行状态和中间分析可能越来越多
1. 为什么 Agent 运行久了会出现上下文问题?
Agent 在执行任务时,需要把相关信息传递给模型。随着任务推进,消息历史、Tool 返回结果、研究材料、执行状态和中间分析可能越来越多。
以 Research Agent 为例,它可能已经搜索了几十篇资料,分析了多轮证据,调整了多次搜索计划。如果每次调用模型都把所有历史消息原样发送过去,上下文会越来越长,调用成本和延迟也会增加。
更麻烦的是,历史消息并不都同样重要。早期的一次失败调用、重复的搜索结果和已经完成的中间步骤,可能占据大量上下文,却对当前决策帮助不大。
但如果简单地截断历史消息,也可能把重要事实删掉。例如,已经确认的研究结论、尚未验证的关键问题、某个 Tool 失败的原因,以及当前研究报告的结构,都可能影响下一步行动。
因此,上下文优化的目标是:在控制上下文长度和调用成本的同时,保留当前任务真正需要的信息。
2. 先区分消息历史、任务状态、记忆和检索结果
这些信息经常被统称为上下文,但它们的用途不同。
| 信息类型 | 主要用途 | 示例 |
|---|---|---|
| 消息历史 | 保留对话过程 | 用户要求、模型回复、工具调用记录 |
| 任务状态 | 描述当前执行进度 | 已完成步骤、重试次数、当前计划 |
| Memory | 保存后续任务可能需要的信息 | 用户长期偏好、已确认的背景知识 |
| 检索结果 | 为当前决策提供外部证据 | 搜索结果、数据库记录、文档片段 |
| 中间产物 | 保存已经完成的工作结果 | 研究摘要、证据表、报告大纲 |
这些信息不应该全部以同一种方式保存。
例如,重试次数和当前步骤应该由程序状态管理;用户长期偏好可以放入 Memory;大量研究材料可以保存到数据库或文件中,需要时再检索;消息历史则可以保留近期对话,并对较早内容做摘要。
如果所有信息都堆在消息历史里,后续很难区分哪些是当前有效状态、哪些只是过去的过程记录。
3. 上下文裁剪:先处理重复和无关内容
最简单的优化方法是裁剪上下文。
可以移除重复的 Tool 返回结果、无关的历史消息,以及已经不再影响当前任务的中间内容。
例如,Research Agent 连续搜索了多个关键词,搜索服务可能返回大量重复文章。程序可以根据 URL、文档 ID 或内容指纹去重,再把整理后的结果交给模型。
def deduplicate_results(results: list[dict]) -> list[dict]: seen = set() unique = [] for item in results: key = item.get("url") or item.get("title") if not key or key in seen: continue seen.add(key) unique.append(item) return unique
这段代码只演示按 URL 或标题去重。实际系统中,标题可能重复、URL 可能带有追踪参数,因此需要根据数据源设计更可靠的标准化和去重规则。
裁剪也不应只看消息是否早于某个时间点。某条很早的消息可能包含关键业务约束,而最近的几条消息也可能只是重复内容。更合理的做法是结合任务状态和信息用途,判断哪些内容仍然影响当前决策。
4. 历史摘要:保留结论,而不是保留全部过程
当消息历史过长时,可以将较早的部分压缩成摘要。
例如,原始历史记录可能包含十几轮搜索、失败调用和材料分析。摘要可以保留:
- 研究主题与目标;
- 已确认的核心事实;
- 已检索的主要来源;
- 尚未解决的问题;
- 已经尝试过但无效的策略;
- 下一步计划。
Research Agent 的摘要可以组织成一个明确的数据结构:
research_summary = { "topic": "Agent 上下文优化", "confirmed_findings": [ "上下文长度影响成本与延迟", "历史消息需要按任务相关性管理", ], "sources": [ "source_001", "source_002", ], "open_questions": [ "不同压缩策略的质量影响", ], "failed_attempts": [ "单纯增加搜索关键词没有补足实践证据", ], "next_action": "寻找生产环境案例",}
这里的内容只是示例。实际摘要应当由程序和模型协作生成,并对重要事实保留来源引用。不能因为摘要中出现了某条结论,就把它当作已经验证的事实。
摘要还需要考虑更新策略。如果每次都把旧摘要再摘要一次,重要信息可能逐渐丢失。对于关键事实和任务状态,可以单独保存结构化记录,不完全依赖自然语言摘要。
5. 按需检索:不必每次都加载所有材料
对于较大的知识集合,可以采用按需检索。
Research Agent 在分析某个问题时,不必每次都重新加载所有研究材料。程序可以根据当前问题检索相关来源,再把最有用的片段放入模型上下文。
def build_context( task: str, summary: dict, retrieved_documents: list[dict],) -> dict: return { "task": task, "research_summary": summary, "evidence": [ { "source_id": doc["source_id"], "text": doc["text"], } for doc in retrieved_documents ], }
这个示例只展示上下文组装方式。检索本身可以使用关键词搜索、向量检索、混合检索或结构化数据库查询,具体选择取决于资料类型和任务需求。
按需检索可以减少无关信息,但也有风险:检索没有命中关键证据时,模型可能基于不完整材料做判断。因此,对于重要研究任务,需要保留来源信息、检查证据覆盖情况,并在材料不足时继续检索,而不是把检索结果直接当作完整事实集合。
6. 上下文压缩不等于减少字数
上下文优化不仅是删掉文字,也包括重新组织信息。
例如,十条搜索结果可能分别描述同一个事件。将它们整理成一张证据表,记录事实、来源、发布时间和可信度,通常比把十段原始摘要直接传给模型更容易分析。
可以采用分层结构:
当前任务
├─ 任务目标与约束
├─ 当前执行状态
├─ 已确认的关键结论
├─ 待解决的问题
└─ 与当前问题相关的证据
其中,任务目标和硬性约束通常应该稳定保留;当前状态由程序维护;关键结论应有来源依据;待解决的问题用于指导下一步行动;相关证据则按需检索。
这样做的好处是,模型每次调用拿到的上下文更有组织,程序也更容易检查关键字段是否缺失。
但结构化压缩并不能保证信息不丢失。设计时仍然需要明确哪些信息必须保留、哪些允许摘要,以及哪些结论在再次使用前需要重新验证。
7. Context Window、Token 与成本
模型的上下文窗口限制了单次请求可以处理的信息规模。实际可用空间还需要容纳输出、工具定义以及其他请求内容,具体限制因模型和接口而异。
Token 数量也会影响调用成本。对于按输入和输出 Token 分别计费的模型,重复发送大量历史内容会产生持续开销。
假设某个 Agent 连续执行 20 次模型调用,每次都重新发送 10,000 个输入 Token,那么累计输入量就是:
\[ 20 \times 10{,}000 = 200{,}000 \]
这只是累计输入 Token 的示意计算,不代表最终账单一定按这个数字直接计价。不同模型可能采用不同计费规则,部分服务还支持 Prompt Caching 等机制。
因此,上下文优化应关注整个任务的累计成本,而不只是某一次请求的长度。即使每次调用都没有超过上下文窗口,重复传输相同内容仍可能造成不必要的费用和延迟。
8. 上下文优化与 Prompt Caching
上下文优化和 Prompt Caching 有关联,但解决的问题不同。
上下文优化主要决定哪些信息应该进入模型请求,以及如何组织这些信息。Prompt Caching 则是在供应商支持的条件下,复用符合缓存条件的重复输入前缀,以减少部分处理成本或延迟。
例如,Agent 每次调用模型时都包含一段固定的系统指令、工具定义和稳定的任务背景。如果这些内容能够形成符合服务商缓存规则的重复前缀,就可能从提示缓存中受益。
但缓存并不会自动解决上下文膨胀问题。如果请求仍然包含大量过时的研究材料,即使其中部分内容被缓存,模型仍可能受到无关信息干扰。
因此,应该先把上下文结构设计合理,再根据具体 API 的缓存规则优化稳定前缀。不能假设只要重复发送相同 Prompt,所有供应商都会自动以相同方式缓存。
9. LangGraph 中如何管理上下文?
LangGraph 的状态机制可以保存任务运行所需的数据,但图状态与发送给模型的消息列表并不是同一个概念。
例如,状态中可以包含:
from typing import TypedDictclass ResearchState(TypedDict): topic: str messages: list summary: dict evidence_ids: list[str] open_questions: list[str] tool_call_count: int
模型调用节点可以从状态中提取当前任务需要的内容,组装消息后再调用模型:
def call_research_model(state: ResearchState): context = { "topic": state["topic"], "summary": state["summary"], "evidence_ids": state["evidence_ids"], "open_questions": state["open_questions"], } messages = [ { "role": "system", "content": ( "根据当前研究状态决定下一步行动。" "不要把未经验证的内容当作事实。" ), }, { "role": "user", "content": str(context), }, ] # 实际项目中应使用明确的序列化方式, # 并调用已配置的模型客户端。 ...
示例为了突出上下文组装而省略了调用细节。真实项目中,结构化数据应使用明确的序列化方式,而不是依赖 Python 字典的字符串表示。
如果使用 Checkpointer,LangGraph 可以保存图状态,以便在后续执行中恢复。但 Checkpoint 不等于自动优化上下文:即使完整状态已经持久化,每次调用模型时仍然需要决定哪些信息进入消息列表。
因此,比较合理的设计是将持久化状态与模型输入分开管理。状态可以保留完整的任务进度、引用和计数器,而模型只接收完成当前决策所必需的信息。
10. 上下文优化与 Memory、RAG 的关系
Memory 和 RAG 都可能参与上下文管理,但它们承担的职责不同。
Memory 用于保存后续任务可能需要的信息,例如用户偏好、历史决策或长期任务背景。RAG 则根据当前问题,从外部知识集合中检索相关材料。
上下文优化负责把这些来源组织起来,决定当前调用应该包含什么。
以 Research Agent 为例:
- 当前研究目标来自任务输入。
- 当前步骤和重试次数来自程序状态。
- 已确认的关键结论来自研究摘要与证据记录。
- 新的相关资料来自 RAG 或其他检索工具。
- 最终模型上下文由应用程序按当前决策需要组装。
这样就不必把所有历史、所有记忆和全部检索结果一次性塞给模型。
11. 业界常见的优化方向
实际系统中,上下文优化通常结合多种技术:
- 消息裁剪:删除重复或过时的历史内容。
- 摘要压缩:将较长的执行历史转换为关键结论与待办事项。
- 结构化状态:将任务进度、预算和业务字段独立保存。
- 按需检索:只加载与当前问题相关的材料。
- 分层存储:把完整材料放在数据库或文件中,上下文只保存必要摘要和引用。
- Prompt Caching:在供应商支持的条件下复用稳定输入前缀。
- 上下文预算:为任务指令、历史摘要、工具结果和输出预留不同的 Token 空间。
这些技术没有一个可以解决所有问题。裁剪可能删除重要信息,摘要可能改变事实,检索可能漏掉关键材料,缓存也无法保证内容本身相关。
因此,优化过程应当结合任务需求设计,并对关键事实保留可追溯来源。
12. 总结
Agent 的上下文管理需要同时考虑信息质量、上下文长度和任务状态。消息历史适合记录交互过程,结构化状态用于维护执行进度,Memory 保存后续任务可能需要的信息,RAG 提供外部证据,而上下文优化负责把这些内容组织成当前模型真正需要的输入。
在 LangGraph 中,Checkpoint 可以保存和恢复图状态,但不会自动替应用程序完成上下文裁剪、摘要和检索。更合理的做法是将完整任务状态持久化,再按每个节点的职责组装模型输入。
对于 Research Agent,优先保留研究目标、关键约束、已验证结论、证据引用和待解决问题,再按需补充材料,通常比无差别地传递所有历史消息更容易控制成本,也更利于维护任务连续性。