Session 04:Memory——让 Agent 记住真正有用的信息
前面讨论 Context Engineering 时,我们一直在解决一个问题:每次调用模型,究竟应该把哪些信息放进上下文?System Prompt、工具定义、历史消息、检索到的资料,都可能成为模型这一次调用的输入。但上下文有长度限制,信息也会不断变化,不能指望把所有历史永远塞进每次请求。
Memory 接着解决另一个问题:哪些信息值得在未来继续使用,应该保存在哪里,什么时候取回来,以及旧信息发生变化后怎么处理。
这两个问题有关联,但不能混为一谈。Context Engineering 关注的是一次模型调用的输入如何构造;Memory 关注信息跨轮次、跨任务的保存和复用。Memory 里的信息最终也要进入上下文,才能影响模型的回答。换句话说,Memory 是上下文工程可以使用的一类信息来源,但上下文并不全是 Memory。
这篇继续使用研究 AI Agent 作为例子。Agent 会搜索网页和报告,分析证据,整理研究结论。今天完成的研究,可能成为明天继续工作的基础;用户的长期偏好也可能影响之后的任务。我们会围绕这些实际需求讨论 Memory 的数据结构、读写时机、存储选择,以及主流框架提供了哪些机制。
1. Context、History、Memory 和 Checkpoint
这些名词在不同框架中有时会被宽泛地使用,读代码时最好先看它具体负责什么。
Context 是某次模型调用实际收到的信息。它可能包括系统指令、当前用户消息、部分历史对话、工具定义、检索结果、任务状态和 Memory 查询结果。它是一个“本次请求的输入集合”,并不要求这些信息都来自同一种存储。
Chat History 是会话里发生过的消息,例如用户输入、Assistant 回复、Tool Call 和 Tool Result。它主要回答“之前发生了什么”。历史可以完整保存,也可以在构造模型输入时只取其中一部分。
Memory 是为了未来使用而保留的信息。它可以来自对话,也可以来自工具执行、用户配置、任务结果或外部知识。Memory 通常经过选择、整理、分类或索引,目标是让后续任务能更方便地复用它。
Checkpoint 保存的是某个任务或工作流在特定时刻的执行状态。除了消息,它还可能包含当前节点、已完成步骤、变量、待处理任务和恢复所需的数据。它主要回答“任务进行到哪里,重启后从哪里继续”。
拿研究 Agent 举例:完整保存昨天的 30 轮对话,属于 History;提取“研究项目决定使用 LangGraph,原因是希望统一后续实现路线”,属于 Memory;保存“20 篇论文已处理 12 篇,下一步处理第 13 篇”的执行状态,属于 Checkpoint;把今天的系统指令、用户新问题、相关历史摘要和检索出的记忆组合起来,才是这一次模型调用的 Context。
这几种机制可以共用底层数据库,但数据含义、生命周期和读写时机不同。把它们统统叫作 Memory,短期内似乎省事,系统复杂后就很难说清数据丢在哪里、为什么没被取回来,以及服务重启后能否恢复。
2. 上下文变长时,要不要把所有内容都写入 Memory?
一个直觉方案是:上下文快满了,就把即将被丢弃的所有消息完整写入 Memory。这样看起来信息不会丢失。
这可以作为历史归档策略的一部分,却不能代替 Memory 的设计。首先,写进存储不等于未来一定能找到。假设 Agent 已保存 500 篇研究报告,用户问“我们上次为什么排除了方案 B”,普通的语义检索未必能命中当时那句具体的决策理由。如果这条理由很重要,就应该考虑把它作为结构化决策记录保存,而不是只让它藏在一大段对话里。
其次,历史中并非每句话都适合变成长期记忆。工具返回的大量重复内容、已经被纠正的错误、一次性的临时指令和未经验证的推测,如果都以同样的权重进入 Memory,会增加检索噪声。模型以后可能把过时结论当成当前事实,或者把当时的猜测误当作已经验证的结论。
更合理的做法是区分归档与记忆提取。
- 原始历史归档:需要审计、回放、排错或精确追溯时,保留完整消息、工具结果和必要的原始资料。是否全量保存,要由隐私、成本、合规和业务要求决定。
- 上下文压缩:当前任务需要继续,但历史太长时,压缩或总结其中对后续执行有用的部分。
- 长期 Memory 提取:识别用户偏好、重要决策、阶段性进展、可复用经验等,并以适合未来检索的形式保存。
- 按需检索:后续任务确实需要旧信息时,再从历史归档、Memory 或知识库中找出相关内容。
因此,压缩前可以触发一次记忆提取,但不应该假定“所有旧消息都必须变成长期 Memory”。如果某些信息必须一字不差地保留,应当有原始记录和明确的持久化保证;摘要和向量检索都不能替代原始归档。
3. Memory 应该存什么?
不同 Agent 的业务差异很大,Memory 不可能只有一套固定的业务字段。研究 Agent 关心研究来源、结论和决策理由;客服 Agent 可能关心客户偏好和工单进度;编程 Agent 可能关心代码库结构、构建命令、已经尝试过的修复方式。
比较通用的做法,是统一基础元数据,同时让不同类型的 Memory 拥有不同的内容结构。
常见的记忆分类包括:
- 语义记忆(Semantic Memory):相对稳定的事实、用户偏好、项目约定和知识。例如用户偏好自然、口语化的技术文章。
- 情景记忆(Episodic Memory):过去发生过的事件和经历。例如昨天分析了哪些论文、做了什么决定、结果如何。
- 程序性记忆(Procedural Memory):可复用的操作方法或行为规则。例如某个代码仓库怎样运行测试,某类研究任务通常采用什么流程。
这是一种按用途分类的方法,不代表必须部署三种数据库。一个系统可以用同一套存储接口管理它们,也可以按实际需求把结构化事实、事件记录和文件分别存放。
一个基础记录可以包含如下字段:
from dataclasses import dataclass
from datetime import datetime
from typing import Any
@dataclass
class MemoryRecord:
memory_id: str
owner_id: str
memory_type: str
content: Any
created_at: datetime
updated_at: datetime
source: str | None = None
confidence: float | None = None
status: str = "active"
这里的 owner_id 可以对应用户、项目、团队或 Agent,具体由权限边界决定。memory_type 表示记忆的用途,content 则允许不同类型使用不同的结构。真实系统通常还会考虑命名空间、标签、有效时间、版本号、访问权限、来源引用和删除状态。
例如,用户偏好可以保存为:
{
"memory_type": "user_preference",
"content": {
"writing_style": "自然、口语化",
"avoid": ["模板化过渡", "一句一段"]
}
}
研究项目决策则可以保存为:
{
"memory_type": "project_decision",
"content": {
"decision": "使用 LangGraph",
"reason": "希望统一后续 Agent 的实现路线",
"project_id": "agent-research",
"evidence_refs": ["doc-123", "note-456"]
}
}
这些只是示例结构。生产代码里可以用 Pydantic 等工具对不同 memory_type 进行 Schema 校验,避免模型生成任意字段后直接写库。通用字段负责检索、权限和生命周期;业务 Schema 负责保证内容有明确含义。
还要注意,逻辑结构不等于物理存储结构。即使系统统一了 MemoryRecord,也不意味着所有内容都必须存到一张表或一个向量库里。可以通过统一接口读写不同后端。
4. 存储选型:文件、关系数据库还是向量数据库?
文件系统、关系数据库、向量数据库都能承担 Memory 的一部分工作,但它们擅长的访问模式不同。不存在一个存储方式适合所有 Agent。
| 存储方式 | 常见用途 | 典型读取方式 |
|---|---|---|
| 进程内存 | 当前运行中的临时状态、缓存 | 直接读取;进程结束后可能丢失 |
| 文件系统 / 对象存储 | 完整对话归档、研究报告、长文档、摘要文件 | 按路径读取、全文检索或关键词搜索 |
| 关系数据库 | 用户偏好、项目决策、任务状态、记忆元数据 | SQL、条件过滤、排序和事务更新 |
| 向量索引 | 语义相似的历史片段、经验、文档段落 | Embedding 后进行相似度检索 |
| 图数据库 | 实体和关系很多、需要多跳查询的场景 | 按实体关系和路径查询 |
向量数据库并不是“存不了太多向量”。它可以处理大量向量,并通过 HNSW、IVF 等索引减少查询时需要比较的数据量。不过,向量越多,索引和存储成本通常也会增长;实际性能取决于向量维度、索引参数、过滤条件、硬件、更新频率和并发情况。
更关键的是,并不是所有数据都需要向量化。假设研究 Agent 需要管理 10 万篇网页,可以把原文和 PDF 放在文件或对象存储中,把 URL、标题、抓取时间、项目 ID 等元数据放进关系数据库,再为需要语义检索的文本片段建立向量索引。命中后根据文档 ID 取回原始内容。
向量索引只是一个检索入口,不一定是原始内容的唯一存储。对于网页地址、版本号、精确日期、任务 ID 等信息,结构化查询和关键词搜索往往更直接;如果要找“以前讨论过哪些相似的方案”,语义检索才更有优势。
小型 Agent 可以从 SQLite 加文件系统开始。数据量增加、需要并发访问或复杂检索时,再引入 PostgreSQL、向量索引或专门的搜索服务。PostgreSQL 配合 pgvector 也能在一个系统中同时处理结构化字段和向量检索,不一定非要部署独立的向量数据库。
存储选择最终受业务读取方式影响,同时也要考虑数据规模、延迟、更新频率、权限、运维成本和可靠性。Memory 的读取确实很重要,但这并不意味着写入时必须把每条信息都交给 LLM 总结并向量化。文件可以原样保存,结构化记录可以直接入库,只有需要语义检索的内容才需要生成 Embedding。
5. 谁决定写入 Memory:LLM 还是程序?
常见方案是让 LLM 提取语义信息,让程序负责持久化和数据一致性。把所有写入决定都交给模型,或者完全依赖硬编码规则,都各有问题。
LLM 擅长从自然语言里判断用户表达了什么。例如用户说:“以后研究 AI Agent 时,优先用 Python,主要框架采用 LangGraph。”系统可以把消息和相关上下文交给一个提取步骤,要求模型返回结构化结果:
{
"memories": [
{
"type": "user_preference",
"content": {
"language": "Python",
"preferred_framework": "LangGraph"
},
"reason": "用户明确表达了长期偏好"
}
]
}
模型返回的内容不能直接无条件写入数据库。程序还要检查格式、用户或项目归属、权限、是否与已有记忆冲突,以及这条内容是否允许长期保存。之后才执行插入、更新或标记失效,并在需要时更新搜索索引。
并不是所有 Memory 写入都需要调用 LLM。任务执行到某个检查点时,程序可以直接保存任务状态;工具返回的文档 ID、执行时间、完成标记也可以直接入库。只有涉及语义提取、归纳和复杂判断时,LLM 才更有价值。
写入策略还可以区分不同来源:
- 用户明确说“记住这个偏好”“以后都这样做”,可以提高长期保存的优先级。
- 用户临时说“这次写得正式一点”,通常只影响当前任务,不应该自动覆盖长期偏好。
- Agent 自己生成的结论,要区分已验证事实、引用证据和未验证推测。
- 外部网页和工具输出属于外部数据,不能因为它们出现在上下文中,就自动当成用户指令或可靠记忆。
因此,LLM 可以提出“值得记住什么”的候选,程序负责执行写入策略。对于高风险或影响范围很大的记忆,还可以要求用户确认。
6. 什么时候读取 Memory?每次新对话都要读吗?
一种简单实现是每次新会话开始时,把该用户所有 Memory 都加载到上下文。这在记忆很少时可以工作,但随着数据量增长,Token 成本、延迟和无关信息都会增加。
另一种做法是按任务读取。系统收到新请求后,先判断任务类型、用户和项目范围,再选择相关记忆。例如:
- 用户偏好通常很短,可以在会话开始时加载,或作为用户配置注入。
- 研究某个项目时,读取该项目的目标、近期进度和有效决策。
- 用户引用“上次讨论的方案”时,查询历史对话或决策记录。
- 任务执行到某个节点时,按需读取对应操作经验。
- 需要恢复中断任务时,读取 Checkpoint,而不是只搜索长期 Memory。
这几种方式可以组合。一个常见流程是先加载少量稳定信息,再根据当前任务做检索;检索到的内容也要经过过滤和排序,不能全部放进上下文。
用户说“把我们上次讨论的方案列出来”,系统如何查?
模型本身并不会自动知道历史存储在哪里,也不会因为它“不知道”就自动访问数据库。应用需要提供查询能力。最直接的做法是把 search_memory 注册成 Tool,描述它可以搜索用户过去的对话、研究方案和项目决策。
def search_memory(query: str, project_id: str | None = None):
# 实际实现:按当前用户权限搜索数据库、历史记录或向量索引
return memory_repository.search(
query=query,
project_id=project_id,
)
工具描述可以告诉模型:当用户引用过去讨论的内容,而当前上下文不足以回答时,使用这个工具。模型可能返回一个 Tool Call,例如:
{
"name": "search_memory",
"arguments": {
"query": "上次讨论的方案",
"project_id": "agent-research"
}
}
程序收到调用后执行查询,把搜索结果作为 Tool Result 放回对话,再让模型根据结果回答。模型并不直接连接数据库;它请求调用工具,程序执行实际的数据访问。
如果查到了多个方案,系统应把候选项及其时间、项目和简要描述交给模型,由模型请用户确认,而不是随便选一个。若完全没有命中,也应明确说明没找到相关记录,或进一步询问线索。
还有个边界:模型有时并未意识到自己缺少信息,可能直接猜测。因此,对于“上次、之前、我们讨论过”等明确的历史引用,可以在 System Prompt 中要求优先检索,也可以由程序根据规则触发检索,或在回答前做必要的事实检查。工具存在并不自动保证模型每次都会正确调用它。
search_memory 可以一直暴露给模型,也可以通过工具检索机制按需加载。对于常用的历史查询,直接暴露通常更简单;工具特别多时,再考虑动态检索工具定义。
7. 如何处理旧记忆、重复记忆和相互矛盾的结论?
最简单的策略是每次写入一条新记录,读取时按时间倒序排列。但只靠“最新的优先”不够。
例如用户先说“技术文章要正式严谨”,一个月后说“以后尽量自然、口语化”。两条记录都保存并不一定有问题,关键是系统要知道后者更新了前者。如果检索时只命中旧记录,Agent 仍可能采用过时偏好。
一种做法是在记忆中记录状态和更新关系:
{
"memory_id": "mem-102",
"type": "user_preference",
"content": {
"writing_style": "自然、口语化"
},
"status": "active",
"supersedes": "mem-087",
"updated_at": "2026-10-13T10:00:00"
}
supersedes 表示新记录取代了哪条旧记录。实现中还可以使用版本号、有效时间和失效时间。检索默认返回当前有效记录,必要时再提供历史版本。
写入新记忆时,可以先识别它与现有记忆的关系:
- 补充:新信息增加了条件或细节,保留旧信息并补全。
- 更新:新信息明确取代旧偏好或旧状态。
- 重复:内容基本一致,可以合并或不再新增。
- 冲突:信息相互矛盾,但暂时无法确认谁正确,需要保留双方及其来源。
- 失效:旧信息已经不适用于当前任务,可以标记失效,而不必立刻物理删除。
LLM 可以帮助判断两条记录属于哪种关系,但不宜让模型直接无条件删除数据库记录。语义相似并不代表完全重复,特别是研究结论可能只在特定日期、数据集或实验条件下成立。
例如,“模型 A 在基准测试 X 上优于模型 B”和“模型 B 在任务 Y 上优于模型 A”并不矛盾。即使两条记录表面上相似,也应该保留各自的适用条件和来源。系统需要根据来源可信度、时间、版本和条件来判断,不能仅按新旧决定。
在实际实现中,可以由 LLM 给出“合并、更新、保留两条或标记冲突”的建议,再由程序根据明确的规则执行。对于重要事实,保留来源和历史版本通常比直接覆盖更安全。
8. 跨 Chat 的 Memory:新会话能知道多少?
新建一个 Chat 后能不能知道之前的信息,取决于应用如何管理会话历史、用户级记忆和跨会话检索。
如果系统只保存每个会话自己的消息,那么新会话通常不会自动获得其他会话的完整历史。如果所有会话共用一份用户级 Memory,新会话可以读取已经提取并保存的偏好或事实,但这不代表它能看到之前每一轮的原话。如果系统支持跨会话历史搜索,它还可以按需查询旧会话中的具体内容。
因此,“知道用户喜欢什么”和“知道用户上周在另一个 Chat 里具体说过什么”是不同的能力。
实现上,通常需要区分会话 ID、用户 ID 和项目 ID。会话 ID 用于隔离单次对话的历史;用户 ID 用于关联跨会话的偏好;项目 ID 用于关联同一个研究项目的任务、结论和资料。检索时要根据当前请求选择正确范围,并在数据库查询层执行权限检查,不能只靠 LLM 自己记得不要越权。
用户个性化数据确实适合成为长期 Memory,但要区分稳定偏好和当前任务指令。比如用户长期偏好自然、口语化的文章,可以保存为用户级偏好;这次临时要求写得正式一点,应只影响当前任务。若用户明确说“以后都改成正式风格”,才应考虑更新长期偏好。
显式用户配置、LLM 提取的长期 Memory 和当前任务指令可以共同存在。发生冲突时,通常应优先遵循用户当前明确提出的任务要求;长期偏好则作为默认值使用。系统还需要支持用户查看、修改和删除记忆,否则错误或过时的个性化信息可能一直影响后续输出。
9. 服务重启后恢复任务,是 Memory 的工作吗?
这部分通常属于 Checkpoint、持久化状态和恢复机制。
假设研究 Agent 要分析 20 篇论文,已经处理完 12 篇时服务崩溃。如果系统只保存了一条长期 Memory:“这个项目正在研究 20 篇论文”,重启后仍然不知道哪些已经完成、当前分析结果在哪里、下一步应该处理哪一篇。
要恢复任务,系统需要保存足够的执行状态,例如任务 ID、已完成的论文 ID、当前步骤、结果文件位置、待执行操作和必要的状态变量。工作流恢复时读取 Checkpoint,从合适的节点继续执行。涉及外部副作用的操作还需要考虑幂等性,避免恢复时重复创建报告、重复写入记录或重复调用付费接口。
LangGraph 对这两类需求提供了不同机制:Checkpointer 保存特定 thread 的图状态和检查点;Store 用于保存跨 thread 的用户级或应用级数据。前者支持会话连续性、任务恢复等能力,后者用于跨会话的长期信息。实际应用通常可以同时使用两者。官方文档对这一区别有明确说明:LangGraph Memory 和 Persistence。
OpenAI Agents SDK 也把会话历史与压缩能力分开处理。其 Session 可以持久化某个会话的消息,并在下一轮取回;Compaction 则用于在历史变长时缩短会话上下文。OpenAI 的工程示例也明确区分:Compaction 帮助当前长任务继续执行,Memory 帮助未来的运行复用先前经验。Agents SDK Sessions;Building Reliable Agents with Memory and Compaction。
具体接口和能力会随框架版本变化,但理解实现时可以抓住这个判断:如果问题是“下一轮需要知道之前聊了什么”,先看 Session 或 History;如果是“服务崩溃后从哪一步继续”,看 Checkpoint 和持久化状态;如果是“另一个会话也需要知道这条偏好或结论”,看跨会话 Store 或 Memory;如果是“当前上下文太长”,看 Compaction 或 Context 管理。
10. 主流框架如何组织这些能力?
框架通常提供抽象接口和基础设施,但不会替应用决定所有记忆规则。不同项目可能把同一能力放在不同的 API 里,因此应该看它解决的实际问题,而不只是类名里有没有 Memory。
LangGraph:Checkpointer 与 Store
LangGraph 把短期、线程级状态和跨线程的长期记忆区分开。Checkpointer 持久化一个 thread 的图状态;Store 则保存用户级或应用级的数据,可供不同 thread 读取。Store 的具体后端可以替换,应用也可以在图节点里决定什么时候读写。需要注意,使用 InMemoryStore 只适合开发或测试,进程结束后数据不会像持久化数据库那样保留下来。
概念示例:
from langgraph.checkpoint.memory import InMemorySaver
from langgraph.store.memory import InMemoryStore
from langgraph.graph import StateGraph
checkpointer = InMemorySaver()
store = InMemoryStore()
builder = StateGraph(...)
graph = builder.compile(
checkpointer=checkpointer,
store=store,
)
这段代码展示的是组件关系,不是完整可运行的 Agent。真实项目需要定义 State、节点和边,并为每次调用提供正确的 thread 配置。生产环境还应选择持久化的 Checkpointer 和 Store 后端。
OpenAI Agents SDK:Session 与 Compaction
OpenAI Agents SDK 的 Session 用于自动维护某个会话的历史;Compaction 可以在历史达到阈值或应用指定的条件时压缩会话记录。它们解决的是会话连续性和上下文变长的问题。跨运行复用经验的 Memory 则需要额外的提取和存储策略,不应该把 Compaction 本身当成长期 Memory。
语义、情景和程序性记忆
一些记忆库或 Agent 框架会从语义、情景和程序性记忆的角度组织数据。这种分类有助于确定信息应该如何写入和读取:稳定事实可以按用户或项目直接查;历史经历可以按任务、时间和语义检索;操作经验可以在相关任务启动时加载。但这仍然是一种设计抽象,具体存储和生命周期要由应用决定。
框架能提供 Store、Session、Checkpoint、检索器和模型调用接口,至于什么值得记住、什么可以覆盖、冲突时如何处理、哪些信息必须保留原文,这些仍然需要结合业务设计。
11. 一个实用的 Memory 架构
把前面的讨论放在一起,研究 Agent 可以从下面这套相对简单的结构开始:
- 会话历史:保存当前对话的用户消息、模型回复和工具结果。根据业务要求决定是否全量归档。
- 任务状态与 Checkpoint:保存当前研究任务的进度、阶段产物和恢复信息。
- 长期 Memory Store:保存用户偏好、项目决策、研究进展和可复用经验,并带上来源、时间、状态等元数据。
- 原始资料存储:保存网页、PDF、报告和工具返回的原始内容。
- 检索层:结合结构化查询、关键词检索和向量检索,按当前任务找到相关信息。
- Memory 写入流程:由程序规则和 LLM 提取共同决定候选记忆,经过校验、去重、冲突处理后持久化。
- Context Builder:把当前消息、必要的历史、任务状态和相关 Memory 组合成模型真正需要的输入,并控制 Token 预算。
整体流程可以理解为:
用户请求
|
v
识别会话、用户、项目与任务
|
+--> 加载当前会话历史 / 任务 Checkpoint
|
+--> 读取少量稳定偏好
|
+--> 根据任务检索相关 Memory 和原始资料
|
v
Context Builder 组织模型输入
|
v
LLM 决策 / 调用工具 / 生成回答
|
+--> 持久化会话与任务状态
|
+--> 在合适的时机提取、更新长期 Memory
|
v
向用户返回结果
这套结构不要求每个环节都一开始就独立部署。小型项目可以用 SQLite 保存会话和结构化记忆,用文件系统保存研究资料;需要语义检索时再添加向量索引;需要长任务恢复时再引入合适的 Checkpointer。架构可以逐步扩展,但数据的含义和生命周期最好从一开始就分清楚。
结语
Memory 工程里最难的部分,往往不是把数据写进数据库,而是判断信息应该以什么形式保存、什么时候读取,以及旧信息发生变化时该怎么处理。
完整历史负责追溯,Checkpoint 负责恢复执行,长期 Memory 负责跨任务复用,检索层负责找到相关内容,Context Builder 再决定哪些信息进入本次模型调用。把这些职责拆清楚之后,才能根据任务需求选择合适的存储和框架,而不是一遇到“记忆”就默认使用向量数据库。
对于研究 Agent,先把会话历史、任务状态、用户偏好、项目决策和原始资料分开管理,就已经能覆盖许多实际需求。之后再根据真实使用情况增加语义检索、记忆更新和冲突处理,通常比一开始就设计一个无所不包的 Memory 系统更容易落地。