Session 07:RAG / Knowledge——让 Agent 能够检索和利用外部知识
LLM 可以根据当前上下文回答问题,但它不一定掌握任务所需的全部信息。知识可能来自企业文档、数据库、网页、内部知识库,也可能是最近才更新的内容。
1. 为什么 Agent 需要 RAG
LLM 可以根据当前上下文回答问题,但它不一定掌握任务所需的全部信息。知识可能来自企业文档、数据库、网页、内部知识库,也可能是最近才更新的内容。如果每次都把所有资料塞进 Prompt,会受到上下文长度、成本和相关性等限制。
RAG(Retrieval-Augmented Generation,检索增强生成)常用的做法是:先从外部知识源检索与当前问题相关的内容,再把检索结果交给 LLM,让它基于这些材料生成回答。
以 Research Agent 为例,用户希望研究某个技术主题。Agent 可以先搜索网页、读取文档或查询知识库,把找到的资料整理成证据,再让 LLM 分析和生成研究报告。模型的回答因此可以利用外部资料,而不必完全依赖参数中学到的知识。
RAG 本身不等于某一种数据库,也不要求每次都由 LLM 自主决定如何检索。检索方式、调用时机和执行路径,都可以根据业务需求设计。
2. RAG 和 Memory 是什么关系
RAG 和 Memory 经常一起出现,因为它们都可能涉及外部存储和检索,但解决的问题有所不同。
Memory 关注 Agent 需要记住什么,以及以后如何取回。 例如,记住用户的偏好、长期目标、以前做过的决定,或者某个任务已经完成到哪里。
RAG 关注如何从外部知识源取回与当前问题相关的资料,并把它们提供给模型使用。 资料可能是产品文档、技术文章、内部规范、数据库记录等。
两者在工程实现上可以复用同样的存储和检索技术。例如,向量检索既可以用来查找知识库中的文档,也可以用来召回历史记忆。但不能因此把 RAG 和 Memory 当成同一个概念:知识库内容不一定是 Agent 的个人记忆,Memory 也不一定通过 RAG 来实现。
可以把 RAG 看作一种知识增强方案,也可以把它作为 Memory 系统的一部分。最终要看存储的内容是什么,以及系统想解决什么问题。
3. 检索有哪些常见方式
RAG 的关键步骤之一是检索。不同方式有不同的优势,没有一种方式能在所有场景中占优。
3.1 关键词与全文检索
关键词检索根据用户查询中的词语,匹配文档内容或索引字段。全文检索通常还会考虑分词、词项权重、相关性评分等。
例如,用户搜索"LangGraph checkpoint",系统可能优先找到包含这些关键词的文档。
它的优势是结果通常容易解释,对产品名称、错误码、类名、API 名称和精确术语很有用。缺点是查询和文档的表达方式差异较大时,可能漏掉语义相关但没有出现相同词语的资料。
3.2 向量检索
向量检索通常先将文档切分成片段,再使用 Embedding 模型把文本转换为向量。查询也会转换成向量,检索系统根据向量之间的相似程度,找出语义上可能相关的片段。
例如,用户问"如何保存 Agent 执行进度",即使文档中使用的是"checkpoint"或"状态持久化",向量检索仍有机会找到相关内容。
向量检索适合表达不同、含义相近的查询,但相似度高不代表内容一定正确,也不代表检索结果能直接回答问题。精确标识符、数字、版本号等内容也可能需要关键词检索补充。
3.3 混合检索
混合检索通常把关键词检索和向量检索的结果结合起来,再进行去重、合并或排序。对于既包含自然语言问题、又包含具体技术名词的任务,这种方式往往更实用。
例如 Research Agent 查询某个框架的故障处理方式时,关键词检索可以找到确切的 API 名称和错误信息,向量检索可以找出使用不同说法解释相同问题的资料。两类结果结合后,再通过排序或重排模型(Reranker)挑选更相关的内容。
混合检索并不一定适合所有任务。如果查询本身非常精确,简单的关键词检索可能就够了;如果知识库规模小、语义查询是主要需求,也可以先从向量检索开始。工程方案应由数据特点和业务目标决定。
4. 检索方式不等于数据库类型
容易混淆的一点是:关键词检索不等于关系数据库,向量检索也不等于只能使用专门的向量数据库。
检索方法和底层存储是两个不同层面:
- 检索方法:关键词、全文、向量、混合检索、结构化查询等。
- 存储与检索系统:关系数据库、搜索引擎、向量数据库、对象存储等。
例如:
系统 常见用途
PostgreSQL 结构化数据、全文检索;通过 pgvector 扩展也能做向量检索
Elasticsearch / OpenSearch 关键词搜索、全文检索、向量检索及混合检索
Milvus / Qdrant / Pinecone 面向向量相似度检索的专门系统
MySQL 等关系数据库 结构化记录、条件查询;也可作为知识元数据的存储位置
对象存储 保存 PDF、图片、音频、视频等原始文件
实际项目里可以组合使用多种系统。例如,原始 PDF 放在对象存储中,文档标题、权限、来源 URL 等元数据保存在关系数据库里,文本片段和向量放在搜索系统或向量数据库里。
音视频尤其需要区分原始文件与检索索引。通常不会把完整视频本身直接当作一个普通向量存进向量数据库。系统可能先提取音频、转写文本、抽取关键帧或生成描述,再对这些片段建立检索索引,并通过文件 ID、时间戳等信息定位原始内容。
5. RAG 是如何接入 Agent 的
检索可以在程序侧提前执行,也可以通过 Tool 交给 LLM 决定。两种方式都合理,关键看业务流程是否明确、是否需要模型根据中间结果动态选择检索方式。
5.1 程序先检索,再把结果交给 LLM
当检索路径比较明确时,程序可以先执行检索,然后将相关资料作为上下文传给模型。
def answer_question(question: str) -> str:
documents = hybrid_search(question, top_k=8)
return call_llm(
system_prompt=(
"请根据提供的资料回答问题。"
"如果资料不足,请明确说明,不要编造来源。"
),
user_message=build_message(
question=question,
documents=documents,
),
)
这里的 hybrid_search()、call_llm() 和 build_message() 是需要实现的业务函数,用来展示调用关系。
这种方式简单、可控,也便于限制检索次数和成本。对于 Research Agent,可以先执行固定的混合检索,再让 LLM 判断证据是否足够。如果不够,再根据诊断结果决定是否补充检索。
5.2 把检索能力包装成 Tool,由 LLM 选择
当任务的检索方式取决于中间结果时,可以向 LLM 提供检索工具。例如 search_knowledge 用于知识库检索,search_web 用于网页检索,query_database 用于结构化数据查询。
模型可以根据当前问题选择工具。程序收到工具调用请求后执行对应函数,再把工具结果作为消息返回给模型,供其继续处理。
典型流程如下:
User:比较方案 A 与方案 B 的部署限制
|
v
LLM:请求调用 search_knowledge
|
v
程序:执行检索,返回相关文档
|
v
LLM:判断资料是否足够
|
+---- 足够 ----> 生成分析
|
+---- 不足 ----> 请求补充搜索
需要注意,LLM 发出工具调用请求时,通常只是提出一个动作;实际执行由应用程序或 Agent Runtime 完成。程序执行完后再把工具结果放回对话消息中,模型才可以基于新结果继续判断。
5.3 两种方式如何选择
可以先用一个简单原则:程序能确定的检索步骤,尽量由程序直接执行;需要根据内容动态决定下一步时,再让 LLM 选择或请求工具。
例如,Research Agent 的第一轮检索通常可以由程序统一执行关键词和向量混合检索,因为这是预先确定的流程。之后由 LLM 检查证据是否覆盖了研究问题;如果发现某个关键问题缺少资料,再让 LLM 提出检索关键词或建议更换来源,程序负责实际执行并限制重试次数。
这种组合既保留了流程的可控性,也允许模型在确实需要的时候参与决策。
6. 检索结果怎样进入模型上下文
检索到的资料不会自动进入 LLM 的上下文。程序需要把检索结果整理成消息,再放进模型请求。
例如,检索服务返回以下记录:
documents = [
{
"id": "doc-101",
"title": "部署指南",
"url": "https://example.com/deploy",
"text": "方案 A 支持在本地环境部署……",
},
{
"id": "doc-205",
"title": "成本分析",
"url": "https://example.com/cost",
"text": "在给定测试环境下,方案 B 的运行成本……",
},
]
程序可以把它们整理成一条 User Message:
研究问题:
比较方案 A 与方案 B 的部署方式和成本。
检索资料:
[doc-101] 部署指南
来源:https://example.com/deploy
内容:方案 A 支持在本地环境部署……
[doc-205] 成本分析
来源:https://example.com/cost
内容:在给定测试环境下,方案 B 的运行成本……
请基于这些资料分析。每个重要结论都应指出对应来源。
如果资料无法支持某个结论,请说明证据不足。
LLM 看到的只是请求中实际传入的消息和内容。它不会因为资料存放在数据库里,就自动知道数据库中有什么。检索、筛选、格式化和消息传递都需要由应用程序或工具链完成。
另外,检索结果也需要控制数量。把所有命中的文档都放进 Prompt,可能导致上下文过长、成本升高,并让真正重要的证据被大量噪声淹没。通常需要先进行切分、召回、过滤和排序,再选出适量内容传给模型。
7. RAG 常见的工程问题
7.1 检索不到需要的资料
原因可能是资料根本不存在、查询词不合适、文档切分不合理、索引没有更新,或者检索方式不适合当前问题。
可以先区分是"没有召回"还是"召回了但不相关"。前者可以尝试改写查询、切换来源或检查索引;后者则需要改善过滤和排序,或者调整切分方式。
对 Research Agent 来说,如果第一轮检索没有找到有用证据,LLM 可以分析当前缺失项并提出新查询,程序再执行有限次数的补充检索。
7.2 找到资料,但资料不支持结论
相关性高不代表证据充分。某篇文档可能提到了某个产品,却没有回答用户关心的成本、性能或限制。
因此,RAG 不应只关注检索相似度,还应检查检索结果是否支持具体结论。可以让 LLM 辅助判断证据与结论之间的关系,但对重要事实仍应保留来源链接,并尽可能进行独立验证。
7.3 来源之间存在冲突
多个来源可能发布时间不同、适用版本不同,或者采用了不同的测试条件。此时不应简单把几段文本拼在一起,让模型自行得出确定结论。
可以保留每条证据的来源、时间、版本和适用范围,让 LLM 明确指出冲突;如果冲突会影响关键结论,就补充检索或请求人工判断。报告中也应该说明哪些结论仍有不确定性。
7.4 检索结果太多,上下文膨胀
即使检索正确,返回的内容太多也会影响模型表现。可以先提高召回覆盖率,再通过过滤、去重、Reranker 或分阶段摘要缩小上下文。对长文档,还可以先检索相关片段,需要时再读取原文上下文。
不要把"检索到了很多内容"当成质量保证。最终传给 LLM 的资料应尽量相关、可追溯,并且足以支持当前任务。
7.5 权限和数据安全
企业知识库中,用户可能只能访问部分文档。权限过滤应该在检索链路中明确实施,不能只依靠 System Prompt 要求模型不要泄露内容。还需要考虑索引更新、删除同步、访问日志和敏感信息处理等问题。
8. Research Agent 的一套实用处理流程
结合前面讨论,可以把研究任务的检索阶段设计成这样:
- 程序接收研究主题,执行第一轮关键词与向量混合检索。
- 程序整理候选资料,保留来源 ID、URL、标题和必要的元数据。
- LLM 检查资料是否覆盖研究问题中的关键部分,并指出证据缺口。
- 如果证据充分,进入分析和报告生成。
- 如果证据不足,LLM 返回新的检索方向,程序执行补充检索。
- 如果多轮检索后仍缺少关键证据,程序停止自动扩展;核心证据缺失时请求人工介入,非关键部分缺失时允许生成带有局限说明的报告。
- 报告生成后,检查关键结论是否能对应到真实来源,避免引用与结论不匹配。
这里需要把几个概念分清楚:RAG 负责检索和提供知识;Workflow 负责组织步骤与条件分支;Reflection 可以用于检查检索结果或最终报告;Memory 则负责保存后续交互可能需要再次使用的信息。它们可以组合在同一个 Agent 中,各自承担不同职责。
9. 业界常见实现方案
9.1 传统 RAG
先检索相关文档,再把文档片段放进 Prompt 生成回答。实现简单,适合知识库问答、内部文档助手等任务。主要工作在数据切分、索引构建、检索质量和上下文组织上。
9.2 混合检索 + Reranker
先用关键词和向量检索召回候选文档,再用排序模型对候选结果重新排序,选择更相关的资料传给 LLM。适合技术文档、企业知识库和 Research Agent 等对检索质量有要求的场景。
9.3 Agentic RAG
在检索之外加入 LLM 的决策能力。模型可以判断是否需要检索、选择知识源、改写查询,或在看到结果后决定是否继续查找。灵活性更高,但调用次数、成本和执行路径也更难预测,因此通常需要重试上限、权限约束和明确的停止条件。
9.4 生产级 RAG
生产环境通常还要考虑权限过滤、索引更新、缓存、超时、日志、评估、引用验证和监控。检索结果不仅要"看起来相关",还应能够追溯来源、解释失败原因,并在知识缺失时给出合理的降级行为。
常见技术组合包括:
- PostgreSQL + pgvector:将结构化数据、元数据和向量检索放在相对统一的技术体系中。
- Elasticsearch / OpenSearch:适合全文检索、关键词与向量混合检索。
- Milvus / Qdrant / Pinecone:用于向量相似度检索。
- LangChain / LangGraph:组织检索组件、工具调用和带条件分支的 Agent 流程。
这些工具解决的问题层次不同,可以组合使用。框架能减少部分工程工作,但无法自动保证数据质量、检索效果或答案可靠性。
10. 小结
RAG 的基本过程是从外部知识源检索相关内容,再将内容传给 LLM 使用。关键词检索、向量检索和混合检索是不同的检索方式,数据库则是承载数据与检索能力的系统,两者不能简单画等号。
在 Research Agent 中,一个实用的起点是程序先执行固定的混合检索,再由 LLM 判断证据是否充分;证据不足时,LLM 提出新的检索方向,程序执行有限次数的补充检索。检索结果应保留来源信息,重要结论要能追溯到证据;多轮检索后仍然缺少关键资料,就应明确说明局限或请求人工介入。
RAG、Memory、Workflow 和 Reflection 可以配合使用:RAG 提供外部知识,Memory 保存后续可能用到的信息,Workflow 控制执行路径,Reflection 检查结果并推动补救。把职责分清楚,后续设计更复杂的 Agent 时会容易很多。