Session 08: workflow — making the agent follow a fixed sequence
之前讨论 Agent 时,我们主要关注模型如何决定下一步、调用 Tool,再根据工具返回的结果继续执行。
1. 为什么需要 Workflow
之前讨论 Agent 时,我们主要关注模型如何决定下一步、调用 Tool,再根据工具返回的结果继续执行。随着任务变复杂,只靠一个 Agent 自己决定所有动作,会让执行过程变得难以控制。
以 Research Agent 为例。用户希望研究一个技术主题,并生成一份有证据支持的研究报告。整个任务通常包括搜集资料、分析资料、检查证据是否充分、生成报告等步骤。
这些步骤有比较明确的先后关系。资料还没搜集,就不能直接做完整分析;证据不足时,应该先补充检索;资料满足要求后,才适合生成最终报告。
这类任务适合用 Workflow 组织。程序提前定义整体流程,决定哪些步骤可以执行、每一步成功后去哪里、失败时怎么处理;LLM 则在需要语义理解和判断的地方参与工作。
Workflow 的核心是把执行过程组织成一套有边界、可跟踪的流程。它可以包含 LLM 调用、Tool 调用、条件分支、循环和人工确认,不意味着所有步骤都必须固定不变。
2. 一个研究报告 Workflow
先看一个简化流程:
用户提交研究主题
|
v
搜集资料
|
v
分析资料
|
v
检查证据是否充分
|
+---- 不充分 ----> 生成补充检索方向
| |
| v
| 补充检索
| |
+<----------------------+
|
充分
|
v
生成研究报告
|
v
检查报告是否符合要求
|
+---- 需要修正 ----> 修改报告
| |
+<----------------------+
|
v
返回报告
这里有两种循环:第一种发生在研究资料阶段,检查证据是否足够;第二种发生在报告生成阶段,检查成品是否符合要求。每个循环都应该设置上限,避免 Agent 不断搜索或修改。
流程中的每一步也不一定都由 LLM 执行。例如,搜集资料可以由程序调用搜索 API 或 RAG 检索;检查证据是否充分适合由 LLM 辅助判断;JSON 格式、必填字段和引用 ID 是否存在,则可以由程序直接验证。
3. 程序和 LLM 各自负责什么
在 Workflow 中,程序和 LLM 之间的职责可以这样划分:
- 程序负责流程控制。 哪些节点可以执行、执行顺序、分支条件、循环上限、超时和失败处理,都应该有明确的控制逻辑。
- LLM 负责需要语义理解的判断。 比如资料是否真正回答了研究问题、现有证据是否足够、还应该搜索什么内容、报告有没有遗漏关键观点。
- Tool 负责具体动作。 例如搜索网页、查询数据库、读取文档、保存文件等。
程序可以确定的事情,尽量直接由程序处理。只有需要模型理解内容或在多个选项中做判断时,才把问题交给 LLM。这样更容易控制成本,也更容易定位错误。
例如,"资料列表是否为空"不需要问模型;"这批资料能否支持关于部署成本的结论"则需要理解资料内容,可以交给 LLM 判断。
4. 把流程写成 Python 代码
先用一个简单的 Python 版本展示 Workflow 的控制方式。下面的函数 search_evidence()、check_evidence()、generate_report() 等代表具体业务实现,流程代码负责调用它们并决定下一步。
MAX_SEARCH_ROUNDS = 3
MAX_REVISION_ROUNDS = 2
def run_research_workflow(topic: str) -> dict:
# 1. 初次搜集资料
evidence = search_evidence(topic)
# 2. 检查证据是否充分,必要时补充检索
for round_no in range(MAX_SEARCH_ROUNDS):
diagnosis = check_evidence(
topic=topic,
evidence=evidence,
)
if diagnosis["sufficient"]:
break
queries = diagnosis.get("search_queries", [])
if not queries:
break
more_evidence = search_more_evidence(queries)
evidence = merge_evidence(evidence, more_evidence)
# 3. 生成报告
report = generate_report(
topic=topic,
evidence=evidence,
)
# 4. 检查报告,不符合要求时有限次修正
for _ in range(MAX_REVISION_ROUNDS):
review = check_report(
topic=topic,
evidence=evidence,
report=report,
)
if review["passed"]:
return {
"status": "completed",
"report": report,
"evidence": evidence,
}
report = revise_report(
report=report,
issues=review["issues"],
evidence=evidence,
)
# 达到修正上限后,不能假设报告已经通过检查
final_review = check_report(
topic=topic,
evidence=evidence,
report=report,
)
return {
"status": (
"completed"
if final_review["passed"]
else "completed_with_limitations"
),
"report": report,
"evidence": evidence,
"review": final_review,
}
这段代码重点在流程控制,几个业务函数需要接入真实的 LLM API、搜索服务或 RAG 系统后才能运行。它们并不是 Python 内置函数。
这里有几个值得留意的地方。
首先,LLM 返回的判断结果会改变流程。如果证据充分,程序进入报告生成;如果不足,模型给出补充检索方向,程序执行搜索,然后再次检查。
其次,循环次数由程序限制。模型可以建议继续检索或修改,但不能无限执行。达到上限之后,程序应明确标记结果状态,而不是默认任务已经成功。
最后,检查和修正是不同的节点。检查节点负责诊断问题,修正节点负责解决问题。这样更容易观察每一步的输入、输出和失败原因。
5. LLM 是如何参与 Workflow 的
上面的代码把 LLM 调用封装在 check_evidence() 里。理解这个函数,就能看清程序和模型之间的实际交互。
假设程序已经收集了一批资料。它会将研究目标、验收标准和证据内容整理成消息,再发送给 LLM。
System Prompt
你是研究流程中的证据检查节点。
请判断当前资料是否足以支持研究问题所需的主要结论。
检查要求:
1. 资料是否与研究问题直接相关。
2. 关键结论是否有可追溯的来源支持。
3. 是否存在重要证据缺失或来源冲突。
4. 如果证据不足,请给出下一步最有价值的检索关键词。
5. 如果证据已经满足最低要求,不要为了追求完美无限扩展搜索。
只返回 JSON:
{
"sufficient": boolean,
"issues": [string],
"search_queries": [string],
"summary": string
}
User Message
研究主题:比较方案 A 和方案 B 的部署成本与主要限制。
当前证据:
1. 方案 A 的官方文档介绍了部署要求,但没有给出总成本。
2. 一篇技术文章讨论了方案 B 的运行成本,但没有说明测试环境。
3. 一份用户案例提到了方案 A 的实际成本,但项目规模与本次研究不同。
请根据检查标准判断证据是否充分,并返回指定 JSON。
LLM 可能返回:
{
"sufficient": false,
"issues": [
"缺少方案 A 和方案 B 在可比环境下的成本数据",
"方案 B 的成本来源没有说明测试环境"
],
"search_queries": [
"方案 A 生产环境部署成本",
"方案 B 生产环境部署成本 测试环境"
],
"summary": "当前证据不足以进行可靠的成本比较,需要补充可比较的数据。"
}
程序收到结果后,不是简单地把这段 JSON 展示给用户,而是读取 sufficient 和 search_queries,决定是否调用搜索工具。补充资料进入流程状态后,再调用检查节点。
实际实现中,需要校验模型返回的 JSON 格式、字段类型和查询数量。模型输出结构化数据并不意味着内容一定正确,程序仍然需要做基本校验。
6. 证据不足时,应该怎样处理
检查结果为"不充分"时,最直接的做法是继续搜索,但真实系统不能只设计这条路径。检索失败可能有不同原因,需要采取不同措施。
6.1 先判断为什么失败
例如:
- 关键词不合适: 让 LLM 根据已有资料和缺失项改写查询。
- 当前搜索源没有相关资料: 切换搜索引擎、数据库或其他可用来源。
- 检索工具调用失败: 由程序根据错误类型决定是否重试。
- 资料存在,但证据质量不够: 搜索更可靠的来源,或寻找直接证据。
- 核心证据仍然缺失: 停止自动搜索,请求人工补充信息或确认研究范围。
这里要区分"工具执行失败"和"搜索成功但没找到有用资料"。前者可能是网络超时或 API 错误;后者则是内容层面的问题。它们的处理方式不同。
6.2 先补救,再决定是否交给人工
一个比较实用的策略是:
- 程序先检查错误类型。遇到可重试的临时故障,有限次重试。
- 搜索结果不相关时,让 LLM 生成新的关键词或更换查询方式。
- 如果当前数据源找不到资料,尝试其他已经配置好的来源。
- 如果达到重试上限仍然缺少关键证据,停止自动执行。
- 根据缺失证据的重要性决定后续动作:核心证据缺失时请求人工介入;非关键证据缺失时可以继续生成,但必须在报告中说明局限。
不能把"流程执行完了"和"研究任务完成了"当成一回事。 Workflow 可以在状态上结束,但结果可能是成功、部分完成或需要人工处理。把这些状态明确区分开,后续系统才能正确使用结果。
7. Workflow 和自主 Agent 有什么区别
两者都会调用 LLM 和 Tool,也都可能包含循环。主要差别在于谁决定整体执行路径。
对比项 Workflow 自主 Agent
整体路径 程序预先定义主要步骤和分支 LLM 根据当前观察动态决定下一步
控制权 程序掌握流程控制 LLM 在授权范围内选择动作
可预测性 通常更容易追踪和测试 路径更灵活,执行结果更难预测
适合任务 流程明确、重复性高、要求可控 探索性强、路径难以提前定义
主要风险 预定义路径覆盖不了所有情况 容易走偏、循环或产生不必要的调用
例如,固定格式的研究报告可以使用 Workflow:先检索、再分析、检查证据、生成报告。如果在源码仓库中探索一个陌生问题,事先很难知道应该查看哪些文件、调用哪些工具,那么让 Agent 根据当前发现动态决定下一步会更灵活。
实际项目并不需要二选一。可以用 Workflow 控制大的阶段,在某个探索性步骤中运行自主 Agent。比如,研究流程的外层明确规定"搜集证据---检查---生成报告",但在"搜集证据"这个阶段里,允许一个 Research Agent 自主选择搜索关键词、阅读资料并决定下一步探索方向。外层负责边界,内部 Agent 负责局部探索。
8. 业界通常怎么实现 Workflow
8.1 自己用 Python 编排
像前面的例子一样,使用普通函数、条件判断、循环和状态对象组织流程。
优点是控制逻辑直观,容易理解每一次 LLM 调用和 Tool 执行;缺点是流程复杂之后,节点依赖、状态管理、持久化、重试、可观测性和恢复机制都需要自己维护。
对于学习 Agent 原理或流程比较简单的项目,手写 Python 是很好的起点。
8.2 LangGraph
LangGraph 将流程组织成 Graph:节点执行具体工作,边定义节点之间的流转,State 保存流程状态,条件边根据当前状态决定下一步。
在研究报告案例中,可以把"初始检索""证据检查""补充检索""生成报告""报告检查""修正报告"分别做成节点。证据检查节点根据结果返回状态,条件边决定进入补充检索还是报告生成。
当流程包含循环、条件分支、长时间运行、状态持久化或人工介入时,图结构比不断增加嵌套的 if 和 for 更容易维护。LangGraph 也不会自动替你写好业务逻辑:节点内部的 LLM 调用、Tool 执行、验收标准和失败处理仍需要设计。
8.3 其他 Agent 框架
一些框架提供更高层的任务或角色抽象,帮助组织多个步骤、Agent 和工具。它们可能更快搭建出一个流程,但底层仍然需要回答相同的问题:谁控制执行顺序、状态放在哪里、失败如何处理、什么时候结束。
选择框架时,重点不在于 API 看起来有多简洁,而在于它是否适合当前流程的复杂度,以及能否满足状态跟踪、调试和恢复要求。
9. 小结
Workflow 适合流程相对明确、需要稳定控制执行路径的 Agent 任务。程序定义节点、分支、循环和停止条件;LLM 负责理解内容、判断证据是否充分、提出补救方向;Tool 负责实际检索和操作。
研究报告是一个典型例子:程序先搜集资料,让 LLM 检查证据,再根据结果决定补充检索还是生成报告,最后检查成品并有限次修正。搜索失败、证据不足和报告未通过检查,都应该有明确的处理路径。
先用 Python 理清流程控制,再用 LangGraph 管理节点、状态和条件流转,是一个比较自然的学习路线。最重要的是,无论使用哪个框架,都要明确程序和 LLM 各自负责什么,并且给重试、循环和失败处理设置边界。