Session 06: reflection — checking the result before moving on

前面的 Agent Loop 已经能让模型根据用户目标决定下一步、调用工具,再根据工具返回的结果继续执行。

Originally in ChineseThis article was written in Chinese. The body below is the Chinese original; the English translation is not available yet.

1. Reflection 解决什么问题

前面的 Agent Loop 已经能让模型根据用户目标决定下一步、调用工具,再根据工具返回的结果继续执行。Planning 又让 Agent 能把复杂任务拆成多个步骤,并跟踪当前进度。

但执行了步骤,并不代表结果就可靠。

以 Research Agent 为例:用户让它研究一个技术主题。Agent 搜索了一批资料,整理出结论,最后生成研究报告。流程看起来跑完了,但可能仍然存在这些问题:

  • 搜到的资料和研究主题只有部分相关;
  • 关键结论只有一篇来源支持,证据不足;
  • 报告中的结论与引用材料不一致;
  • 某一步工具调用失败了,后续步骤却继续执行;
  • 报告结构完整,但没有回答用户真正关心的问题。

Reflection(反思机制)就是在执行过程中或执行之后,检查当前结果是否达到预期,并据此决定下一步怎么做。

这里的"反思"不意味着模型进行某种神秘的自我思考。工程上,它通常是一段明确的检查流程:把目标、当前结果和验收标准交给模型或程序,得到检查结论,再由程序决定继续、重试、修正、结束或请求人工介入。

2. Reflection 和 Agent Loop、Planning 的关系

可以把这几个概念放在同一个执行循环里理解:

  1. Agent Loop 负责持续运行:观察当前状态、决定下一步、执行动作,再读取结果。
  2. Planning 负责形成和跟踪计划:要完成哪些步骤,目前完成到哪里,还剩下什么。
  3. Reflection 负责检查结果:当前结果是否符合要求;如果不符合,具体差在哪里,下一步该怎么补救。

以研究报告为例,Planning 可以生成这样的计划:

text
1. 搜集有关主题的资料
2. 提取主要观点和证据
3. 检查证据是否充分
4. 生成研究报告
5. 检查报告是否符合要求

第 3 步和第 5 步都可能使用 Reflection,但检查对象不同。第 3 步检查研究资料能否支持后续分析;第 5 步检查生成的报告是否符合用户目标。

Reflection 也不一定要作为独立的一步出现。比如工具执行后,程序可以先做确定性的错误检查;发现错误后,再让 LLM 判断如何调整。关键在于检查点是否明确,以及检查结果是否真正影响了后续执行。

3. 先明确检查标准,再让模型检查

如果只给模型一句"请检查一下结果有没有问题",它可能会给出比较泛泛的评价,例如"整体不错,但还可以更完善"。这类反馈很难驱动程序采取明确动作。

更实用的方式是提前定义验收标准(acceptance criteria)。以研究报告为例:

  • 是否回答了用户指定的研究问题;
  • 关键结论是否有可追溯的来源支持;
  • 是否存在来源与结论不匹配的情况;
  • 是否明确区分事实、推断和不确定信息;
  • 是否缺少影响结论的重要证据;
  • 输出结构是否满足约定格式。

检查标准最好能具体到可执行的程度。比如"重要结论必须有来源支持"可以作为一条标准;"报告必须写得很好"则太模糊,很难据此决定下一步动作。

不同检查项也适合不同的执行方式:


检查内容 更适合的方式 原因


JSON 是否合法、字段是否齐全 程序校验 规则明确,结果可重复

是否包含必须的章节 程序校验 可直接检查结构

引用是否能定位到来源 程序校验或检索验证 需要检查来源 ID、URL 等信息

结论是否被材料支持 LLM 辅助判断 需要理解语义和上下文

是否遗漏关键观点、论证是否充分 LLM 辅助判断 通常需要结合目标综合判断

高风险或影响重大的最终决定 人工审核 模型判断可能出错

工程上通常会把程序校验、LLM 语义评估和人工审核组合起来。程序负责能确定的规则,LLM 负责需要语义理解的部分;遇到高风险、证据冲突或无法自动处理的情况,再交给人。

4. 让 Reflection 返回可执行的诊断结果

Reflection 的输出最好不要只有一段自然语言意见。程序需要知道检查是否通过、哪些标准未通过、问题是什么,以及建议采取什么动作。

例如,可以约定模型返回下面这样的 JSON:

json
{
  "passed": false,
  "issues": [
    {
      "criterion": "关键结论有来源支持",
      "severity": "high",
      "description": "关于方案成本的结论只有一条间接证据",
      "suggested_action": "search_more_evidence"
    },
    {
      "criterion": "区分事实和推断",
      "severity": "medium",
      "description": "有一处推断被写成了确定事实",
      "suggested_action": "revise_report"
    }
  ],
  "summary": "当前证据不足以支持成本结论,需要补充资料后再生成最终报告。"
}

这份结构化结果把"检查"与"执行动作"连接起来。程序可以根据 passed 和 suggested_action 走不同分支,而不必每次都解析一大段自由文本。

需要注意,模型输出 JSON 并不意味着它的判断一定正确。实际应用中仍然需要校验 JSON 格式、限制字段取值,并对关键结论进行独立验证。

5. System Prompt 和实际消息可以怎么设计

下面以"检查研究证据是否足够"为例。System Prompt 应明确检查角色、验收标准、输出格式和判断边界。

System Prompt

text
你是研究报告流程中的证据检查节点。

你的任务是判断当前收集的资料是否足以支持研究问题所需的主要结论。

检查要求:
1. 逐项检查研究目标中的关键问题是否有相关证据支持。
2. 区分直接证据、间接证据和缺失证据。
3. 如果来源之间存在冲突,明确指出冲突内容,不要自行假定其中一方正确。
4. 不要因为资料数量多就判断证据充分;要看资料是否相关、可靠,并且是否支持对应结论。
5. 如果证据不足,给出下一步最有价值的检索方向。
6. 如果已经达到最低要求,不要为了追求完美无限扩展搜索。

只返回符合指定 JSON Schema 的结果:
{
  "passed": boolean,
  "issues": [
    {
      "criterion": string,
      "severity": "low" | "medium" | "high",
      "description": string,
      "suggested_action": "search_more_evidence" | "revise_report" | "human_review"
    }
  ],
  "search_queries": [string],
  "summary": string
}

User Message

程序把本次研究目标和已收集的证据整理后传入模型。例如:

text
研究问题:
比较方案 A 与方案 B 的部署成本和主要限制。

验收标准:
- 两种方案都需要有成本相关的证据;
- 关键结论应能追溯到来源;
- 如果资料不足或来源冲突,需要明确指出。

已收集资料:
[来源 1] 方案 A 的官方文档说明了基础部署要求,但没有提供总成本数据。
[来源 2] 一篇技术文章讨论了方案 B 的运行成本,但没有交代测试环境。
[来源 3] 一份用户案例提到方案 A 的实际使用成本,但项目规模与本次研究不完全相同。

请检查当前证据是否足够,并按约定 JSON 格式返回诊断结果。

在真实程序中,资料应携带来源 ID、URL、标题或其他可追溯信息。上面的内容只是展示消息结构,实际传入时不应把来源信息丢掉。

6. 程序如何根据检查结果决定下一步

LLM 负责语义判断,程序负责执行控制。下面用 Python 展示一个简化的执行骨架。这里假设 reflect() 已经调用模型并返回经过解析的结构化结果,search_more() 和 revise_report() 分别负责补充检索和修改报告。

python
from typing import Any

MAX_REFLECTION_ROUNDS = 3


def run_research(topic: str) -> dict[str, Any]:
    evidence = search_initial_evidence(topic)
    report = None
    history = []

    for round_no in range(MAX_REFLECTION_ROUNDS):
        # 证据阶段:判断是否已经足以支持主要结论
        diagnosis = reflect(
            target=topic,
            stage="evidence",
            current_result=evidence,
        )
        history.append({
            "stage": "evidence",
            "round": round_no + 1,
            "diagnosis": diagnosis,
        })

        if diagnosis["passed"]:
            break

        actions = {
            issue["suggested_action"]
            for issue in diagnosis.get("issues", [])
        }

        if "human_review" in actions:
            return {
                "status": "needs_human_review",
                "evidence": evidence,
                "history": history,
            }

        if "search_more_evidence" in actions:
            queries = diagnosis.get("search_queries", [])
            if not queries:
                # 模型未给出可执行查询,不能无限重试
                break
            evidence = search_more(evidence, queries)

    # 即使循环结束,也要把证据不足的事实保留下来,
    # 不应默认为证据已经充分。
    report = generate_report(topic, evidence)

    final_check = reflect(
        target=topic,
        stage="report",
        current_result={
            "report": report,
            "evidence": evidence,
        },
    )
    history.append({
        "stage": "report",
        "diagnosis": final_check,
    })

    if not final_check["passed"]:
        report = revise_report(
            report=report,
            issues=final_check.get("issues", []),
        )

    return {
        "status": "completed" if final_check["passed"] else "completed_with_limitations",
        "report": report,
        "evidence": evidence,
        "history": history,
    }

这段代码展示的是控制逻辑,search_initial_evidence()、reflect()、search_more()、generate_report() 和 revise_report() 需要接入具体的检索系统与模型 API 才能运行。它们不是 Python 内置函数。

这里有几个值得注意的设计点:

  1. 限制反思轮数。 如果每次检查都让模型继续找资料,任务可能一直跑下去,成本也会不断增加。
  2. 根据问题严重程度决定动作。 缺少一条次要资料,可能只需注明局限;核心结论缺少证据,则可能需要补充检索或人工审核。
  3. 失败后不要直接假设成功。 达到最大轮数只代表自动处理预算用完,不代表结果已通过验收。
  4. 把诊断结果留在状态中。 保存检查结果、执行过的补救动作和剩余问题,方便后续节点使用,也便于排查为什么生成了某个结论。

在生产代码中,还应为模型返回值增加 JSON Schema 校验、异常处理、超时、重试次数和日志记录。重试也要区分可重试错误(例如临时网络故障)与逻辑上无法解决的问题。

7. Reflection 常见的失败方式

Reflection 本身也会出错,不能把它当成绝对可靠的裁判。

7.1 检查标准过于模糊

如果标准只有"质量要高""内容要全面",模型很难给出稳定的判断。应尽可能把标准拆成具体检查项,并说明什么情况算通过。

7.2 模型只是在重复肯定自己的结果

如果生成和检查使用相同上下文、相似提示词,检查模型可能忽略生成阶段犯下的错误。可以尝试让检查节点独立于生成节点,提供明确的验收标准,并要求它逐条给出证据和理由。对于关键内容,还可以使用独立来源、规则或人工检查。

7.3 反思建议无法执行

例如模型只说"需要更多资料",却没有给出检索关键词;或者建议反复修改已经满足要求的部分。程序应对动作类型、查询数量、修改轮数和总成本设定限制。必要时,要求模型返回结构化诊断,而不是接受任意建议。

7.4 一直反思、一直修改

如果每一轮都重新要求模型"继续改进",结果可能在细节上反复变化,却没有实质提升。可以设置最大轮数、最低通过标准和明确的停止条件。停止后仍未通过,就输出带有局限说明的结果,或者转人工处理。

7.5 把主观判断当作事实验证

LLM 可以辅助判断论证是否完整,但不能仅凭它说"引用可信"就认定来源真实,也不能保证引用内容确实支持结论。来源存在性、权限、格式等能程序检查的部分,应尽量通过确定性逻辑验证;事实与证据之间的语义关系仍需谨慎评估。

8. 业界通常怎么实现

Reflection 往往不会以一个完全独立的"反思产品"存在,而是作为 Agent 工作流中的检查、评估和修正环节。

  • 手写 Python 控制流程: 自己调用 LLM 进行检查,再根据结构化结果决定重试、补资料或修订。逻辑直观,适合先理解原理,但状态、重试、日志和错误恢复都需要自行实现。
  • LangGraph: 可以把生成、检查、修正分别做成节点,通过 State 保存当前结果和诊断信息,再用条件边决定是继续检索、修正、结束还是转人工。适合有循环、分支、状态跟踪和恢复要求的流程。
  • LangChain 等框架中的评估链或输出校验机制: 可以把模型评估、结构化输出解析和重试组合起来。具体能力取决于所使用的组件,业务验收标准仍然需要自己定义。
  • 生产系统中的组合方案: 先用程序做格式、字段、权限、引用等确定性检查,再由 LLM 做语义评估;对重要或高风险结果增加人工审核,并记录每次检查的输入、结论和补救动作。

对 Research Agent 来说,一个实用的做法是:检索阶段检查证据是否覆盖关键问题,生成阶段检查报告是否符合验收标准。程序控制最大重试次数和流程分支,LLM 负责需要语义理解的判断,遇到关键证据缺失或无法自动解决的冲突时再请求人工介入。

Reflection 的工程价值最终体现在执行路径上:检查发现的问题,是否会改变下一步动作;补救之后,是否会重新检查;到达停止条件后,系统是否能如实说明结果的局限。

On this page