Session 25: evaluation — measuring what the agent actually delivers

Agent 能够跑通流程,不代表它真正完成了任务。Research Agent 可以成功调用搜索工具、生成一份结构完整的报告,甚至所有节点都正常执行,但报告里的核心结论可能缺少证据,搜索结果可能与研究主题无关,最终产物也可能没有回答用户的问题。

Originally in ChineseThis article was written in Chinese. The body below is the Chinese original; the English translation is not available yet.

Session 24 讨论了 Agent Testing,主要关注程序逻辑、流程分支、异常处理和状态恢复是否符合预期。这一节关注另一个问题:Agent 完成任务的质量如何,以及修改 Prompt、模型或工作流程之后,效果究竟有没有改善。

一、Agent Evaluation 到底评估什么?

Agent 的评估不能只看最终回答。以 Research Agent 为例,一次研究任务可能包含搜索、筛选资料、分析证据、补充搜索和生成报告等多个阶段。任何一个阶段出了问题,都可能影响最终结果。

我倾向于把评估指标分成四类。

评估维度 关注的问题 示例指标
任务效果 最终任务是否达到目标 任务成功率、需求覆盖率
内容质量 生成的内容是否可信、完整 事实准确性、证据充分性、引用有效率
执行质量 Agent 是否合理地执行任务 工具选择正确率、无效调用次数、循环次数
资源效率 完成任务消耗了多少资源 Token、调用成本、执行时间、工具调用次数

这四类指标需要结合起来看。

例如,两个 Research Agent 都能生成研究报告。A 的报告质量较高,但平均需要调用 20 次工具;B 只需要调用 6 次工具,成本更低,但容易遗漏重要证据。单纯比较任务成功率,可能看不出它们的实际差异。

同样,降低成本也不一定意味着效果更好。如果减少搜索次数后,报告遗漏了关键来源,那么成本优化可能以牺牲任务质量为代价。

因此,评估时最好同时观察质量、效率和可靠性,并根据业务目标明确各项指标的重要程度。

二、先建立评估数据集

评估 Agent 需要一组相对稳定的任务样本。每次修改 Prompt、模型或工作流程后,都使用相同或可比较的样本重新运行,才能判断变化是否有效。

以 Research Agent 为例,可以建立这样的评估集:

测试类型 示例任务 主要考察内容
常规任务 调研某个技术主题的工程实践 基本任务完成能力
信息不足 搜索结果数量较少 是否识别证据不足
信息冲突 多个来源给出不同结论 是否识别并处理冲突
复杂任务 比较多个技术方案的优缺点 研究覆盖率和综合分析能力
低质量来源 搜索结果大量重复或无关 来源筛选能力
工具故障 搜索接口超时或返回异常 错误处理与恢复能力
边界任务 主题模糊、范围过大 是否合理澄清或控制任务范围

评估集中的任务最好来自真实使用场景。可以收集用户提出过的问题、过去执行失败的任务,以及人工发现质量不合格的报告。对于暂时没有真实用户数据的项目,也可以人工设计一批有代表性的任务。

不过,仅仅保存问题还不够。对于需要判断内容质量的任务,最好同时定义预期结果或评分标准。

例如,研究某项技术时,可以记录必须覆盖的关键问题、可信来源、重要事实,以及报告应当包含的章节。这样才能判断生成结果遗漏了什么。

2.1 参考答案不一定是一份完整的标准答案

开放式研究任务通常没有唯一正确的答案。不同报告可能采用不同结构,也可能从不同角度组织论证。

因此,评估数据可以保存多种参考信息:

  • 必须回答的核心问题。
  • 必须覆盖的关键事实。
  • 可接受的权威来源。
  • 不允许出现的明显错误。
  • 报告结构和格式要求。
  • 质量评分标准。

这些信息比一份必须逐字匹配的标准报告更适合开放式生成任务。

对于事实明确的任务,可以使用参考答案;对于开放式任务,可以使用关键事实清单、评分规则和专家评审标准。

三、如何评估最终生成结果?

最终产物通常是用户最关心的部分。Research Agent 的最终结果可能是一份报告,因此需要检查报告是否回答问题、是否准确、证据是否充分,以及结论是否有依据。

3.1 规则评估

规则评估由程序直接执行,适合检查可以明确判断的条件。

例如:

text
def evaluate_report(report, retrieved_sources):    source_ids = {        source["id"]        for source in retrieved_sources    }    cited_ids = set(report["citation_ids"])    return {        "has_title": bool(report["title"]),        "has_conclusion": bool(report["conclusion"]),        "has_enough_evidence": len(            report["evidence"]        ) >= 3,        "citations_valid": cited_ids.issubset(            source_ids        ),    }

这里可以检查报告是否包含标题、结论,证据数量是否达到要求,以及引用的来源 ID 是否存在于检索结果中。

规则评估的优点是稳定、便宜、容易复现。相同的输入总会得到相同的判断结果。

但它的能力边界也很明确。引用 ID 存在,不代表引用内容支持对应结论;报告包含结论,也不代表结论正确。因此,规则评估适合负责确定性的检查,不能代替内容质量评估。

3.2 基于参考答案的评估

对于有明确标准答案的任务,可以把 Agent 输出与参考答案进行比较。

常见做法包括:

  • 精确匹配:适用于固定字段、分类结果和结构化数据。
  • 字段级比较:检查 JSON 中的特定字段是否正确。
  • 关键事实覆盖:检查回答是否包含必要的事实。
  • 语义相似度:判断回答与参考内容在语义上是否接近。

语义相似度需要谨慎使用。两个回答可能表达相似的意思,却在关键事实或数值上存在差异;反过来,措辞完全不同的回答也可能同样正确。

对于研究报告,与其只计算全文相似度,不如检查关键事实是否覆盖、结论是否有证据支持,以及重要信息是否存在错误。

3.3 使用 LLM-as-a-Judge

开放式任务很难完全通过规则评估,业界经常使用另一个 LLM 充当评估器,也就是 LLM-as-a-Judge。

例如,可以要求评估模型根据研究问题、实际检索到的资料和生成的报告,对报告进行评分。

评分维度可以包括:

维度 评估标准
相关性 是否回答了原始研究问题
完整性 是否覆盖重要的子问题
事实准确性 是否存在明显的事实错误
证据支持 核心结论是否得到来源支持
分析质量 是否进行了有效比较和推理
表达质量 结构是否清晰,结论是否容易理解

评估器最好同时给出分数和具体理由,方便后续分析失败原因。

但 LLM 评估并不等于获得客观真值。评估模型可能偏爱更长的回答,可能被流畅的表达误导,也可能忽略细节错误。如果评估器和生成模型存在相似的偏差,评估结果还可能系统性地偏向某类输出。

因此,LLM-as-a-Judge 适合用来扩展评估能力,但对于关键任务,仍然需要用人工标注的样本校准评估标准,并定期检查评估器本身的可靠性。

四、评估 Agent 的执行过程

最终报告只是整个执行过程的结果。要定位问题,还需要评估 Agent 在中间步骤中的行为。

以 Research Agent 为例,假设最终报告不够完整,可能有几种原因:

  • 模型选择的搜索关键词不合理。
  • 搜索工具返回了大量无关内容。
  • Agent 没有正确筛选来源。
  • 证据不足时没有继续搜索。
  • 搜索次数已经很多,却一直重复相同操作。
  • 分析阶段没有利用已有证据。

只看最终报告,很难准确区分这些问题。

因此,Agent Evaluation 可以进一步检查执行轨迹(Trace),包括模型请求、工具调用、节点执行、状态变化和最终输出。

4.1 工具使用是否合理?

工具调用次数不是越少越好,也不是越多越好。关键是调用是否对任务有帮助。

可以观察以下指标:

  • 工具调用成功率。
  • 工具参数有效率。
  • 无效或重复调用次数。
  • 搜索结果的相关性。
  • 每次工具调用带来的有效信息增量。
  • 因工具失败而产生的重试次数。

例如,Agent 连续搜索了 10 次,但每次都使用相似的关键词,返回的结果也高度重复。这说明它可能陷入了低效循环。

相反,如果 Agent 只搜索了两次,却找到了足够的高质量证据,也可能是一次优秀的执行。

所以,工具调用次数更适合与任务质量一起分析,而不是独立作为质量指标。

4.2 分支决策是否合理?

对于包含条件分支的 Agent,可以检查它在不同场景下是否选择了合理的下一步。

例如:

当前情况 预期行为
证据充分 进入报告生成
证据不足 继续搜索
来源相互矛盾 补充验证或明确标记冲突
搜索工具暂时失败 按规则重试或降级
达到最大搜索次数 停止搜索并处理剩余的不确定性

这类评估可以结合程序规则和人工标注的执行轨迹进行。对于可以明确确定的流程边界,可以直接检查;对于复杂的决策是否合理,则需要结合任务上下文判断。

4.3 如何定义任务成功率?

对 Agent 来说,不能只把“程序没有报错”当成任务成功。

更合理的做法是先定义任务级验收条件。例如,Research Agent 必须生成符合结构要求的报告、引用有效来源、覆盖核心问题,并且没有超过执行预算,才算达到最低验收标准。

text
def task_succeeded(result, evaluation):    return (        result["status"] == "completed"        and evaluation["citations_valid"]        and evaluation["key_facts_covered"]        and evaluation["quality_score"] >= 0.8    )

这里的 quality_score 只是示例,需要由实际评估流程产生。真实项目还需要明确各项条件的阈值,以及评估失败时如何处理。

任务成功率可以定义为:

\[ \text{Success Rate} = \frac{\text{达到验收标准的任务数}} {\text{评估任务总数}} \]

这个指标比较直观,但必须先把验收标准定义清楚。否则,同样叫作任务成功率,不同版本可能使用了不同的判断条件,最终就失去了可比性。

五、如何判断修改 Prompt 或模型之后效果有没有改善?

Agent 开发通常是一个持续调整的过程:修改 Prompt、切换模型、调整工具描述、增加检索策略,或者改变 Workflow 的执行路径。

每次修改之后,都需要回答一个问题:新版本真的更好吗?

最直接的办法是建立固定的评估集,对新旧版本运行相同的任务,并比较结果。

例如:

指标 旧版本 新版本
任务成功率 78% 86%
引用有效率 91% 96%
平均工具调用次数 12 8
平均执行成本 0.12 美元 0.09 美元
平均任务耗时 42 秒 31 秒

以上数字仅用于演示比较方法,不代表实际测试结果。

从这组示例数据看,新版本在任务成功率、引用有效率、工具调用次数、成本和耗时方面都更好。但真实评估还需要关注样本规模和运行波动,不能仅凭一组汇总数字就断言新版本一定优于旧版本。

5.1 评估集必须保持可比性

新旧版本最好使用相同的任务样本、相同的验收规则,并尽可能保持运行条件一致。

如果旧版本使用 100 个简单任务,新版本使用 100 个复杂任务,结果就无法直接比较。同样,如果修改 Prompt 的同时换了模型、改了搜索工具和调整了评分标准,就很难判断提升究竟来自哪个变化。

实际开发中,可以先一次只改变一个关键因素,观察效果,再组合多个改动进行评估。

对于输出波动较大的任务,可以多次运行同一批样本,比较平均表现和失败案例。某些任务即使平均分提高了,也可能出现少数严重退化的情况,因此不能只看平均值。

5.2 质量与成本需要一起比较

新版本的报告质量提高了,但成本也增加了两倍,是否值得?这取决于业务目标。

可以把成本、延迟和质量放在一起看。如果质量提高的同时成本下降,通常是比较理想的改进;如果质量和成本都上升,就需要判断额外的质量收益是否值得;如果成本下降但关键事实错误明显增加,就不能简单认为优化成功。

对于生产系统,还可以观察 P95 延迟、超时率、任务失败率和人工介入率等指标。平均耗时可能掩盖少数特别慢的任务,而人工介入率上升也可能说明系统自动处理复杂任务的能力下降了。

六、评估工具与平台

当 Agent 只有少量节点时,可以先用 Python 测试代码和数据文件管理评估任务。随着模型、工具和工作流程增多,评估数据集、执行轨迹和结果比较会逐渐变得难以手工维护。

这时可以考虑专门的评估平台。

LangSmith

LangSmith 可以用于 LangChain / LangGraph 应用的追踪、数据集管理和评估工作流。它适合把一次 Agent 执行的过程与最终评估结果关联起来,分析失败发生在哪个节点,并对不同版本进行比较。

典型的工作方式是:

  1. 准备一组评估样本。
  2. 运行 Agent,记录执行轨迹。
  3. 使用规则或自定义评估器检查结果。
  4. 汇总任务成功率、质量评分和执行成本等指标。
  5. 对修改前后的版本进行比较。

它的价值不仅在于计算一个分数,还在于把评估结果和具体执行过程联系起来,便于定位问题。

其他评估方案

Agent 评估也可以使用独立的评估框架或自行实现的评估程序。选择工具时,主要看它能否满足几个需求:管理评估数据集、执行自定义评估器、记录运行轨迹、比较不同版本,以及将评估结果接入持续集成流程。

如果现阶段项目规模不大,不必为了使用评估平台而增加过多基础设施。先把评估集、验收条件和结果记录机制建立起来,往往比先选择复杂的工具更重要。

七、把评估接入开发流程

Agent Evaluation 不应该只在项目上线前运行一次。更实用的做法是让评估参与日常开发。

例如,修改 Prompt 或工具描述后,先运行快速测试,检查程序逻辑和基本流程;随后运行固定评估集,观察任务成功率、引用质量和资源消耗;对于影响较大的变更,再执行更完整的真实模型测试和人工抽查。

当评估结果不符合预期时,应该保留失败样本,分析失败原因,再决定修改方向。经过人工确认的失败案例可以加入评估集,避免同类问题反复出现。

不过,评估集也需要维护。如果所有失败案例都无限增加,测试成本会越来越高;如果长期不更新,又可能无法覆盖新的用户需求和边界场景。因此,需要保留具有代表性的核心样本,并定期补充新出现的任务类型和故障案例。

八、总结

Agent Evaluation 主要回答三个问题:Agent 完成任务的质量如何,执行过程是否合理,以及修改之后效果有没有改善。

最终结果可以通过规则评估、参考答案对比、LLM-as-a-Judge 和人工评审等方式检查;执行过程可以通过 Trace 分析工具调用、分支决策、重复操作和资源消耗;版本比较则需要稳定的评估集和一致的验收标准。

对于 Research Agent,最值得持续观察的指标包括任务成功率、关键事实覆盖率、引用有效性、证据充分性、工具调用效率、成本和延迟。不同指标需要根据业务目标设置权重,不能只看一个综合分数。

Testing 关注系统行为是否符合预期,Evaluation 关注 Agent 的实际效果是否达到要求。 两者结合起来,才能让 Agent 的开发从“看起来能用”,逐渐变成有数据、有依据、可持续改进的工程过程。

On this page