Session 18:Model Routing——模型路由与选择策略

在 Agent 系统中,不同步骤对模型能力的要求差异很大

1. 为什么一个 Agent 需要多个模型?

在 Agent 系统中,不同步骤对模型能力的要求差异很大。

Research Agent 需要完成多种任务:整理用户的研究主题、生成搜索关键词、分析材料、检查证据是否充分,最后生成报告。生成搜索关键词可能只需要一个速度快、成本低的模型;分析互相矛盾的证据,则可能需要推理能力更强的模型。

如果所有步骤都使用最昂贵的模型,系统可能成本过高、响应过慢。如果所有步骤都使用最便宜的模型,又可能影响复杂任务的质量。

Model Routing 就是根据任务特点和运行条件,决定使用哪个模型的机制。

这里的路由可以发生在不同层次:

  • 根据任务类型选择模型。
  • 根据输入长度选择模型。
  • 根据模型可用性切换备用模型。
  • 根据成本、延迟和质量要求动态选择模型。
  • 根据模型能力判断某个模型是否适合当前任务。

这些策略可以同时存在,但应该明确优先级。比如权限和能力约束必须先满足,之后才比较成本和延迟。

2. 程序路由与 LLM 路由

模型选择可以由程序完成,也可以让 LLM 参与判断。

程序路由

程序根据确定的条件选择模型。例如,简单摘要使用快速模型,复杂研究分析使用推理模型。

text
def route_model(task_type: str) -> str:    mapping = {        "keyword_generation": "fast_model",        "simple_summary": "fast_model",        "evidence_analysis": "reasoning_model",        "report_generation": "writing_model",    }    return mapping.get(task_type, "default_model")

优点是可预测、成本容易控制,也方便测试。缺点是程序需要知道任务类型,规则变化时可能需要维护配置。

LLM 参与路由

可以让一个模型先分析任务,再选择适合的模型或执行路径。例如,系统收到一个复杂研究问题后,让分类模型判断是否需要深度分析。

但如果每次路由都需要先调用另一个 LLM,就会增加延迟和成本,而且分类模型本身也可能判断错误。

因此,对于任务类型明确的系统,优先采用程序路由通常更简单。只有当任务复杂度难以通过规则判断时,才考虑让 LLM 参与分类。

更重要的是,LLM 可以提出模型选择建议,但最终选择仍然应受到应用程序的模型白名单、权限、成本和能力约束。

3. 模型路由需要考虑哪些指标?

只按模型价格选择,通常是不够的。

指标 需要考虑的问题
任务质量 模型能否可靠完成当前任务?
输入与输出长度 上下文窗口和输出限制是否满足要求?
工具调用能力 是否支持当前所需的工具调用协议?
结构化输出 是否支持应用要求的 Schema 约束?
延迟 是否满足用户的响应时间要求?
成本 输入、输出及其他计费项目的总成本是多少?
可用性 当前模型是否限流、超时或发生服务故障?
数据与合规要求 模型服务是否满足应用的数据处理要求?

这些指标之间可能互相冲突。一个模型可能更便宜,但在复杂分析任务中需要多次重试;另一个模型单次成本较高,却能更稳定地完成任务。

因此,模型路由应该根据任务目标进行选择,而不是追求某个单一指标的最优值。

4. 任务路由与故障降级是两回事

这两个概念经常被放在一起讨论,但触发条件不同。

任务路由发生在执行前或执行过程中,系统根据任务特点选择合适的模型。

例如:

text
研究任务
   ├─ 生成关键词 → 快速模型
   ├─ 分析证据 → 推理模型
   └─ 生成报告 → 写作模型

故障降级则是在原本选定的模型不可用时,系统采取备用策略。

text
调用主模型
   ↓
发生可恢复错误
   ↓
有限重试
   ↓
仍然失败
   ↓
检查备用模型能力
   ├─ 满足要求 → 切换备用模型
   └─ 不满足要求 → 暂停或终止任务

如果备用模型不支持当前任务所需的工具调用或结构化输出,就不能因为它可用便直接切换。降级策略需要明确哪些能力可以降低、哪些要求不可妥协。

例如,简单摘要可以接受切换到能力较弱的模型,但如果任务要求严格遵守指定的结构化输出格式,备用模型必须能够满足这个要求,或者由应用程序承担额外的校验与修复。

5. 一个简单的模型路由器

下面给出一个基于任务类型的简化实现:

text
from dataclasses import dataclass@dataclassclass ModelConfig:    provider: str    model: str    max_input_tokens: int    supports_tools: bool    supports_structured_output: boolMODELS = {    "fast_model": ModelConfig(        provider="provider_a",        model="fast-model",        max_input_tokens=32000,        supports_tools=True,        supports_structured_output=True,    ),    "reasoning_model": ModelConfig(        provider="provider_b",        model="reasoning-model",        max_input_tokens=100000,        supports_tools=True,        supports_structured_output=True,    ),}def route_model(task_type: str) -> ModelConfig:    if task_type in {        "keyword_generation",        "simple_summary",    }:        return MODELS["fast_model"]    if task_type in {        "evidence_analysis",        "complex_reasoning",    }:        return MODELS["reasoning_model"]    return MODELS["fast_model"]

示例中的模型名称、上下文长度和能力声明都是假设值,实际配置必须根据供应商文档和具体模型验证。

这个路由器只根据任务类型选择模型。生产系统还需要在选择前检查:

  • 模型是否支持当前请求的能力。
  • 输入是否超过模型限制。
  • 模型是否处于可用状态。
  • 当前任务是否满足成本和延迟预算。
  • 是否有符合要求的备用模型。

路由器返回配置后,真正的调用由统一 Model Client 完成。这样业务节点不必直接依赖各个供应商的 SDK。

6. 基于成本与延迟的动态路由

任务类型规则适合简单系统,但当任务规模扩大时,可以加入动态指标。

例如,系统维护每个模型的近期成功率、平均延迟、估算成本和支持的能力。路由时先过滤掉不满足要求的模型,再根据剩余模型的成本、延迟和质量表现进行选择。

可以把基本流程写成:

text
def select_model(task, candidates):    eligible = [        model for model in candidates        if model.supports(task.required_capabilities)        and model.available        and model.within_budget(task.budget)    ]    if not eligible:        raise RuntimeError("没有符合要求的可用模型")    return min(        eligible,        key=lambda model: (            model.estimated_cost(task)            + task.latency_weight            * model.estimated_latency(task)        ),    )

这是一个简化的示意实现,实际的成本和延迟单位必须统一,权重也需要根据业务需求校准。更重要的是,示例没有将质量直接作为一个已知数值,因为模型质量通常需要结合任务类型、评测结果和线上反馈估计。

动态路由的核心是先确定可行集合,再在可行集合中做权衡。不能为了降低成本,选出一个根本不具备任务所需能力的模型。

7. 模型路由与任务分解

模型路由还可以和 Agent 的任务分解结合。

以 Research Agent 为例,流程可能是:

text
研究主题
   ↓
生成研究计划
   ↓
生成搜索关键词
   ↓
搜索与收集材料
   ↓
分析证据
   ↓
检查证据是否充分
   ├─ 不充分 → 补充搜索
   └─ 充分 → 生成报告

其中,生成关键词、分析证据和生成报告可以采用不同模型配置。但是否需要模型路由,应由任务特点决定,不必为了使用多个模型而刻意拆分。

如果整个任务使用同一个模型已经能够稳定完成,而且成本和延迟都符合要求,引入多个模型反而会增加配置、测试和故障处理的复杂度。

多模型架构更适合能力要求差异明显、成本敏感,或者需要高可用性的系统。

8. LangGraph 中如何实现模型路由?

LangGraph 可以用条件边实现不同节点之间的路由,也可以在节点内部根据状态选择模型。

一种实现方式是让程序先根据任务类型确定模型配置,再调用相应的模型:

text
def analyze_evidence(state):    model_config = route_model("evidence_analysis")    result = model_client.generate(        state["messages"],        model=model_config.model,        timeout=30,    )    return {        "analysis": result,        "selected_model": model_config.model,    }

这里的 model_client 是应用程序定义的统一调用接口示例。

另一种方式是先由分类节点确定任务类别,再通过条件边进入不同的执行节点。例如,简单任务进入快速模型节点,复杂任务进入推理模型节点。

两种方式各有适用场景:模型选择只影响一个节点时,可以在节点内部完成;选择结果会改变后续执行流程时,条件边通常更直观。

如果模型调用失败,还可以通过节点重试策略、异常分支和备用模型配置实现故障降级。需要注意,模型路由与错误恢复仍然是两套逻辑:前者解决“应该使用哪个模型”,后者解决“选定的模型无法正常工作时怎么办”。

9. 业界方案与自建路由器

模型路由既可以自己实现,也可以使用专门的代理层或路由服务。

常见方向包括:

  • 应用层自建路由器:规则透明,容易与业务任务、权限和预算结合,适合模型数量较少或业务逻辑明确的项目。
  • 统一模型代理层:提供多供应商接口适配、重试、限流、日志和模型配置管理,适合需要统一管理多个模型的系统。
  • 基于质量评估的动态路由:根据任务类型、评测结果或历史表现选择模型,需要持续维护评估数据。
  • 供应商提供的模型选择能力:减少部分调用配置工作,但具体路由逻辑和可控程度取决于产品。

这些方案不必互斥。应用程序可以使用统一模型代理层管理调用,同时在业务层保留任务路由规则。

无论使用哪种方案,都需要明确路由的可解释性、失败处理、数据隔离和预算限制。路由器能够选模型,并不意味着它能够自动判断研究结论是否正确。

10. 总结

Model Routing 解决的是不同任务应该使用哪个模型的问题。程序路由适合规则明确的场景,LLM 参与路由适合任务难度难以提前确定的情况,动态路由则可以结合成本、延迟、能力和运行状态做选择。

实际项目中,建议先建立模型配置与统一调用接口,再根据任务类型增加简单路由。只有当任务差异、成本压力或可用性要求确实需要时,再引入更复杂的动态策略。

路由之前先检查能力和约束,路由之后仍然需要错误处理、预算控制和结果校验。这样多模型架构才会带来实际收益,而不是单纯增加系统复杂度。

本文目录