Session 18:Model Routing——模型路由与选择策略
在 Agent 系统中,不同步骤对模型能力的要求差异很大
1. 为什么一个 Agent 需要多个模型?
在 Agent 系统中,不同步骤对模型能力的要求差异很大。
Research Agent 需要完成多种任务:整理用户的研究主题、生成搜索关键词、分析材料、检查证据是否充分,最后生成报告。生成搜索关键词可能只需要一个速度快、成本低的模型;分析互相矛盾的证据,则可能需要推理能力更强的模型。
如果所有步骤都使用最昂贵的模型,系统可能成本过高、响应过慢。如果所有步骤都使用最便宜的模型,又可能影响复杂任务的质量。
Model Routing 就是根据任务特点和运行条件,决定使用哪个模型的机制。
这里的路由可以发生在不同层次:
- 根据任务类型选择模型。
- 根据输入长度选择模型。
- 根据模型可用性切换备用模型。
- 根据成本、延迟和质量要求动态选择模型。
- 根据模型能力判断某个模型是否适合当前任务。
这些策略可以同时存在,但应该明确优先级。比如权限和能力约束必须先满足,之后才比较成本和延迟。
2. 程序路由与 LLM 路由
模型选择可以由程序完成,也可以让 LLM 参与判断。
程序路由
程序根据确定的条件选择模型。例如,简单摘要使用快速模型,复杂研究分析使用推理模型。
def route_model(task_type: str) -> str: mapping = { "keyword_generation": "fast_model", "simple_summary": "fast_model", "evidence_analysis": "reasoning_model", "report_generation": "writing_model", } return mapping.get(task_type, "default_model")
优点是可预测、成本容易控制,也方便测试。缺点是程序需要知道任务类型,规则变化时可能需要维护配置。
LLM 参与路由
可以让一个模型先分析任务,再选择适合的模型或执行路径。例如,系统收到一个复杂研究问题后,让分类模型判断是否需要深度分析。
但如果每次路由都需要先调用另一个 LLM,就会增加延迟和成本,而且分类模型本身也可能判断错误。
因此,对于任务类型明确的系统,优先采用程序路由通常更简单。只有当任务复杂度难以通过规则判断时,才考虑让 LLM 参与分类。
更重要的是,LLM 可以提出模型选择建议,但最终选择仍然应受到应用程序的模型白名单、权限、成本和能力约束。
3. 模型路由需要考虑哪些指标?
只按模型价格选择,通常是不够的。
| 指标 | 需要考虑的问题 |
|---|---|
| 任务质量 | 模型能否可靠完成当前任务? |
| 输入与输出长度 | 上下文窗口和输出限制是否满足要求? |
| 工具调用能力 | 是否支持当前所需的工具调用协议? |
| 结构化输出 | 是否支持应用要求的 Schema 约束? |
| 延迟 | 是否满足用户的响应时间要求? |
| 成本 | 输入、输出及其他计费项目的总成本是多少? |
| 可用性 | 当前模型是否限流、超时或发生服务故障? |
| 数据与合规要求 | 模型服务是否满足应用的数据处理要求? |
这些指标之间可能互相冲突。一个模型可能更便宜,但在复杂分析任务中需要多次重试;另一个模型单次成本较高,却能更稳定地完成任务。
因此,模型路由应该根据任务目标进行选择,而不是追求某个单一指标的最优值。
4. 任务路由与故障降级是两回事
这两个概念经常被放在一起讨论,但触发条件不同。
任务路由发生在执行前或执行过程中,系统根据任务特点选择合适的模型。
例如:
研究任务
├─ 生成关键词 → 快速模型
├─ 分析证据 → 推理模型
└─ 生成报告 → 写作模型
故障降级则是在原本选定的模型不可用时,系统采取备用策略。
调用主模型
↓
发生可恢复错误
↓
有限重试
↓
仍然失败
↓
检查备用模型能力
├─ 满足要求 → 切换备用模型
└─ 不满足要求 → 暂停或终止任务
如果备用模型不支持当前任务所需的工具调用或结构化输出,就不能因为它可用便直接切换。降级策略需要明确哪些能力可以降低、哪些要求不可妥协。
例如,简单摘要可以接受切换到能力较弱的模型,但如果任务要求严格遵守指定的结构化输出格式,备用模型必须能够满足这个要求,或者由应用程序承担额外的校验与修复。
5. 一个简单的模型路由器
下面给出一个基于任务类型的简化实现:
from dataclasses import dataclass@dataclassclass ModelConfig: provider: str model: str max_input_tokens: int supports_tools: bool supports_structured_output: boolMODELS = { "fast_model": ModelConfig( provider="provider_a", model="fast-model", max_input_tokens=32000, supports_tools=True, supports_structured_output=True, ), "reasoning_model": ModelConfig( provider="provider_b", model="reasoning-model", max_input_tokens=100000, supports_tools=True, supports_structured_output=True, ),}def route_model(task_type: str) -> ModelConfig: if task_type in { "keyword_generation", "simple_summary", }: return MODELS["fast_model"] if task_type in { "evidence_analysis", "complex_reasoning", }: return MODELS["reasoning_model"] return MODELS["fast_model"]
示例中的模型名称、上下文长度和能力声明都是假设值,实际配置必须根据供应商文档和具体模型验证。
这个路由器只根据任务类型选择模型。生产系统还需要在选择前检查:
- 模型是否支持当前请求的能力。
- 输入是否超过模型限制。
- 模型是否处于可用状态。
- 当前任务是否满足成本和延迟预算。
- 是否有符合要求的备用模型。
路由器返回配置后,真正的调用由统一 Model Client 完成。这样业务节点不必直接依赖各个供应商的 SDK。
6. 基于成本与延迟的动态路由
任务类型规则适合简单系统,但当任务规模扩大时,可以加入动态指标。
例如,系统维护每个模型的近期成功率、平均延迟、估算成本和支持的能力。路由时先过滤掉不满足要求的模型,再根据剩余模型的成本、延迟和质量表现进行选择。
可以把基本流程写成:
def select_model(task, candidates): eligible = [ model for model in candidates if model.supports(task.required_capabilities) and model.available and model.within_budget(task.budget) ] if not eligible: raise RuntimeError("没有符合要求的可用模型") return min( eligible, key=lambda model: ( model.estimated_cost(task) + task.latency_weight * model.estimated_latency(task) ), )
这是一个简化的示意实现,实际的成本和延迟单位必须统一,权重也需要根据业务需求校准。更重要的是,示例没有将质量直接作为一个已知数值,因为模型质量通常需要结合任务类型、评测结果和线上反馈估计。
动态路由的核心是先确定可行集合,再在可行集合中做权衡。不能为了降低成本,选出一个根本不具备任务所需能力的模型。
7. 模型路由与任务分解
模型路由还可以和 Agent 的任务分解结合。
以 Research Agent 为例,流程可能是:
研究主题
↓
生成研究计划
↓
生成搜索关键词
↓
搜索与收集材料
↓
分析证据
↓
检查证据是否充分
├─ 不充分 → 补充搜索
└─ 充分 → 生成报告
其中,生成关键词、分析证据和生成报告可以采用不同模型配置。但是否需要模型路由,应由任务特点决定,不必为了使用多个模型而刻意拆分。
如果整个任务使用同一个模型已经能够稳定完成,而且成本和延迟都符合要求,引入多个模型反而会增加配置、测试和故障处理的复杂度。
多模型架构更适合能力要求差异明显、成本敏感,或者需要高可用性的系统。
8. LangGraph 中如何实现模型路由?
LangGraph 可以用条件边实现不同节点之间的路由,也可以在节点内部根据状态选择模型。
一种实现方式是让程序先根据任务类型确定模型配置,再调用相应的模型:
def analyze_evidence(state): model_config = route_model("evidence_analysis") result = model_client.generate( state["messages"], model=model_config.model, timeout=30, ) return { "analysis": result, "selected_model": model_config.model, }
这里的 model_client 是应用程序定义的统一调用接口示例。
另一种方式是先由分类节点确定任务类别,再通过条件边进入不同的执行节点。例如,简单任务进入快速模型节点,复杂任务进入推理模型节点。
两种方式各有适用场景:模型选择只影响一个节点时,可以在节点内部完成;选择结果会改变后续执行流程时,条件边通常更直观。
如果模型调用失败,还可以通过节点重试策略、异常分支和备用模型配置实现故障降级。需要注意,模型路由与错误恢复仍然是两套逻辑:前者解决“应该使用哪个模型”,后者解决“选定的模型无法正常工作时怎么办”。
9. 业界方案与自建路由器
模型路由既可以自己实现,也可以使用专门的代理层或路由服务。
常见方向包括:
- 应用层自建路由器:规则透明,容易与业务任务、权限和预算结合,适合模型数量较少或业务逻辑明确的项目。
- 统一模型代理层:提供多供应商接口适配、重试、限流、日志和模型配置管理,适合需要统一管理多个模型的系统。
- 基于质量评估的动态路由:根据任务类型、评测结果或历史表现选择模型,需要持续维护评估数据。
- 供应商提供的模型选择能力:减少部分调用配置工作,但具体路由逻辑和可控程度取决于产品。
这些方案不必互斥。应用程序可以使用统一模型代理层管理调用,同时在业务层保留任务路由规则。
无论使用哪种方案,都需要明确路由的可解释性、失败处理、数据隔离和预算限制。路由器能够选模型,并不意味着它能够自动判断研究结论是否正确。
10. 总结
Model Routing 解决的是不同任务应该使用哪个模型的问题。程序路由适合规则明确的场景,LLM 参与路由适合任务难度难以提前确定的情况,动态路由则可以结合成本、延迟、能力和运行状态做选择。
实际项目中,建议先建立模型配置与统一调用接口,再根据任务类型增加简单路由。只有当任务差异、成本压力或可用性要求确实需要时,再引入更复杂的动态策略。
路由之前先检查能力和约束,路由之后仍然需要错误处理、预算控制和结果校验。这样多模型架构才会带来实际收益,而不是单纯增加系统复杂度。