模型选择
Agent 应该用单个模型还是故障转移模型组?
根据任务确定性、兼容能力和故障切换需求选择固定模型或调度池。
由 路墨 Lumoswitch 产品团队维护
简要回答
固定连接行为更可预测;故障转移组仅在配置候选内尝试,可能产生不同能力与成本。
什么时候用固定模型?
需要稳定的模型行为、单一供应商能力或便于复现问题时,选择一个模型直连。客户端的“直接使用”配置会为所选连接提供独立下游模型 ID;请求失败时可重试同一模型,但不会自动跳去另一种模型。
模型组会如何故障转移?
选择故障转移等调度模式时,配置会发布稳定模型别名,并按候选和策略处理请求。候选应具备任务所需的共同能力;即使配置了备用项,也只有符合策略的错误才可能切换,不能保证任意故障都自动恢复。
切换会不会改变结果或价格?
备用模型可能有不同上下文长度、工具或多模态能力、回答风格和供应商价格。切换前比较候选共同能力与计价方式,并在日志或执行记录中确认实际模型;不要把模型组看作同一模型的无差别副本。