模型故障切换
模型可以故障,客户端入口不必变化
为多模型调用增加健康检查、故障切换和可解释路由,让单个模型或上游异常时客户端仍使用同一个稳定入口。
从单点模型到资源池
企业平台不能把稳定性寄托在单个模型接入上。Lumoswitch 将候选部署组织为统一模型组,并按顺序执行故障恢复。
对用户保持简单
故障切换是平台的可靠性能力,不应该变成用户需要理解的调用顺序。用户看到的是一个模型,平台负责背后的稳定性。
如何落地
管理员接入多个模型并配置候选顺序。用户调用时仍使用一个模型名称;Lumoswitch 在请求路径内切换部署并在后台完成用量对账。
边界说明
故障切换不能保证上游永远可用,也不能修复模型自身输出质量问题。它解决的是接入层稳定性、限流、临时错误和单个凭证不可用导致的服务中断风险。