模型服务的可靠性设计
让超时、重试和备用线路同时遵守权限、响应兼容性与单次请求预算。
Foxmu · 更新日期: 2026-10-05
提前批准备用线路
按任务质量、上下文长度、工具调用、结构化输出与数据处理要求评估备用模型。备用线路需要保留与主线路相同的账户和项目权限，不能在故障期间扩大可用模型或数据外发范围。
应测试输出契约，而不是根据模型名称猜测兼容性。所有获批准线路均不可用时，向业务系统返回明确、可处理的失败，交由既定降级流程继续执行。
限制时间与消耗
为一次请求设定总截止时间，以及重试次数、Token 和费用上限。连接等待、首字等待和完整响应耗时均受总预算约束；不要让分阶段重试不断延长请求。
仅对适合重试的暂时性故障采用受限退避。格式错误、授权失败与策略拒绝应直接返回明确结果。用户取消后，检查下游停止情况，并核对已经执行的调用与费用归属。
处理断流与副作用
流式响应中断意味着回答尚未完成。界面应标明状态，由用户决定是否重新生成；把新的回答拼到旧的半截响应后面，可能误导用户，也难以解释重复消耗。
修改业务状态的工具操作需要确定性校验、执行记录与幂等控制。退款、删除、发布等动作仍遵守既有人工确认或审批流程；重试不得重复触发操作，也不得绕过权限检查。
上线前演练失败
模拟限流、超时、流式中断、线路不可用与用户取消，确认重试不突破预算，备用线路不扩大权限，也不重复副作用操作。记录请求标识、状态分类、时延和必要用量元数据。
按明确的工作负载观察任务完成率、时延分位值和每次有效任务成本，保留测试范围与时间窗口。容量数字不能单独构成可用性保证或 SLA，实际业务表现需要按场景验证。