AI 游戏的大模型供应商：准入评测、路由降级与替换预案

只接一家模型，风险在哪

AI 游戏的玩法一旦被某个模型的具体表现塑形，换供应商就不再是「换个 API 地址」那么简单：提示词要重写、评测要重跑、玩家已经习惯的说话方式会变。

真正让人睡不着的是三件事：对方涨价或调整配额、对方悄悄升级模型导致行为漂移、对方服务不可用时你的玩法直接停摆。这三件事在过去一年里我们都遇到过。

结论是：供应商必须当成可替换的组件来设计，而不是当成平台来依赖。这需要在接入前做准入评测，在接入后做主备路由，并在文档里写好替换预案。

准入评测：六个必须验的维度

我们内部有一份供应商准入清单，六项都要留测试记录，缺一项不予接入：

维度	怎么验	不予接入的红线
玩法达标	用项目冒烟集 + 对抗集实跑	安全合规项未 100%
时延分布	连续 24 小时压测取 P95	P95 超过玩法可接受上限
并发与配额	确认限流口径与提额流程	无书面提额通道
数据条款	是否留存、是否用于训练	默认留存且不可关闭
行为可控	温度、系统提示词、停止词支持	关键参数不可调
可观测	请求 ID、用量与错误码可取	无计费明细可核对

其中「数据条款」这一项现在权重最高：模型推理一旦把对话送去训练，前端做再多脱敏都白搭。必须是书面条款，不接受「我们不会这么做」的口头承诺。

能力对齐：同一套用例分别跑一遍

看对方的评测榜单分数没有意义，AI 游戏的玩法指标在公开榜单上根本不存在。我们的做法是把自己的评测集借给候选模型跑一遍：

• 同一批用例、同一套参数，一次只改模型这一项，跑 3 次取中位结果；
• 分维度出对比表，重点看两个维度有没有掉：人设一致与安全合规；
• 主观维度必须人工双评，一致率低于 70% 时先修评分标准再比模型。

这一步的产出会直接决定后面提示词的迁移工作量：如果候选模型在长上下文跟随上明显更弱，就要预见到多轮剧情编排需要重写。

谈价之前，先拿到三组数字

采购谈判经常被一句「我们单价更低」带走，但 AI 游戏的成本结构里单价只是其中一段。上桌前必须自己算清：

1. 单局消耗结构：输入与输出 token 的实际占比，以及是否有检索上下文被反复带入；
2. 会话长度分布：P50 与 P95 的轮次数，长尾会话往往吃掉大部分预算；
3. 失败重放成本：超时重试与内容审核拦回重问的比例，这部分在低价模型上经常更高。

第三组最容易被忽略：便宜模型多拦两次、多重放一次，单价优势立刻被抹平。把这些算清楚再谈，才知道自己真正要的是什么折扣。

路由与降级：主备怎么切才不会翻车

多供应商接入之后，路由策略才是决定稳定性的东西。我们线上跑的四条规则：

• 超时即降级：主模型超时阈值内未返回，直接走备模型，不重试主模型，避免玩家等待叠加。
• 熔断按维度：不是看 5xx 比例，而是看对抗集命中率与人设一致率，质量指标掉线同样触发熔断。
• 按玩法分流：强人设玩法锁定经过验证的模型，不随价格切换；弱剧情玩法允许在候选模型间做价格择优。
• 灰度换主：任何一次主备角色互换都先切 5% 流量，观察一个完整日夜周期。

还有一条纪律：切换日志必须记录当前模型版本号。供应商的「同名模型」升级过版本，事后回溯才知道 Bad Case 是哪天冒出来的。

真要替换：迁移的三样东西

换模型不是改配置，我们的迁移清单固定三项：

迁移项	工作量在哪	验收标准
提示词	停止词、格式约束、人设口吻重写	回归集全量通过
评测基线	历史分数与新模型不可直接比	重建基线并留档
数据链路	日志字段、计费口径、审核接口对齐	可观测看板无断点

顺序上先迁评测基线，再迁提示词，最后接数据链路。反过来做的团队，很容易在提示词还没跑通时就宣布「新模型效果不行」，把一次架构升级做成一次无结论的争论。

把选择权留在自己手上

模型供应商市场还在快速变动，价格、能力、条款都在改。对 AI 游戏团队来说，能做的最有价值的一件事，就是让「换供应商」成为一个有预案的常规动作，而不是一次紧急事故。

我们的经验是：准入清单写死六项、评测集留在自己手里、路由支持双供应商、迁移清单提前写在文档里。这四件做完，谈判桌上和线上稳定性上都从容很多。

星欧平台的模型路由与评测工作台已经把这几步做成配置项，接入方可以从「先接两家、跑同一套用例」开始。