AI 游戏的内容审核，难点不在模型

案例一：一句台词引发的下架

某叙事项目上线第三天，角色在应对玩家挑衅时生成了一句带地域歧视的回复。模型本身没有「歧视」这个标签，它只是顺着玩家的语气做了模仿。问题出在规则设计：我们当时只拦截了显式脏词，没有覆盖「模仿负面表达」这一类。

修正方式不是加关键词，而是增加一条语义规则：当检测到玩家输入具有攻击性或群体指向时，角色回应必须切换到预设的克制话术池，不参与生成。这条规则把风险从「事后拦截」变成「事前不给机会」。

案例二：误伤掉的正常剧情

另一个项目做悬疑题材，剧情里必然出现凶案描述。初版规则把「尸体」「血迹」一律阻断，导致关键剧情无法推进，玩家在第 12 分钟必然卡死。

我们最终的方案是分层阈值加白名单场景：在明确标注为剧情演出的节点，允许一定强度的描述，但要求同时满足三个条件——有年龄提示、有跳过入口、不出现具体作案手法。上线后误伤率从 9.3% 降到 0.7%，拦截率没有明显下降。

案例三：语音房里的三秒钟

语音场景是审核最容易失守的地方。转写有延迟，等文本出来再判定，违规内容已经播出去了。我们改成双通道：一边做实时声学特征检测，先掐断高风险片段；一边做转写后的语义复核，决定是否追加处置。

代价是误掐。嘈杂环境下的笑声、咳嗽会被误判。我们在客户端加了「刚才被误判了」的按钮，样本回流后把误掐率压到 0.3% 以下。这个按钮看起来不起眼，却是语音审核能不能长期用下去的关键。

两次我们自己承认的事故

事故一：灰度期间只看了拦截率，没看申诉量。新规则上线当天拦截率提升 4 个百分点，看起来是好事，实际是误伤了一批正常表达，申诉量涨了 11 倍。此后我们把「申诉率」列为放量的硬性观察指标。

事故二：审核策略配置错误，导致某个租户的审核实际处于旁路状态，持续了 47 分钟。监控只报了「审核延迟下降」，没人意识到这是异常。现在审核链路的健康检查包含一条「审核必须真实生效」的探针，用固定测试语料定期验证。

三条可以复用的经验

1. 规则要分层，不要一刀切。按场景、年龄与内容类型设不同阈值，比全局提高灵敏度更有效，也更省人工。
2. 灰度看申诉，不只看拦截。拦截率上升可能是好事，也可能是误伤。两个指标必须一起看。
3. 审核要能自证生效。用固定测试语料做探针，比相信配置页面更可靠。

内容审核没有一劳永逸的方案。星欧平台的策略是把它当成持续运营的产品：规则有版本、灰度有节奏、误判有回流、事故有复盘。模型只是其中一环，剩下的都是工程与流程。