门槛标定实验我怎么决定「什么算合格」
项目:AI 内容生产 Agent · C6 文风判据与净值放行线
不靠感觉,用 31 篇真实语料实测出可量化的代理指标
「文风 AI 味」听起来是主观判断,但可以用代理指标逼近。我拿自己的 31 篇知识库语料逐篇统计,得到一套真实基线:
| 指标 | 实测中位数 | 为什么它是好指标 |
|---|---|---|
| 企业套话密度 赋能/闭环/抓手/颗粒度/对齐 | 0 / 千字 均值 0.09 | 语料里几乎没有——最强判别指标,AI 稿必中 |
| 过渡词密度 首先/其次/总之/综上 | 0 / 千字 p75 = 0.83 | 一半语料为 0;口语稿不用书面连接词 |
| 短句占比(≤6 字) | 20.7% 下限 12.3% | 口语节奏指标;AI 稿句长均匀,短句极少 |
| 句长标准差 | 19.5 | 长短句交错是真人特征;σ 小 = 句式均匀 = 机器感 |
| 句长均值 | 20.6 字 | 区间参考 |
我第一版规则很直觉:加分项 + 每项扣 5 分,净值 > +5 放行。跑完场景库发现它误杀 3 个真产出——
据此改成三条设计:
骨架满分 10 分按 论点命中数 / 6 计,不是"齐了给分、缺一个给零"。
避免差一点点就掉到零分的悬崖效应。
轻微(术语未解释、单项文风瑕疵)= 1;中等(缺论点、论点不服务主线、长句超限)= 3; 严重(类比错配、跑题)= 10。让门槛余量按瑕疵严重度消耗,而不是一刀切。
文风类指标命中 ≥3 个维度时,这五项扣分 ×3。 逻辑是:单项文风瑕疵只是小问题,同时命中三项以上说明整篇文风已经崩了。
| 加分项(按比例) | 满分 | 比例依据 |
|---|---|---|
| B1 骨架完整 | 10 | 论点命中数 / 6(代码判) |
| B2 论点服务主线 | 8 | 服务主线的论点数 / 6 |
| B3 类比与概念结构对应 | 3 | 覆盖 3 个关键属性:全 3 / 部分 2 / 错配 0 |
| B4 前后话题一致 | 2 | 0–1 |
| B5 术语解释到位 | 2 | 已解释 / 术语总数(代码判) |
| 加分上限 | 22 | 理论满分 25,截断防止堆砌 |
| 扣分项(分级) | 分值 | 级别 |
|---|---|---|
| T1–T5 文风类单项 | 1 | 轻微 |
| T6 长句 >40 字占比超限 | 3 | 中等 |
| L1 缺失 1 个小论点 | 3 / 个 | 中等 |
| L2 论点不服务主线 | 3 / 个 | 中等 |
| L3 类比与概念错配 | 10 | 严重 |
| L4 话题不一致 / 跑题 | 10 | 严重 |
| C1 确认违规 / C3 违规 | 红线 | 净值封顶 0,加分不计入 |
构造 15 个产出场景,扫描阈值,看误杀与漏放怎么变
| 场景类别 | 具体场景 |
|---|---|
| 应放行 | 理想稿、骨架齐+主线齐、加术语好、缺 1 论点、1 术语未解释、过渡词略多 |
| 边界(标定为拦下) | 缺 1 论点 + 套话 |
| 应拦下(中度) | 缺 2 论点、缺 1 论点+变序+短句少、主线半服务、缺 3 论点+3 术语 |
| 应拦下(重度) | 典型 AI 味 4 项、AI 味 5 项+2 术语 |
| 红线 | C1 确认违规 |
| 阈值 | 误杀 | 漏放 | 一致 |
|---|---|---|---|
| +5 | 0 | 4 | 11/15 |
| +10 | 0 | 2 | 13/15 |
| +14 | 0 | 1 | 14/15 |
| +15(采用) | 0 | 0 | 15/15 |
| +16 | 1 | 0 | 14/15 |
| +18 | 5 | 0 | 10/15 |
| 产出情形 | 加分 | 可容忍扣分 |
|---|---|---|
| 满分(骨架+主线+类比+话题+术语) | 22 | 扣分 < 7 |
| 骨架齐 + 主线齐 | 18 | 扣分 < 3 |
| 骨架齐但主线半服务 | 14 | 无法过线 |
| 仅骨架齐 | 10 | 无法过线 |
它不新建 agent、不加流程节点、不改既有计分。核对点本来就在流程里,我做的是把它的判定条件换掉: