门槛标定实验我怎么决定「什么算合格」

项目:AI 内容生产 Agent · C6 文风判据与净值放行线

上一页(评测方法)回答的是「什么叫好」怎么定义。这一页回答更难的一问: 门槛该定在哪,凭什么这么定。
我没有直接拍一个数字,而是先把 31 篇语料实测出文风基准, 再构造 15 个产出场景做阈值敏感性扫描,最后选一个在场景库上误杀 0、漏放 0 的点。
结论:放行线定在 净值 > +15,且它只在核对点生效,不参与既有计分。

一、先解决「基准」问题:什么叫"像人写的"

不靠感觉,用 31 篇真实语料实测出可量化的代理指标

「文风 AI 味」听起来是主观判断,但可以用代理指标逼近。我拿自己的 31 篇知识库语料逐篇统计,得到一套真实基线:

指标实测中位数为什么它是好指标
企业套话密度
赋能/闭环/抓手/颗粒度/对齐
0 / 千字
均值 0.09
语料里几乎没有——最强判别指标,AI 稿必中
过渡词密度
首先/其次/总之/综上
0 / 千字
p75 = 0.83
一半语料为 0;口语稿不用书面连接词
短句占比(≤6 字)20.7%
下限 12.3%
口语节奏指标;AI 稿句长均匀,短句极少
句长标准差19.5长短句交错是真人特征;σ 小 = 句式均匀 = 机器感
句长均值20.6 字区间参考
顺带发现的一个"假指标":我一开始想用「段长方差」,统计后发现语料是 一句一行 + 空行分隔(490 行里 359 行是空行),段落长度恒等于句子长度—— 这个指标是假的。改用句长标准差才成立。

二、判据设计:为什么不能"每条统一扣 5 分"

我第一版规则很直觉:加分项 + 每项扣 5 分,净值 > +5 放行。跑完场景库发现它误杀 3 个真产出——

根因:门槛只有 +5,而每条小瑕疵扣 −5,意味着 任何一条轻微瑕疵就吃掉全部门槛余量,规则退化成「零瑕疵要求」。 一个术语没解释就被拦下——这不是质量标准,是洁癖。

据此改成三条设计:

① 加分改「按比例」,取消二元判定

骨架满分 10 分按 论点命中数 / 6 计,不是"齐了给分、缺一个给零"。 避免差一点点就掉到零分的悬崖效应。

② 扣分分三级:1 / 3 / 10

轻微(术语未解释、单项文风瑕疵)= 1;中等(缺论点、论点不服务主线、长句超限)= 3; 严重(类比错配、跑题)= 10。让门槛余量按瑕疵严重度消耗,而不是一刀切。

③ 加「一致性乘数」——本版最有效的单一机制

文风类指标命中 ≥3 个维度时,这五项扣分 ×3。 逻辑是:单项文风瑕疵只是小问题,同时命中三项以上说明整篇文风已经崩了。

实测效果:单项瑕疵的场景(1 个术语未解释 / 过渡词略多)仍然放行; 而"典型 AI 味 4 项同时命中"从「能过」变成「该拦下」。这就是乘数想要的效果——不误伤,但拦住真崩的。

三、最终规则

加分项(按比例)满分比例依据
B1 骨架完整10论点命中数 / 6(代码判)
B2 论点服务主线8服务主线的论点数 / 6
B3 类比与概念结构对应3覆盖 3 个关键属性:全 3 / 部分 2 / 错配 0
B4 前后话题一致20–1
B5 术语解释到位2已解释 / 术语总数(代码判)
加分上限22理论满分 25,截断防止堆砌
扣分项(分级)分值级别
T1–T5 文风类单项1轻微
T6 长句 >40 字占比超限3中等
L1 缺失 1 个小论点3 / 个中等
L2 论点不服务主线3 / 个中等
L3 类比与概念错配10严重
L4 话题不一致 / 跑题10严重
C1 确认违规 / C3 违规红线净值封顶 0,加分不计入
一个必须堵的漏洞:我最初把「论点服务主线」只做成加分项—— 结果"骨架齐但主线完全不服务"照样通过,因为不服务主线只是"没拿到分",永远不扣分。 现在它同时进扣分表(L2),才算堵住。

四、标定实验:门槛到底该定在哪

构造 15 个产出场景,扫描阈值,看误杀与漏放怎么变

场景类别具体场景
应放行理想稿、骨架齐+主线齐、加术语好、缺 1 论点、1 术语未解释、过渡词略多
边界(标定为拦下)缺 1 论点 + 套话
应拦下(中度)缺 2 论点、缺 1 论点+变序+短句少、主线半服务、缺 3 论点+3 术语
应拦下(重度)典型 AI 味 4 项、AI 味 5 项+2 术语
红线C1 确认违规
阈值误杀漏放一致
+50411/15
+100213/15
+140114/15
+15(采用)0015/15
+161014/15
+185010/15
为什么选 +15 而不是更宽松的 +5:两条我都跑了。 +5 会放行"缺 2 个论点""典型 AI 味 4 项"这类明显不合格的稿; +15 在全场景库上是唯一误杀 0、漏放 0 的点。 代价我也写清楚:满分稿只能带 7 分瑕疵,"骨架齐+主线齐"只有 3 分预算——这是刻意的严格。

五、这个门槛实际要求什么

产出情形加分可容忍扣分
满分(骨架+主线+类比+话题+术语)22扣分 < 7
骨架齐 + 主线齐18扣分 < 3
骨架齐但主线半服务14无法过线
仅骨架齐10无法过线

六、这个判定放在哪(范围)

它不新建 agent、不加流程节点、不改既有计分。核对点本来就在流程里,我做的是把它的判定条件换掉:

内容生产→ 一致性核查
跑判据
→ 核对点
原:规则分 ≥85
新:净值 > +15
→ 放行 / 重试 / 转人工
为什么不动既有计分:原规则分(100 − 扣分)在文档里的用途是「版本对比」, 放行判定归核对点。两个指标各归其位,互不干扰——净值只做判定,不进版本对比, 既有 73 项回归测试也不受影响。

这一页的边界(如实记录)

相关材料

判据是怎么定的

C1–C6 六条约束与判分器实测发现并修掉的 5 个问题

看评测方法 →

真实用起来会出什么问题

连续用几个月遇到的三个问题,以及它们各自对应哪个判据盲区

看真实使用记录 →

← 返回作品集首页