真实使用记录我自己用了几个月，出了什么问题
项目：AI 内容生产 Agent · 真实生产使用（非 Demo）
| 现象 | 性质 | 对应盲区 |
|---|---|---|
| 稿件合格率低，时好时坏 | 指标结构看不见 | 判定层准不准，不影响抽取层漏掉的 |
| 库外比喻听感很奇怪 | 已知盲区的线上表现 | C1 的抽取召回只有 43.6% |
| 文风过于 AI 味 | 判据维度缺失 | C1–C6 没有一条管文风 |
现象产出质量不稳定，好的时候几乎不用改，差的时候整篇要重写。一开始我以为是"模型发挥不稳定"。
归因链路是两级串联：先抽取出类比候选 → 再判定它合不合规。 我一直盯着的"一致率"，测的只是第二级。
动作新增召回诊断输出（覆盖度、含标记未参与判定的句子、无标记但形态像类比的句子），并补正则把召回从 33.8% 提到 43.6%。
结果与残留召回可测量、可改善了，但没有根治：抽取依赖我人工维护的标记词表， 而"无标记隐喻"天生抓不到——漏掉的那些不会进入任何指标的分母。仍有 7 句未解决。
现象产出里偶尔冒出知识库里没有的类比，听感突兀、不像我说的话。
归因这正是 C1 约束（类比必须来自知识库） 要拦的东西，但它漏了。三个原因叠加：
| 原因 | 说明 |
|---|---|
| 抽取召回只有 43.6% | 库外自创的比喻没被抓进判定环节，直接被当正常内容放行 |
| 语义阈值 0.55 偏向"不漏放" | 为了避免误拦合规改写，阈值调低 → 假阳性增加 |
| 知识库只有 31 篇示范语料 | 完整语料在另一台设备；库越小，"库内/库外"的边界越模糊 |
关键一点我在写分层说明文档时，已经推导出"这个盲区会在线上表现成假阳性"， 真实使用反馈把它验证了。预测与实测对上，比事后解释有力得多。
残留这条没有干净解：在语料不完整的前提下，只能靠"提高召回 + 人工抽检"压住，不能消除。
现象稿子规则上都过，但读起来有股机器味——套话多、句式整齐、没有口语的错落感。
归因翻遍 C1–C6：C1 管类比来源、C3 管事实、C4 管结构、C6 管"口语通俗 + 术语解释"。 没有一条管"文风像不像人写的"——这不是 bug，是判据维度缺失。
动作补一套可量化的文风判据（设计过程见「门槛标定实验」页）：
残留规则层只能抓表面特征（套话、过渡词、句长分布）； "信息密度低、每段都在铺垫"这类结构性 AI 味抓不到，要靠参照层（随机抽 3 篇语料做文风核对）+ 人工。
| 能力 | 证据 |
|---|---|
| 能把主观问题量化 | 把"文风 AI 味"拆成 4 个可从语料实测的代理指标 |
| 能发现指标结构缺陷 | 识别出"端到端 = 召回 × 准确"，并指出自己一直只测了一半 |
| 能预测盲区的线上表现 | 分层说明里提前推导出假阳性，实测验证 |
| 会如实记录残留 | 三条都没有粉饰成"已解决"——都写清"没根治"与原因 |