四个具体问题,不是「AI 应该更懂我」这种愿望
先把「什么算记住、什么算答对、什么算该拒答」定成规则,再写代码
L0 画像与规则:只有需要我本人拍板的才进这层,改动必须人工确认。
L1 项目事实:自动写入 + 强制来源,写不进来源的直接拒写。
L2 日志与证据:只追加、不进检索——过程记录不该污染「事实」。
L3 经验与 SOP:稳定到可以复用的做法,升级成 skill。
| 写入闸门 | 规则(违反就写不进去) |
|---|---|
| 必须先有来源 | 无 source 拒写;每条都记来源类型、路径、观察时间 |
| 三路判定 | 同主题同说法 → 去重;说法相反 → 双方标 disputed 等人工裁决;说法一致但更晚 → 旧条转 stale 并记 supersedes |
| 主题键复用 | 只允许 57 个主题键,禁止每条新造标题——否则冲突检测永远空转(这条是踩坑后补的) |
| 数字必须带条件 | claim 含数字时必须写 conditions / exceptions,否则一条断言不算数 |
| 低置信强制未验证 | 推断类置信度 ≤0.6 时必须 verified=false,并在正文里明说「推断」 |
记忆层的三个动作:找得到、说得清、答不上时闭嘴
index → 项目卡 → 条目 树状结构,750 个节点、0 条悬空链接;项目之间不直连,检索却全局。下面这些不是估算,是 select count(*) 和遥测表
生效条目的类型分布:事实 204 · 决策 117 · 偏好 63 · 经验 56 · 项目卡 3。撤回不删档——42 条留墓碑,可追溯为什么被撤回。
每组都标了样本量与日期;样本小的地方我直接说小
| 指标 | 结果 | 说明 |
|---|---|---|
| 路径召回 path_recall@5 | 0.857(24/28) | 该找到的文件,前 5 条里找回来的比例 |
| 条目召回 entry_recall@5 | 1.000 | 该命中的记忆条目,前 5 条里全在 |
| MRR(路径 / 条目) | 0.81 / 0.92 | 第一条正确结果排多靠前 |
| 项目内纯度 · 跨项目泄漏 | 1.0 · 0.0 | 按项目过滤后不串项目;全局检索不命中禁区 |
可答的 27 条里误拒 1 条(3.7%,95% 置信区间 0.7%–18.3%);不可答只有 3 条:拦住 1 条、漏 2 条。 不可答样本只有 3 条,catch 只当「参考」,不作为调线依据——这是当时定下的结论:暂不调线,继续攒自然样本。 同一套三档口径下,我自己的固定评测题集是 catch 0.947(18/19)、误拒 0.000。
| 轮次 | 均分(5 分制) | 会用率 | 可用率(≥4 分) | 发生了什么 |
|---|---|---|---|---|
| v1 盲评 | 2.17 | 16.7% | 16.7% | 模型给 8.58 分,我盲评 2.17,与模型一致率 0%——第一个被证伪的判断 |
| v2 | 3.83 | 83.3% | 66.7% | 修交付契约后大幅回升,但可用率差 2 个任务过 85% 线,仍 FAIL |
| v3 | 4.2 | 100% | 60% | 换全新任务集(5/5 已评);会用率满分,可用率差在形态 |
| v3.1 | 5.0 | 100% | 100% | 定向修订 3 条后重评 6/6 全 5 分、0 事实问题;不是盲测泛化 |
无记忆 2.92 → 有记忆 8.58(+5.67 / 10 分制),6/6 全胜;编造从 16 处降到 0 处; 有记忆组共引用 39 条记忆,39/39 全部能在库中找到且状态为 active。含一道诱饵题(库里确实没有的主题),有记忆组明确回答「记忆库无记录」。
但这组是模型生成 + 模型评审的结论,不能当可用性证据——第 ③ 组的人工盲评恰好证明了相反的事。
这部分比数字更值钱:判断错在哪、靠什么证据改
模型 A/B 给出 8.58 分、6/6 全胜,我盲评只有 2.17、一致率 0%。由此定下规矩:模型评审只作参照,验收必须人评。修的不是分数,是交付形态(开场点题、模板给全文)——v3.1 才到 6/6。
一开始每条记忆一个新标题,看起来整齐;结果是「同主题、说法相反」根本不会触发。把 99 个历史标题归并到 57 个主题键后,去重、冲突、演进三道闸才真正跑起来——这不是重构代码,是修判定口径。
试过把过程文档标成「只索引、不进检索」,等于让检索看不见它们,违背「宁可全量检索」的口径,撤回:过程文档一律保持可检索、不蒸馏,策略覆盖率按 1.0 守。
把常驻核心做「单版本化」以为能省一半:全量口径只降 5.7%(未过协议 ≥8% 线),按步归一化反而 +3.6%,因此回退。成本大头是会话历史 × 步数 × 每步重发,常驻核心只占约 0.8%——省错地方了。
自己写,不依赖第三方服务;换机只搬一个文件夹
private/(DPAPI 加密),默认不注入、不导出。不用追问,我先说
verified=true:这个标记留给人工复核过的条目,其余 434 条是「有来源、按置信度规则入库」,我把状态如实写出,不把它们说成已核验。