文档切块实验室
RAG 的检索质量,一半在切块就定了:块太大,一小块混几件事,检索被稀释;块太小,一句话被斩成两截,哪一块都不完整。同一篇政策切三遍,看切口怎么决定召回命运——关键条款在默认参数下恰好被拦腰斩断。
纯前端确定性模拟:固定长档窗口步进 step = size − overlap,与知识库《RAG:检索增强生成》动手节 split 同构;三档谱系对齐《RAG 进阶:混合检索、重排与评估》——固定长是起点档、段落标题尊重作者边界、语义档按话题转折下刀(预置句级主题标签示意语义边界,页面明示)。注意与「分词」工具分工:那是 BPE 子词层,这是检索库文档层。零 API、零随机。
三档切块 · 谱系从糙到准
文档:差旅报销政策 · 185 字每 48 字切一刀——起点档,便宜但不懂内容
4 块 · 平均 46 字/块 · 斩断 4 处 · 混主题 4 块
切块全景 · 一色一块
出差前须在 OA 系统提交出差申请,写明事由、城市与天数。没有申请单的差旅,费用一律不批。报销凭
证一律用增值税发票,抬头须为公司全称。电子发票需打印一份附在报销单后。报销须在 30 天内提交,
时限从发票开具日起算。超期未报的,要附部门负责人签的情况说明。一线城市住宿上限每晚 600 元。
超标准的部分由个人自理。报销单走部门与财务两级审批。审批通过后,打款固定在每周五。
检索联动 · 词面计分取 top-2
这个查询在考:报销须在 30 天内提交,时限从发票开具日起算。(考一句横跨报销 / 发票两主题的关键句:30 天时限从发票开具日起算)。块级得分 = 查询词面 token(中文字面 2-gram + 英数串)被块覆盖的比例,真实计分。
- 1块 2 · 证一律用增值税发票,抬头须为公司全称。电子发票需打印一份附在报销单后。报销须在 30 天内提交,0.18
- 2块 1 · 出差前须在 OA 系统提交出差申请,写明事由、城市与天数。没有申请单的差旅,费用一律不批。报销凭0.09
静默召回失败 · 召回的块缺了另一半
召回了「报销须在 30 天内提交,」,缺了「时限从发票开具日起算。」——另一半躺在块 3 里没被召回。检索不报错、模型不知情,只能编或者说不知道:这就是静默召回失败,发票超过一个月还能报销吗问的就是它。