[控场AI]
概念structure-aware chunking

结构感知分块

一种RAG分块策略,利用文档标题和章节层级保留信息归属上下文,使块携带标题路径

时间轴 (近 90 天)

10月17日

结构感知分块利用标题和章节保留上下文,将标题路径写进被嵌入的文本有助于检索匹配,放进送给回答模型的上下文有助于模型理解语义,两者环节不同且不能互相替代。

待验证50%
10月14日

结构感知分块(structure-aware chunking)是指在切分文档时优先识别并尊重文档自身的逻辑边界(标题层级、编号条款、表格边界、列表项、代码块等),而不是简单按固定字符数或token数切割。

待验证50%
10月14日

结构感知分块通常分两步:先用解析器(如处理PDF的layout-aware解析器、处理HTML的DOM解析器)提取带层级的文档树,再按节点类型决定合并或拆分策略。

待验证50%
10月14日

结构感知分块的代价是需要为每种文档类型维护解析规则,且文档格式变化时解析器也要同步更新。

待验证50%
10月14日

对于政策、合同、API文档这类结构本身就是语义载体的语料,投入维护结构感知分块解析规则几乎总是值得的,因为检索质量的上限由分块边界决定,而非嵌入模型。

待验证50%
10月9日

结构感知分块的质量上限直接受制于解析阶段的准确度,如果解析阶段未能识别标题层级,结构感知分块便无从谈起

待验证50%

全部知识事实 (6)

来源文章