结构感知分块
一种RAG分块策略,利用文档标题和章节层级保留信息归属上下文,使块携带标题路径
时间轴 (近 90 天)
结构感知分块利用标题和章节保留上下文,将标题路径写进被嵌入的文本有助于检索匹配,放进送给回答模型的上下文有助于模型理解语义,两者环节不同且不能互相替代。
结构感知分块(structure-aware chunking)是指在切分文档时优先识别并尊重文档自身的逻辑边界(标题层级、编号条款、表格边界、列表项、代码块等),而不是简单按固定字符数或token数切割。
结构感知分块通常分两步:先用解析器(如处理PDF的layout-aware解析器、处理HTML的DOM解析器)提取带层级的文档树,再按节点类型决定合并或拆分策略。
结构感知分块的代价是需要为每种文档类型维护解析规则,且文档格式变化时解析器也要同步更新。
对于政策、合同、API文档这类结构本身就是语义载体的语料,投入维护结构感知分块解析规则几乎总是值得的,因为检索质量的上限由分块边界决定,而非嵌入模型。
结构感知分块的质量上限直接受制于解析阶段的准确度,如果解析阶段未能识别标题层级,结构感知分块便无从谈起
全部知识事实 (6)
结构感知分块利用标题和章节保留上下文,将标题路径写进被嵌入的文本有助于检索匹配,放进送给回答模型的上下文有助于模型理解语义,两者环节不同且不能互相替代。
50%待验证结构感知分块(structure-aware chunking)是指在切分文档时优先识别并尊重文档自身的逻辑边界(标题层级、编号条款、表格边界、列表项、代码块等),而不是简单按固定字符数或token数切割。
50%待验证结构感知分块通常分两步:先用解析器(如处理PDF的layout-aware解析器、处理HTML的DOM解析器)提取带层级的文档树,再按节点类型决定合并或拆分策略。
50%待验证结构感知分块的代价是需要为每种文档类型维护解析规则,且文档格式变化时解析器也要同步更新。
50%待验证对于政策、合同、API文档这类结构本身就是语义载体的语料,投入维护结构感知分块解析规则几乎总是值得的,因为检索质量的上限由分块边界决定,而非嵌入模型。
50%待验证结构感知分块的质量上限直接受制于解析阶段的准确度,如果解析阶段未能识别标题层级,结构感知分块便无从谈起
50%