概念Chunking / 文档切分
文档分块
RAG流水线的第一步，将长文档拆分为几百token的片段，分块质量直接影响后续检索和引用效果，页面结构清晰度决定分块质量
时间轴 (近 90 天)
9月8日
在FAQ和技术文档场景中，基于文档结构的分块相比固定长度分块可以提升15-30%的检索准确率
待验证50%
9月3日
分块粒度选择中，通常128-512 token的块适合精确检索，512-2048 token的块更能保留上下文，相邻块之间保留10-20%重叠文本可缓解信息丢失
待验证50%
RAG流水线的第一步，将长文档拆分为几百token的片段，分块质量直接影响后续检索和引用效果，页面结构清晰度决定分块质量
在FAQ和技术文档场景中，基于文档结构的分块相比固定长度分块可以提升15-30%的检索准确率
分块粒度选择中，通常128-512 token的块适合精确检索，512-2048 token的块更能保留上下文，相邻块之间保留10-20%重叠文本可缓解信息丢失