[控场AI]
概念Chunking / 文档分块 / chunking策略

分块策略

RAG和本地索引中将文档或代码切分为可检索单元的技术方案,包括固定长度切分、按语义边界切分、滑动窗口等多种策略,分块粒度直接影响检索精度与上下文完整性的平衡

时间轴 (近 90 天)

10月19日

两种策略可能产生相同的块数,但大小方差差异巨大,高方差通常意味着有些块极小、有些块极大,会直接影响检索的稳定性。

待验证50%
10月14日

当对抗性问题的 recall@5 偏低时,正确的动作是回到分块策略检查,只有在 recall@5 达标之后,优化嵌入模型或重排序器才是有意义的投入。

待验证50%
10月12日

分块大小没有万能值,256-512 token是常见起点,但技术文档可能需要按标题层级分块。

待验证50%
10月5日

常见的分块方式包括按固定字符数切分、按句子/段落边界切分、以及带重叠窗口的滑动切分

待验证50%
8月23日

向量检索的效果高度依赖于分块策略,常用方法包括固定长度分块、基于语义的分块以及递归分块

待验证50%

全部知识事实 (5)

来源文章