Chunking
RAG系统中将长文档切分为较小文本片段的预处理技术，常见策略包括固定字数切分、段落切分、章节切分及基于语义的动态分割，分片粒度直接影响检索质量
Core Facts
Timeline (last 90 days)
主流分片策略分为三类：固定长度分片、语义感知分片和滑动窗口分片
RAG分块质量直接决定检索召回率，若一段完整论述被切断在两个chunk中间，向量检索可能只召回半截内容，导致LLM基于不完整信息作答
Chunk切分的粒度直接影响检索质量，片段太长会引入噪音，太短则可能丢失上下文
文档切分块太大会引入噪音，太小则丢失上下文，需要根据文档类型调整块大小和重叠长度
完整的RAG链路包括文档切片、向量存储、重排和检索到生成四个环节
分块大小通常推荐在 256-512 tokens 之间，并保留 10-15% 的重叠区域
固定大小分块可能将完整答案强行切割到不同块中，破坏语义完整性
文档分块中通常设置10%-20%的重叠率以确保跨块信息不丢失
RAG中块间重叠通常设置10%-20%的重叠率以确保跨块信息不丢失
Chunking实践中通常设置10%-20%的块间重叠率以确保跨块信息不丢失
All Facts (13)
知识库文档在入库前需要经过分块（Chunking）处理，常见策略包括固定长度分块、按句子/段落分块、递归字符分块，以及父子块策略
90%Unverified处理长文本时，工程化的分块处理（Chunking）和滑动窗口（Sliding Window）策略是标准解法
90%Partially Verified文本切片的overlap（重叠区域）通常设置为chunk_size的10%-20%
65%Unverified完整的RAG链路包括文档切片、向量存储、重排和检索到生成四个环节
60%Unverified主流分片策略分为三类：固定长度分片、语义感知分片和滑动窗口分片
50%UnverifiedRAG分块质量直接决定检索召回率，若一段完整论述被切断在两个chunk中间，向量检索可能只召回半截内容，导致LLM基于不完整信息作答
50%UnverifiedChunk切分的粒度直接影响检索质量，片段太长会引入噪音，太短则可能丢失上下文
50%Unverified文档切分块太大会引入噪音，太小则丢失上下文，需要根据文档类型调整块大小和重叠长度
50%Unverified分块大小通常推荐在 256-512 tokens 之间，并保留 10-15% 的重叠区域
50%Unverified固定大小分块可能将完整答案强行切割到不同块中，破坏语义完整性
50%Unverified文档分块中通常设置10%-20%的重叠率以确保跨块信息不丢失
50%UnverifiedRAG中块间重叠通常设置10%-20%的重叠率以确保跨块信息不丢失
50%UnverifiedChunking实践中通常设置10%-20%的块间重叠率以确保跨块信息不丢失
50%