Chunking
RAG系统中将长文档切分为较小文本片段的预处理技术，常见策略包括固定字数切分、段落切分、章节切分及基于语义的动态分割，分片粒度直接影响检索质量
核心事实
时间轴 (近 90 天)
块太小时，块会丢失上下文，检索到的段落单独读没问题，但LLM无法回答，因为答案的落脚点落在没被召回的其他块里。
分块本质上是在“检索精度”和“上下文完整性”之间做权衡，这个权衡没有普适最优解，取决于查询是偏细节型还是偏概括型。
块跨语义边界切分时，定义在一个块里，例子在另一个块里，只召回其中一个，LLM只拿到半个答案。
正确的分块策略取决于源文档的结构和查询形态，而非某篇博客的默认数字。
分块（Chunking）是RAG教程中最常被一笔带过的步骤，多数教程只建议将文档切成500个token的块，但检索效果差往往就出在这里。
RAG教程很少覆盖一个关键问题：分块边界几乎总是错的；当把文档切块并嵌入时，实际上是对哪些上下文属于一起做出假设，这些假设经常不成立。
分块（Chunking）切块过小会丢失上下文语义，切块过大会导致向量相似度被稀释、无关内容混入
固定大小分块会切断语义完整性，而基于段落或语义边界的分块需要更复杂的解析逻辑
主流分片策略分为三类：固定长度分片、语义感知分片和滑动窗口分片
RAG分块质量直接决定检索召回率，若一段完整论述被切断在两个chunk中间，向量检索可能只召回半截内容，导致LLM基于不完整信息作答
还有 9 条时间轴事件
全部知识事实 (20)
RAG教程很少覆盖一个关键问题：分块边界几乎总是错的；当把文档切块并嵌入时，实际上是对哪些上下文属于一起做出假设，这些假设经常不成立。
70%已验证检索增强生成（RAG）的核心流程分为三步：将知识库文档切分并向量化存储、检索语义最相关片段、将片段作为上下文注入LLM提示词
70%已验证完整的RAG链路包括文档切片、向量存储、重排和检索到生成四个环节
65%待验证知识库文档在入库前需要经过分块（Chunking）处理，常见策略包括固定长度分块、按句子/段落分块、递归字符分块，以及父子块策略
90%待验证处理长文本时，工程化的分块处理（Chunking）和滑动窗口（Sliding Window）策略是标准解法
90%部分验证文本切片的overlap（重叠区域）通常设置为chunk_size的10%-20%
65%待验证分块本质上是在“检索精度”和“上下文完整性”之间做权衡，这个权衡没有普适最优解，取决于查询是偏细节型还是偏概括型。
50%待验证分块（Chunking）是RAG教程中最常被一笔带过的步骤，多数教程只建议将文档切成500个token的块，但检索效果差往往就出在这里。
50%待验证正确的分块策略取决于源文档的结构和查询形态，而非某篇博客的默认数字。
50%待验证块太小时，块会丢失上下文，检索到的段落单独读没问题，但LLM无法回答，因为答案的落脚点落在没被召回的其他块里。
50%待验证块跨语义边界切分时，定义在一个块里，例子在另一个块里，只召回其中一个，LLM只拿到半个答案。
50%待验证分块（Chunking）切块过小会丢失上下文语义，切块过大会导致向量相似度被稀释、无关内容混入
50%待验证固定大小分块会切断语义完整性，而基于段落或语义边界的分块需要更复杂的解析逻辑
50%待验证主流分片策略分为三类：固定长度分片、语义感知分片和滑动窗口分片
50%待验证RAG分块质量直接决定检索召回率，若一段完整论述被切断在两个chunk中间，向量检索可能只召回半截内容，导致LLM基于不完整信息作答
50%待验证Chunk切分的粒度直接影响检索质量，片段太长会引入噪音，太短则可能丢失上下文
50%待验证文档切分块太大会引入噪音，太小则丢失上下文，需要根据文档类型调整块大小和重叠长度
50%待验证分块大小通常推荐在 256-512 tokens 之间，并保留 10-15% 的重叠区域
50%待验证固定大小分块可能将完整答案强行切割到不同块中，破坏语义完整性
50%待验证文档分块中通常设置10%-20%的重叠率以确保跨块信息不丢失
50%