产品
RecursiveCharacterTextSplitter
LangChain提供的文本切分器,按分隔符递归切分文本直到块长度符合chunk size设定,支持overlap设置以保留上下文连贯性,减少语义断裂
核心事实
时间轴 (近 90 天)
10月16日
递归字符分块按优先级列表遍历分隔符——段落、换行、句子、词、字符——在保证块不超限的前提下,用最高优先级的分隔符切分。
待验证50%
10月13日
VaultRAG 的文档摄取流程为:用户在 React 界面上传 PDF,FastAPI 接收文件,LangChain 使用 RecursiveCharacterTextSplitter 切分文本块,随后通过 Ollama 生成嵌入向量并存储在本地向量库中。
待验证50%
10月9日
分块策略的演进谱系包括固定大小切分、滑动窗口切分、递归字符切分和结构感知分块
待验证50%
全部知识事实 (4)
已验证
RecursiveCharacterTextSplitter是LangChain中最常用的文本切分器,按照段落、句子、字符的优先级递归切分
75%待验证递归字符分块按优先级列表遍历分隔符——段落、换行、句子、词、字符——在保证块不超限的前提下,用最高优先级的分隔符切分。
50%待验证VaultRAG 的文档摄取流程为:用户在 React 界面上传 PDF,FastAPI 接收文件,LangChain 使用 RecursiveCharacterTextSplitter 切分文本块,随后通过 Ollama 生成嵌入向量并存储在本地向量库中。
50%待验证分块策略的演进谱系包括固定大小切分、滑动窗口切分、递归字符切分和结构感知分块
50%