待验证90% 置信事实时间未知

RAG索引阶段的文本分块可以按句子分段，也可以按固定长度（如128或1024个Token）切分

1

来源数

90%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

RAGFlow本地部署教程：Docker搭建企业级RAG知识库全流程

bilibili吴恩达LLM

涉及实体

相关事实

待验证CLIP文本编码器的标准上下文窗口长度约为77个Token，超出部分的语义信息会被截断或降权处理67% 相似待验证递归字符分块是LangChain的默认方案，会依次尝试按段落、句子、词语等层级边界切分以优先保留语义完整性67% 相似待验证文本分块策略包括固定字符长度分块、语义分块、递归分块以及小到大检索（Small-to-Big）等策略66% 相似待验证文本块重叠处理可在关键知识点跨越切分边界时保留语义连贯性，例如chunk_size=500、chunk_overlap=5064% 相似待验证现代LLM的分词器通常将文本压缩为约10万词汇量的Token序列64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/18822

API

curl https://kongchang.com/api/v1/knowledge/claims/18822

MCP

get_claim(id=18822)