待验证50% 置信权衡取舍精确时间

分段生成应沿业务语义边界切割而非按字符数硬切，否则拼接后的结构一致性难以保证

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

被忽略的 finish_reason：LLM 截断如何悄悄污染你的数据管线

涉及实体

大语言模型concept

相关事实

待验证固定大小分块会切断语义完整性，而基于段落或语义边界的分块需要更复杂的解析逻辑76% 相似待验证语义分块（semantic chunking）借助嵌入模型判断相邻句子语义相似度，在语义断裂处切分，但仍无法保证跨段落的逻辑连贯性75% 相似已验证在代码场景中，按函数边界切片比按固定字符数切片能保留更完整的语义单元75% 相似待验证递归字符文本分割器通过尝试在自然边界（段落、句子）处切分来平衡文档片段过长超出上下文窗口与过短丢失语义的矛盾70% 相似待验证递归字符分块是LangChain的默认方案，会依次尝试按段落、句子、词语等层级边界切分以优先保留语义完整性70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1003928

API

curl https://kongchang.com/api/v1/knowledge/claims/1003928

MCP

get_claim(id=1003928)