待验证50% 置信事实精确时间

预分词（pre-tokenisation）规则会限制哪些文本片段可以成为预测单元，其带来的压缩成本在同一边界规则下比较分词器时被掩盖

1

来源数

50%

置信度

长期有效

时效性

2026/9/30

首次发现

来源

分词边界的代价：压缩效率与预测质量的量化博弈

涉及实体

预分词concept

相关事实

待验证压缩层通过标准化、去冗余处理使不同会话的上下文前缀更趋一致，从而提高触发缓存的概率70% 相似待验证词袋模型将文本拆解为词的集合，忽略语序，只统计每个词出现的频率或权重67% 相似待验证调整结构体字段顺序（较大字段在前、较小字段集中排列）可减少编译器插入的填充字节67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/961013

API

curl https://kongchang.com/api/v1/knowledge/claims/961013

MCP

get_claim(id=961013)