待验证50% 置信基准精确时间

在无约束条件下，Functionalizer实现对语料完整覆盖所需的词表槽位最多减少了16%

1

来源数

50%

置信度

长期有效

时效性

2026/9/16

首次发现

来源

Functionalizer：无损分解子词分词的新框架

涉及实体

The Functionalizerconcept

相关事实

待验证基于语义图的表示相比文本代码可以减少约30%-60%的token消耗68% 相似待验证Functionalizer在序列长度上存在领域依赖性权衡：对缩进密集的代码序列能起压缩作用，但对自然语言散文反而会让序列变长65% 相似待验证实验数据显示，语法约束解码使小型语言模型生成Bash代码的语法正确率大幅提高，引号不匹配和结构不完整等错误几乎被完全消除65% 相似待验证Paritok 采用无损压缩，即在不丢失语义信息的前提下减少 Token 数量64% 相似已验证大模型处理文本以Token（词元）为最小处理单元，由分词器完成切分63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/924769

API

curl https://kongchang.com/api/v1/knowledge/claims/924769

MCP

get_claim(id=924769)