待验证50% 置信事实精确时间

在LCT的最终词表分配阶段，频率仍决定有限词表槽位如何在各语言、各单元间取舍。

1

来源数

50%

置信度

长期有效

时效性

2026/10/13

首次发现

来源

Latent Core Tokenizer：压缩率不等于表征质量，多语言分词的新思路

涉及实体

Latent Core Tokenizermodel

相关事实

待验证词袋模型将文本拆解为词的集合，忽略语序，只统计每个词出现的频率或权重69% 相似待验证传统大语言模型的自回归解码中每个token生成依赖前一个，输出越长延迟越高68% 相似待验证文本分类任务只需要最后一个token的输出向量进行分类，因为它能看到全部前文68% 相似待验证词汇-韵律单元化与分块方法仅对连续的词单元进行池化处理，以在文本和语音两种模态中保留事件的身份和量级67% 相似待验证compact模式会将检索到的多个文本块压缩合并后送入LLM以减少API调用次数，refine模式则迭代式地依次将每个文本块送入LLM逐步精炼答案66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1013342

API

curl https://kongchang.com/api/v1/knowledge/claims/1013342

MCP

get_claim(id=1013342)