待验证50% 置信事实精确时间

文本编码时“cat”、“ cat”、“Cat”、“cats”可能对应完全不同的token ID，且一个单词可能被拆成多个token。

1

来源数

50%

置信度

长期有效

时效性

2026/10/19

首次发现

来源

Logit Bias：给LLM词汇加权重，精准控制输出

rss2026/10/19

涉及实体

tokenizerconcept token IDconcept

相关事实

待验证在检索前对缩写进行扩展存在问题，因为同一个代码在不同部门可能代表完全不同的含义，盲目扩展会造成同名异义代码的混淆55% 相似待验证Caleb在处理邮政编码等非常规字符串时容易误判，表现出与历代Qwen版本一致的分词特征54% 相似待验证将文本编码为向量嵌入（vector embedding）本身是一种有损变换，措辞细节、情绪语气、语境关联等信息可能部分流失53% 相似待验证将文本编码为 token ID 后再解码回文本得到的字符串未必与原始输入完全相同（往返一致性问题）53% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1067605

API

curl https://kongchang.com/api/v1/knowledge/claims/1067605

MCP

get_claim(id=1067605)