待验证50% 置信事实精确时间
用其他厂商的 tokenizer 库计算目标模型的 token 数会导致系统性偏差，因为不同模型使用不同的词表，且这种偏差从调用方角度不可观测。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证采样端与评分端的 tokenization 逻辑不对齐会导致同一段文本被切分成不同 token 序列，造成概率不一致73% 相似待验证原始边界框坐标需转换为模型专用的 token 表示，任何格式偏差都可能导致模型无法正确学习定位能力70% 相似待验证模型原生的安全对齐（训练嵌入权重）不占用上下文窗口，而推理时的系统提示注入会实际消耗 token 配额并可能与用户系统提示冲突68% 相似待验证约束解码只能约束 token 序列合法性，无法约束语义，模型仍可输出错误的枚举值或越界数字68% 相似待验证自回归生成的天然缺陷在于模型生成第一个 token 时无法看到整个输出序列的全局结构，导致早期决策难以被后续内容纠正68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1027847API
curl https://kongchang.com/api/v1/knowledge/claims/1027847MCP
get_claim(id=1027847)