待验证50% 置信事实精确时间

与困惑度（perplexity）相比，BPB 对分词方式不敏感，便于跨模型比较。

1

来源数

50%

置信度

长期有效

时效性

2026/10/27

首次发现

来源

Auto-Research Arena：自动研究系统的基准测试与前沿探索

涉及实体

BPBconcept 困惑度concept

相关事实

待验证BLEU 对同义词替换、语序变化不敏感，与人类判断的相关性在形态丰富的语言上尤为薄弱69% 相似已验证大语言模型生成的文本困惑度（Perplexity）偏低，词汇选择过于符合概率预期，缺乏人类写作的意外性68% 相似待验证困惑度高度依赖tokenizer，不同分词器切分的token粒度不同，同一段文本的token数量不同，困惑度数值无法直接比较。68% 相似待验证同一模型面对语义相近但措辞不同的问题，可能产生截然不同的回答68% 相似待验证BPE类方法隐含的假设是高频片段更值得进入词表，这导致多语言场景下词表容量天然向高资源语言倾斜。67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1102615

API

curl https://kongchang.com/api/v1/knowledge/claims/1102615

MCP

get_claim(id=1102615)