待验证50% 置信事实精确时间
held-out BPB（每字节比特数）是一种衡量语言模型压缩效率的指标，值越低表示模型对未见过文本的预测越准确。
1
来源数
50%
置信度
长期有效
时效性
2026/10/27
首次发现
来源
涉及实体
相关事实
待验证每字节比特数（bpb）是语言模型压缩效率的度量：模型对文本的负对数似然除以原始字节数；由于所有分词器还原后的字节序列长度相同，bpb 不随 token 切分方式变化，适合跨词表比较。75% 相似待验证主流分词算法BPE和Unigram的优化目标本质上都是压缩：在有限词表下最小化语料编码长度。67% 相似已验证BPE的核心思路是从字符级别出发，反复合并出现频率最高的相邻字符对，直到词汇表达到预设大小65% 相似待验证BPE 的核心思想是将高频共现的字符对反复合并为新的子词单元，能处理未登录词（OOV）同时保持词表规模可控65% 相似已验证BPE算法起源于数据压缩领域，通过迭代合并高频字符对来构建词汇表64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1102614API
curl https://kongchang.com/api/v1/knowledge/claims/1102614MCP
get_claim(id=1102614)