待验证50% 置信事实精确时间

比特/字节是字节级语言模型的标准评估指标，本质上等同于以2为底的交叉熵，均匀分布模型的理论上界是8比特/字节

1

来源数

50%

置信度

长期有效

时效性

2026/10/6

首次发现

来源

无需真实文本：合成先验让模型在上下文中学会语言

涉及实体

比特/字节concept

相关事实

待验证大型语言模型的上下文本质上是模型在单次推理中能够处理的全部信息总量，通常以 Token 数量衡量65% 相似待验证哈夫曼编码根据符号频率构建最优前缀码，使平均码长趋近于信息熵的理论下界62% 相似已验证Token是大语言模型处理文本的基本计量单位，由BPE（字节对编码）等分词算法生成62% 相似待验证逻辑连接词属于话语标记（discourse markers），其预测熵远高于普通内容词62% 相似待验证嵌入模型采用双塔（Bi-encoder）架构，将查询和文档独立编码成向量，然后通过余弦相似度等方式计算距离61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/980593

API

curl https://kongchang.com/api/v1/knowledge/claims/980593

MCP

get_claim(id=980593)