待验证50% 置信事实精确时间

以英语约5万常用词汇计算，Trigram 理论上需存储约1.25×10¹⁴种组合的概率

1

来源数

50%

置信度

长期有效

时效性

2026/7/20

首次发现

来源

彻底搞懂Transformer：语言模型如何实现文字接龙

相关事实

待验证LLM生成阶段对词汇表（通常包含32,000至128,000个token）计算Softmax概率分布，形成总和为1的概率向量68% 相似待验证word2vec负采样中，对每个正样本随机采样k个（通常5-20个）负样本，采样概率通常按词频的3/4次方分布67% 相似待验证大模型的输出是概率性的而非确定性的，同样的问题问100次可能得到100个不同的回答66% 相似待验证1000亿参数的模型处理单次推理请求需约80GB显存，百亿参数级别模型仅需约20GB64% 相似待验证大模型词汇表通常在32,000到100,000个token之间64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/570278

API

curl https://kongchang.com/api/v1/knowledge/claims/570278

MCP

get_claim(id=570278)