已过期50% 置信事实时间未知
Temperature和Top-k是推理阶段的解码策略,不影响训练过程
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/7/2
首次发现
此条事实已过期,仅作历史留存,不再代表当前状态
有效期至:2026/9/30(已过期)
来源
Demystifying Transformer: A Word-Continuation Function, Deconstructed
bilibiliAI算法工程师Fiona
相关事实
待验证Warmup策略在训练初期使用极小学习率,待参数进入合理范围后再提升,被大型语言模型训练广泛采用65% 相似待验证即便在高温设置下,模型探索的仍是训练分布覆盖的语义空间,不会产生训练数据中从未以任何形式出现过的概念64% 相似待验证LLM 在预训练阶段通过最大似然估计优化 token 预测概率,缺乏「知道自己不知道」的内在机制,置信度与准确性之间没有必然关联63% 相似已验证特征存储(Feature Store)解决训练时和推理时的特征计算一致性问题即training-serving skew62% 相似待验证计算最优(Compute-Optimal)并不等于集群最优(Cluster-Optimal),真正决定训练效率的因素远不止浮点运算次数61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/54657API
curl https://kongchang.com/api/v1/knowledge/claims/54657MCP
get_claim(id=54657)