待验证50% 置信基准精确时间

论文在Llama-3家族8B模型上进行预训练评测，训练规模达1600亿token，输出投影层使用bfloat16并采用编译后的交叉熵

1

来源数

50%

置信度

长期有效

时效性

2026/10/4

首次发现

来源

格式感知融合：让FP4预训练提速两倍的工程实践

涉及实体

Llama-3 8Bmodel

相关事实

待验证如果训练数据中填充token占比过高，模型会倾向于预测这个高频符号67% 相似待验证论文在一个10亿参数模型上用2000亿token的Numeratron数学与Dolma混合语料做训练，展示了中训练损失与RL性能之间的关系67% 相似待验证LLM-Blender 通过训练专用排序模型 PairRanker 来评估多个 LLM 的候选输出并融合最优结果66% 相似待验证模型采用二元交叉熵损失，对照oracle抽取标签进行端到端训练66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/971840

API

curl https://kongchang.com/api/v1/knowledge/claims/971840

MCP

get_claim(id=971840)