待验证50% 置信事实精确时间
SFT 主要教模型格式和人设而非知识；LIMA 将示例从 2000 扩到 32000，质量几乎没变。
1
来源数
50%
置信度
长期有效
时效性
2026/10/17
首次发现
来源
涉及实体
相关事实
待验证典型的SFT数据集可能只有数万到数十万条样本，远小于预训练数据规模66% 相似待验证教师模型在不同时间步上的预测质量并不均匀，在某些时间步（尤其是 t 接近 0 或接近 1 的端点）的预测本身噪声较大。57% 相似待验证“预训练吞吐达到单块H100的170%”这一数字受批次大小、序列长度、模型规模、精度格式以及互联带宽共同影响，并非通用结论，换用不同模型或超参后比例可能变化。56% 相似待验证权重绑定在中小规模模型上(如GPT-2 124M)通常能提升性能并减少约30%的嵌入相关参数，但在超大规模模型中收益递减55% 相似待验证研究团队在GPT-2等模型上的实验表明，仅经过5-9代递归训练，模型输出质量就会出现显著退化54% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1051004API
curl https://kongchang.com/api/v1/knowledge/claims/1051004MCP
get_claim(id=1051004)