待验证50% 置信基准精确时间

在冻结教师可达状态的实验中，使用 CoRD 训练的 4B 学生在 16 步内达到的差距缩小程度，在线蒸馏用 80 步仍未达到。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/11/6

首次发现

有效期至：2027/2/4

来源

CoRD：耦合采样如何补全在线蒸馏的盲区

涉及实体

CoRDconcept 在线蒸馏concept

相关事实

待验证JOLT报告的6.5倍缩减是token口径；如果它需要额外的教师训练阶段、更多训练步数，或每步要跑多次前向（教师评价+学生生成），总FLOPs的节省可能明显小于6.5倍，甚至在模型较小时出现倒挂。71% 相似待验证训练使用 batch 256、40 万步、EMA 0.9999、最后四分之一线性衰减学习率，torch.compile 相比 eager 提速 2.4×70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1141701

API

curl https://kongchang.com/api/v1/knowledge/claims/1141701

MCP

get_claim(id=1141701)