待验证50% 置信事实精确时间
在教师-学生模型中，当输入位置间无相关性（c=0）时，卷积学生和局部连接学生遵循相同的学习轨迹，但卷积学生的学习速度恰好是局部连接学生的P倍（P为输入位置数）。
1
来源数
50%
置信度
长期有效
时效性
2026/10/22
首次发现
来源
涉及实体
相关事实
待验证知识蒸馏的中间层对齐策略（如PKD、TinyBERT）通过强制学生模型的隐藏表示模仿教师模型的分布间接约束嵌入几何结构69% 相似待验证锚点散度与度量学习不同之处在于它不学习固定的线性变换，而是通过概率模型让用户在推理时按需指定语义上下文，无需为每种上下文维护独立距离矩阵或再训练适配层65% 相似待验证FP4-Local 使用量化感知蒸馏（QAD）：BF16 教师模型约束学生模型，学生路由专家权重在前向时量化到 NVFP4，梯度更新底层 BF16 权重。65% 相似待验证课程的A0作业要求学生手动实现一个线性层，包括显式保存前向输入、手动计算反向传播63% 相似待验证在知识蒸馏中，off-policy蒸馏使用教师模型生成的轨迹作为训练样本，存在教师访问状态分布与学生自身状态分布不一致的分布偏移问题。62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1083910API
curl https://kongchang.com/api/v1/knowledge/claims/1083910MCP
get_claim(id=1083910)