待验证50% 置信事实精确时间
在非隐私训练中，μP 已被证明可以在 Transformer 上实现从窄到宽的零样本学习率迁移。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
DP-μP：差分隐私训练的超参数零样本迁移新框架
rss2026/10/16
涉及实体
相关事实
待验证Unsloth通过内核级优化实现了相比原生Hugging Face Transformers训练流程的训练速度大幅提升，同时降低了显存占用72% 相似待验证一项新研究工作提出无需重新训练即可将预训练 Transformer 转变为单个弹性模型，能在推理时即时适应从高到低的一系列计算预算。71% 相似待验证Google 的 Switch Transformer 于 2021 年证明在 Transformer 中每层仅将 Token 路由给单个专家（Top-1 路由）即可实现稳定训练，并将预训练速度相比同等规模稠密模型提升 7 倍以上71% 相似待验证REPA和RECON的工作表明，扩散Transformer前层学到的语义信息未必能自动流向后层，分层、分阶段地设计监督信号可能是提升训练效率的一个被低估的方向。71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1068355API
curl https://kongchang.com/api/v1/knowledge/claims/1068355MCP
get_claim(id=1068355)