待验证50% 置信事件精确时间
论文在 MLP、ViT 和 GPT-2 三种架构上验证了 DP-μP 的效果，实验设计为在较窄的模型上搜索学习率，然后直接应用到更宽的模型上，不进行额外调参。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
DP-μP：差分隐私训练的超参数零样本迁移新框架
rss2026/10/16
涉及实体
相关事实
待验证GPT-3之后研究者发现通过精心设计的提示，单一大模型即可零样本或少样本完成多类任务，这一范式被称为In-Context Learning73% 相似待验证GPT-4o-mini通过知识蒸馏技术压缩模型规模，用大模型的输出作为软标签来训练小模型71% 相似待验证训练阶段化方法包括GPT-4等模型采用的渐进式sequence length增长、Chinchilla论文启发的动态batch size调度、μP参数化的分层学习率缩放70% 相似已验证GPT-4、Claude 3.5、DeepSeek-V3等新一代模型的指令跟随能力和上下文理解能力大幅提升，使复杂提示词模板变得不再必要68% 相似待验证论文结论建立在GPT-2 Small与IOI任务这一特定设置上，能否推广到更大规模模型和更复杂任务有待后续验证68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1068352API
curl https://kongchang.com/api/v1/knowledge/claims/1068352MCP
get_claim(id=1068352)