待验证50% 置信概念精确时间
μP(Maximal Update Parametrization)是一套关于神经网络参数化方式的缩放理论,核心目标是让最优超参数(尤其是学习率)在不同模型宽度下保持稳定,从而实现零样本迁移。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
DP-μP:差分隐私训练的超参数零样本迁移新框架
rss2026/10/16
涉及实体
相关事实
待验证Greg Yang等人提出的μP(Maximal Update Parameterization)理论试图在保留特征学习的同时实现理论分析71% 相似已验证模型量化是将神经网络权重从高精度浮点数压缩为低精度整数的技术65% 相似已验证推测解码是一种不改变模型输出分布的无损加速技术,使用参数量远小于目标模型的草稿模型生成候选token,再让目标模型并行验证65% 相似待验证模型重参数化是指在不改变网络输出函数的前提下,通过数学等价变换调整计算图结构的技术,严格保证变换前后输出完全一致,不需要任何微调。Priming借用了重参数化的思想,但不要求数学等价,因此需要少量微调。65% 相似待验证全量微调会更新模型所有权重,效果最佳但对算力要求极高63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1068345API
curl https://kongchang.com/api/v1/knowledge/claims/1068345MCP
get_claim(id=1068345)