待验证50% 置信事实精确时间
早期回归实验中固定学习率下PreCap看起来远优于SiLU和GELU，但当每个激活函数获得各自调优的学习率后，这一优势完全消失。
1
来源数
50%
置信度
长期有效
时效性
2026/10/27
首次发现
来源
涉及实体
相关事实
待验证在联合微调时，较低的学习率有助于稳定策略更新，避免破坏已经学到的精细行为。69% 相似待验证使用稀疏的仅基于最终结果的强化学习奖励信号，模型修复了被 SFT 破坏的真定理识别能力并将识别率提升到 0.66，超越基础模型67% 相似待验证微调过程中过度依赖微调部分，可能正是罕见类能力被遮蔽的根源；将模型计算适度导向预训练组件，或许是一条更稳健的微调路线。67% 相似待验证5.3个百分点的中位数提升说明当前模型更多是在“局部修补”，尚未形成跨层级的知识沉淀，这是持续学习与单轮自我修正之间的关键差别。67% 相似待验证余弦退火学习率调度策略由Loshchilov和Hutter在2017年提出，让学习率按余弦函数从初始值平滑衰减至接近零67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1102907API
curl https://kongchang.com/api/v1/knowledge/claims/1102907MCP
get_claim(id=1102907)