Unverified50% confidenceTradeoffExact time
75倍嵌入学习率是一种保持矩阵不绑定、通过放大嵌入层学习率补偿稀疏更新的可行工程手段，但过高学习率可能导致嵌入空间不稳定震荡
1
Sources
50%
Confidence
Long-term
Relevance
8/24/2026
First Seen
Sources
Related Entities
Related Claims
Unverified跨域微调时学习率过大会破坏预训练权重，过小则几乎学不动，需权衡设置74% similarUnverified学习率决定每步迈多大，太大会越过谷底导致发散，太小则耗时极长74% similarUnverified梯度学习的核心是连续优化，神经网络参数空间是高维实数空间，损失函数近似可微71% similarUnverified朴素训练后量化会导致单个权重误差在多层网络中累积放大，即复合误差，在2位或1位精度下模型结构会崩溃68% similarUnverified强化学习领域长期存在可复现性问题，即使使用相同算法和超参数，不同代码实现之间的性能差异可高达数倍68% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/793879API
curl https://kongchang.com/api/v1/knowledge/claims/793879MCP
get_claim(id=793879)