待验证50% 置信事实精确时间
负采样将每步训练的复杂度从O(V)降低到O(k),k是负样本数(通常取5-20)
1
来源数
50%
置信度
长期有效
时效性
2026/8/18
首次发现
来源
相关事实
待验证困惑度是测试集上每个token平均负对数似然的指数,值越低代表模型对语料的预测越准确69% 相似待验证InfoNCE 损失通过在一批候选中最大化正样本对相似度、最小化负样本对相似度进行训练,温度超参数τ越小分布越集中69% 相似部分验证对于一个4096×4096的权重矩阵,LoRA可能只需要训练两个4096×8的矩阵,将可训练参数量从约1600万降低到约6.5万,减少了99.6%67% 相似已验证LoRA中低秩矩阵的秩r通常设为8或16,可训练参数量从d×k降至r×(d+k),降幅可达数百倍66% 相似待验证在小样本LoRA训练中,rank值设置存在偏差-方差权衡,实践中rank=4至32是常见的安全区间66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/771179API
curl https://kongchang.com/api/v1/knowledge/claims/771179MCP
get_claim(id=771179)