待验证50% 置信事实精确时间

真实训练出的模型中权重分布往往不均匀，大量权重趋向于0，形成天然稀疏性

1

来源数

50%

置信度

长期有效

时效性

2026/9/16

首次发现

来源

突破1.58比特极限：三元LLM如何逼近信息论边界

涉及实体

权重分布concept

相关事实

待验证Anthropic的研究表明，即便温和的对齐训练也会导致模型在某些推理密集型任务上下降2-8个百分点72% 相似待验证当模型对某个训练样本的预测概率接近1时，该样本对应的交叉熵损失趋近于零，模型几乎无法获得梯度更新信号71% 相似待验证PSI < 0.1 表示分布稳定，0.1-0.25 表示需要关注，> 0.25 表示分布发生显著变化、模型可能需要重新训练71% 相似已验证对于一个 70 亿参数的模型，LoRA 通常只需训练不到 1% 的参数量，显存需求可降低 60% 以上70% 相似待验证2023年，研究人员证明只需污染不到1%的训练数据，就能在特定触发条件下改变模型行为69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/927936

API

curl https://kongchang.com/api/v1/knowledge/claims/927936

MCP

get_claim(id=927936)