待验证50% 置信权衡取舍精确时间

LoRA的低秩假设构成容量上限，当新模态所需特征变换不能被低秩矩阵有效捕捉时会限制模型表达力

1

来源数

50%

置信度

长期有效

时效性

2026/10/5

首次发现

来源

OctLLM：用八叉树让大模型看懂3D几何结构

涉及实体

相关事实

已验证LoRA微调时冻结原始模型参数不动，只更新插入的低秩矩阵，显存需求和训练成本大幅降低73% 相似已验证LoRA将权重更新矩阵ΔW分解为两个秩远低于原矩阵的小矩阵A和B之积，参数量可缩减至原来的万分之一甚至更少71% 相似已验证小模型比大模型更易发生嵌入坍缩，原因包括参数容量有限、优化捷径倾向和各向异性问题被放大71% 相似待验证在狭窄缺陷的数据上做微调，有时会让模型产生广泛的失准（broadly misaligned）69% 相似待验证在固定计算资源下，参数过多但数据不足会导致模型无法充分学习，数据海量但参数不足则模型缺乏容量捕捉复杂模式69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/975913

API

curl https://kongchang.com/api/v1/knowledge/claims/975913

MCP

get_claim(id=975913)