待验证50% 置信事实精确时间

以1000×1000权重矩阵为例，若LoRA的秩设为8，只需训练约1.6万个参数而非100万个原始参数

1

来源数

50%

置信度

长期有效

时效性

2026/10/4

首次发现

来源

Together AI升级微调服务：新增模型、实时监控与精细化控制

涉及实体

相关事实

已验证对于一个 70 亿参数的模型，LoRA 通常只需训练不到 1% 的参数量，显存需求可降低 60% 以上77% 相似待验证在显存受限情况下从零训练语言模型通常选用参数量较小的架构，通常在1亿至5亿参数量级72% 相似已验证LoRA中低秩矩阵的秩r通常设为8或16，可训练参数量从d×k降至r×(d+k)，降幅可达数百倍70% 相似待验证1000亿参数的模型处理单次推理请求需约80GB显存，百亿参数级别模型仅需约20GB70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/971621

API

curl https://kongchang.com/api/v1/knowledge/claims/971621

MCP

get_claim(id=971621)