待验证50% 置信事实精确时间

DeepSpeed的ZeRO技术分三个阶段：Stage 1分片优化器状态（节省约4倍显存），Stage 2同时分片梯度（节省约8倍），Stage 3将模型参数也分片存储

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

低成本训练大模型：$998实现3.8B模型训练全解析

涉及实体

DeepSpeedproduct ZeROtechnology

相关事实

待验证PyTorch的FSDP（Fully Sharded Data Parallel）和DeepSpeed ZeRO优化了内存效率，使单机即可训练百亿参数模型60% 相似待验证缓存层级通过L1/L2/L3多级缓存平衡访存速度与容量58% 相似待验证GGUF、AWQ等量化格式能将数百亿参数模型压缩至消费级GPU可运行的体积，同时保持接近原版的性能57% 相似待验证LoRA（Low-Rank Adaptation）冻结预训练模型全量权重，仅向特定层注入两个低秩矩阵，文件体积通常只有几 MB 到数十 MB57% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/892935

API

curl https://kongchang.com/api/v1/knowledge/claims/892935

MCP

get_claim(id=892935)