待验证50% 置信基准精确时间
OjasX v0.6.1 可在全 FP32 精度下训练 1.04B 参数 Transformer 模型,仅需 6.35GB RAM,而标准 PyTorch 需要 21.1GB。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/14
首次发现
有效期至:2027/1/12
来源
涉及实体
相关事实
待验证对于 7B-8B 模型,标准 PyTorch FP32+AdamW 需要 140-160GB,而 OjasX 全量训练(FP32+Grad-Free SGD)只需约 35.5-40GB,LoRA 微调约 31-35GB。76% 相似待验证OjasX 在 BF16/FP16 半精度下训练 1.04B 模型仅需约 3.25GB 内存,LoRA 微调低至 2.6GB。74% 相似待验证OjasX 早期版本已可将 534M 参数模型塞进 Tesla T4 的 9.5GB 显存中训练,而当时标准 PyTorch 在 16.4GB 时就会崩溃。69% 相似待验证Llama-3.1-8B 等模型基于 Transformer 解码器堆叠构建,通常包含32个decoder层,单层参数量约2.5亿,FP16精度下单层约占500MB显存67% 相似待验证LLaMA-2 70B 模型共有 80 个 Transformer 层,每层约 8.75 亿参数,FP16 精度下单层约占 1.75GB 显存64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1025335API
curl https://kongchang.com/api/v1/knowledge/claims/1025335MCP
get_claim(id=1025335)