OjasX
一个开源的大模型训练内存优化框架，通过重新设计前向与反向传播机制消除激活磁带内存占用，使消费级硬件能够训练十亿参数级Transformer模型
时间轴 (近 90 天)
OjasX v0.6.1 可在全 FP32 精度下训练 1.04B 参数 Transformer 模型，仅需 6.35GB RAM，而标准 PyTorch 需要 21.1GB。
OjasX 在 BF16/FP16 半精度下训练 1.04B 模型仅需约 3.25GB 内存，LoRA 微调低至 2.6GB。
OjasX 早期版本已可将 534M 参数模型塞进 Tesla T4 的 9.5GB 显存中训练，而当时标准 PyTorch 在 16.4GB 时就会崩溃。
OjasX 使用 online softmax 技术，注意力瓦片直接在硬件寄存器和 SRAM 中流式处理，不在 DRAM 中物化 [B, H, S, S] 注意力矩阵。
OjasX 将 ReLU/ReLU2 状态打包为 1 比特硬件 ballot 掩码（比 FP32 小 32 倍），在寄存器中直接重建 SiLU/GELU 等平滑激活，实现无反向重计算 GEMM。
OjasX 仓库包含 558 个机器验证的 Lean 4 定理、28 个 Rocq 9.2 证明文件和 840 个自动化 PyTorch 测试。
OjasX 集成了三阶段 MLIR 编译器流水线，配合原生 C++17/GPU 内核，可在 NVIDIA GPU、AMD GPU、Intel GPU、Apple Silicon 和多核 CPU 上运行。
对于 7B-8B 模型，标准 PyTorch FP32+AdamW 需要 140-160GB，而 OjasX 全量训练（FP32+Grad-Free SGD）只需约 35.5-40GB，LoRA 微调约 31-35GB。
OjasX 可通过三行代码接入现有 PyTorch 工作流，无需重写模型定义，支持自动重写 Attention、MLP、Norm、Conv 和 Loss 层并下沉到 MLIR。
OjasX 的零字节持久 .grad 缓冲区通过挂钩 PyTorch 梯度累积回调，每层反向传播完成后立即更新权重并释放梯度。
还有 1 条时间轴事件
全部知识事实 (11)
OjasX v0.6.1 可在全 FP32 精度下训练 1.04B 参数 Transformer 模型，仅需 6.35GB RAM，而标准 PyTorch 需要 21.1GB。
50%待验证OjasX 在 BF16/FP16 半精度下训练 1.04B 模型仅需约 3.25GB 内存，LoRA 微调低至 2.6GB。
50%待验证OjasX 早期版本已可将 534M 参数模型塞进 Tesla T4 的 9.5GB 显存中训练，而当时标准 PyTorch 在 16.4GB 时就会崩溃。
50%待验证OjasX 使用 online softmax 技术，注意力瓦片直接在硬件寄存器和 SRAM 中流式处理，不在 DRAM 中物化 [B, H, S, S] 注意力矩阵。
50%待验证OjasX 将 ReLU/ReLU2 状态打包为 1 比特硬件 ballot 掩码（比 FP32 小 32 倍），在寄存器中直接重建 SiLU/GELU 等平滑激活，实现无反向重计算 GEMM。
50%待验证OjasX 仓库包含 558 个机器验证的 Lean 4 定理、28 个 Rocq 9.2 证明文件和 840 个自动化 PyTorch 测试。
50%待验证OjasX 集成了三阶段 MLIR 编译器流水线，配合原生 C++17/GPU 内核，可在 NVIDIA GPU、AMD GPU、Intel GPU、Apple Silicon 和多核 CPU 上运行。
50%待验证对于 7B-8B 模型，标准 PyTorch FP32+AdamW 需要 140-160GB，而 OjasX 全量训练（FP32+Grad-Free SGD）只需约 35.5-40GB，LoRA 微调约 31-35GB。
50%待验证OjasX 可通过三行代码接入现有 PyTorch 工作流，无需重写模型定义，支持自动重写 Attention、MLP、Norm、Conv 和 Loss 层并下沉到 MLIR。
50%待验证OjasX 的零字节持久 .grad 缓冲区通过挂钩 PyTorch 梯度累积回调，每层反向传播完成后立即更新权重并释放梯度。
50%待验证OjasX 被开发者称为开源 CUDA，但其逻辑是减少需要常驻内存的数据量，而非在纯算力上击败 cuBLAS。
50%