[控场AI]
产品

DenseCore

用Rust编写的轻量级深度学习框架,主打与PyTorch CPU实现位级一致,体积约2MB,目前仅支持Apple Silicon Mac平台。

时间轴 (近 90 天)

10月16日

一位CS学生用Rust编写的深度学习框架DenseCore,在Apple Silicon Mac上运行nanoGPT时,训练结果与PyTorch逐位相同,连续50步的初始权重、损失、梯度、权重更新完全一致,即使开启dropout也是如此。

待验证50%
10月16日

DenseCore只能在Apple Silicon Mac上匹配PyTorch的位级一致性。

待验证50%
10月16日

DenseCore的体积约为2MB,PyTorch约为580MB。

待验证50%
10月16日

作者提出了DenseCore的三种可能发展方向:继续复制PyTorch、成为轻量级drop-in替代品、转型为诊断工具。

待验证50%
10月16日

将DenseCore转化为PyTorch差异诊断工具可能最具实用价值。

待验证50%
10月16日

DenseCore目前仅覆盖nanoGPT这类小模型。

待验证50%
10月16日

DenseCore的GitHub仓库地址为https://github.com/lncch/DenseCore,可以通过运行`python scripts/demo_bit_exact.py`验证nanoGPT的对比结果。

待验证50%

全部知识事实 (7)

来源文章