DenseCore
用Rust编写的轻量级深度学习框架,主打与PyTorch CPU实现位级一致,体积约2MB,目前仅支持Apple Silicon Mac平台。
时间轴 (近 90 天)
一位CS学生用Rust编写的深度学习框架DenseCore,在Apple Silicon Mac上运行nanoGPT时,训练结果与PyTorch逐位相同,连续50步的初始权重、损失、梯度、权重更新完全一致,即使开启dropout也是如此。
DenseCore只能在Apple Silicon Mac上匹配PyTorch的位级一致性。
DenseCore的体积约为2MB,PyTorch约为580MB。
作者提出了DenseCore的三种可能发展方向:继续复制PyTorch、成为轻量级drop-in替代品、转型为诊断工具。
将DenseCore转化为PyTorch差异诊断工具可能最具实用价值。
DenseCore目前仅覆盖nanoGPT这类小模型。
DenseCore的GitHub仓库地址为https://github.com/lncch/DenseCore,可以通过运行`python scripts/demo_bit_exact.py`验证nanoGPT的对比结果。
全部知识事实 (7)
一位CS学生用Rust编写的深度学习框架DenseCore,在Apple Silicon Mac上运行nanoGPT时,训练结果与PyTorch逐位相同,连续50步的初始权重、损失、梯度、权重更新完全一致,即使开启dropout也是如此。
50%待验证DenseCore只能在Apple Silicon Mac上匹配PyTorch的位级一致性。
50%待验证DenseCore的体积约为2MB,PyTorch约为580MB。
50%待验证作者提出了DenseCore的三种可能发展方向:继续复制PyTorch、成为轻量级drop-in替代品、转型为诊断工具。
50%待验证将DenseCore转化为PyTorch差异诊断工具可能最具实用价值。
50%待验证DenseCore目前仅覆盖nanoGPT这类小模型。
50%待验证DenseCore的GitHub仓库地址为https://github.com/lncch/DenseCore,可以通过运行`python scripts/demo_bit_exact.py`验证nanoGPT的对比结果。
50%