[控场AI]
产品TensorFold

TensorFold

一种本地大模型推理引擎,支持混合精度量化模型的高效运行

时间轴 (近 90 天)

11月12日

这类早期推理引擎通常在后端成熟度上并不均衡,CUDA 生态工具链最完善,Metal 和 Vulkan 的实现深度往往取决于维护者投入。

待验证50%
11月12日

TensorFold 将后端抽象与算子实现分离,使上层推理调度逻辑保持统一,底层按平台替换内核。

待验证50%
11月12日

多后端推理引擎的维护负担成倍增加,每个后端的算子覆盖度、精度一致性和性能调优都需要独立跟进。

待验证50%
11月12日

TensorFold 已越过个人实验阶段,进入有实际关注度的开源项目区间。

待验证50%
11月12日

TensorFold 是一个用 Zig 编写的、面向 Metal、CUDA 和 Vulkan 的跨平台 LLM 推理引擎开源项目。

待验证50%
11月10日

在单台DGX Spark上serving参数量高达125B的Qwen和Nemotron模型时,Hibana相比vLLM、NVIDIA Flare、llama.cpp和TensorFold,每小时完成的Agent任务数最多提升3.4倍,解码吞吐量最多提升3.9倍。

待验证50%
10月31日

TensorFold构建在80核M5 Ultra芯片上跑混合2/3-bit模型,写入70-105 tokens/s;MLX路线在64核上写入26-29 tokens/s。

待验证50%
9月12日

Magnitude 在 GitHub 上累计获得 1741 颗星标,单日新增 130 颗,Fork 数达到 134

已过期50%

全部知识事实 (7)

来源文章