TensorFold
一种本地大模型推理引擎,支持混合精度量化模型的高效运行
时间轴 (近 90 天)
这类早期推理引擎通常在后端成熟度上并不均衡,CUDA 生态工具链最完善,Metal 和 Vulkan 的实现深度往往取决于维护者投入。
TensorFold 将后端抽象与算子实现分离,使上层推理调度逻辑保持统一,底层按平台替换内核。
多后端推理引擎的维护负担成倍增加,每个后端的算子覆盖度、精度一致性和性能调优都需要独立跟进。
TensorFold 已越过个人实验阶段,进入有实际关注度的开源项目区间。
TensorFold 是一个用 Zig 编写的、面向 Metal、CUDA 和 Vulkan 的跨平台 LLM 推理引擎开源项目。
在单台DGX Spark上serving参数量高达125B的Qwen和Nemotron模型时,Hibana相比vLLM、NVIDIA Flare、llama.cpp和TensorFold,每小时完成的Agent任务数最多提升3.4倍,解码吞吐量最多提升3.9倍。
TensorFold构建在80核M5 Ultra芯片上跑混合2/3-bit模型,写入70-105 tokens/s;MLX路线在64核上写入26-29 tokens/s。
Magnitude 在 GitHub 上累计获得 1741 颗星标,单日新增 130 颗,Fork 数达到 134
全部知识事实 (7)
TensorFold 将后端抽象与算子实现分离,使上层推理调度逻辑保持统一,底层按平台替换内核。
50%待验证TensorFold 已越过个人实验阶段,进入有实际关注度的开源项目区间。
50%待验证这类早期推理引擎通常在后端成熟度上并不均衡,CUDA 生态工具链最完善,Metal 和 Vulkan 的实现深度往往取决于维护者投入。
50%待验证TensorFold 是一个用 Zig 编写的、面向 Metal、CUDA 和 Vulkan 的跨平台 LLM 推理引擎开源项目。
50%待验证多后端推理引擎的维护负担成倍增加,每个后端的算子覆盖度、精度一致性和性能调优都需要独立跟进。
50%待验证在单台DGX Spark上serving参数量高达125B的Qwen和Nemotron模型时,Hibana相比vLLM、NVIDIA Flare、llama.cpp和TensorFold,每小时完成的Agent任务数最多提升3.4倍,解码吞吐量最多提升3.9倍。
50%待验证TensorFold构建在80核M5 Ultra芯片上跑混合2/3-bit模型,写入70-105 tokens/s;MLX路线在64核上写入26-29 tokens/s。
50%