Hibana
专为统一内存设备设计的开源AI推理引擎,通过模型手术、统一内存管理和自适应推测解码协同优化,支持本地多智能体工作负载。
时间轴 (近 90 天)
Hibana是一个专为统一内存设备设计的推理引擎,协同优化模型表示、内存管理和解码策略。
Hibana采用模型手术(Model Surgery)技术,即编辑已训练模型的架构以适配硬件,从而缩小内存占用和数据移动,而非简单的量化或剪枝。
Hibana的统一内存管理能够跨轮次保留每个Agent的状态,让Agent即时恢复而无需重新计算状态。
Hibana的自适应推测(Adaptive Speculation)技术让模型每步生成多个token,并能根据负载和硬件状态动态调整,在有限带宽下最大化吞吐。
在单台DGX Spark上serving参数量高达125B的Qwen和Nemotron模型时,Hibana相比vLLM、NVIDIA Flare、llama.cpp和TensorFold,每小时完成的Agent任务数最多提升3.4倍,解码吞吐量最多提升3.9倍。
Hibana的代码已在GitHub开源,仓库地址为https://github.com/sharar-project/hibana。
DGX Spark只是统一内存设备的一个形态,笔记本、手机等设备的带宽与容量差异更大,因此Hibana的加速比不能简单外推到其他设备形态。
Hibana目前仅公开了在DGX Spark上的测试结果,在笔记本、手机等其他设备形态上的表现仍有待验证。
全部知识事实 (8)
Hibana目前仅公开了在DGX Spark上的测试结果,在笔记本、手机等其他设备形态上的表现仍有待验证。
50%待验证Hibana采用模型手术(Model Surgery)技术,即编辑已训练模型的架构以适配硬件,从而缩小内存占用和数据移动,而非简单的量化或剪枝。
50%待验证Hibana的统一内存管理能够跨轮次保留每个Agent的状态,让Agent即时恢复而无需重新计算状态。
50%待验证Hibana的自适应推测(Adaptive Speculation)技术让模型每步生成多个token,并能根据负载和硬件状态动态调整,在有限带宽下最大化吞吐。
50%待验证在单台DGX Spark上serving参数量高达125B的Qwen和Nemotron模型时,Hibana相比vLLM、NVIDIA Flare、llama.cpp和TensorFold,每小时完成的Agent任务数最多提升3.4倍,解码吞吐量最多提升3.9倍。
50%待验证Hibana是一个专为统一内存设备设计的推理引擎,协同优化模型表示、内存管理和解码策略。
50%待验证DGX Spark只是统一内存设备的一个形态,笔记本、手机等设备的带宽与容量差异更大,因此Hibana的加速比不能简单外推到其他设备形态。
50%待验证Hibana的代码已在GitHub开源,仓库地址为https://github.com/sharar-project/hibana。
50%