[控场AI]
产品

deltafin

开源项目,支持将超大规模模型权重分散存储于多块SSD,通过流式加载方式在内存有限的消费级设备上实现大模型推理

时间轴 (近 90 天)

9月11日

开发者在一台MacBook Pro上以约1 token/秒的速度运行了2.8万亿参数的Kimi K3模型

待验证50%
9月11日

deltafin将模型权重分散存储在四块SSD上,通过流式加载的方式进行推理

待验证50%
9月11日

MoE的稀疏激活特性使流式推理只需读取被激活专家的权重,是deltafin可行性的关键前提

待验证50%
9月11日

deltafin的工作负载以顺序读取为主,纯读取场景对SSD的TBW直接影响相对有限,但高强度连续读取会提升工作温度并可能导致性能降档

待验证50%

全部知识事实 (4)

来源文章