产品
deltafin
开源项目,支持将超大规模模型权重分散存储于多块SSD,通过流式加载方式在内存有限的消费级设备上实现大模型推理
时间轴 (近 90 天)
9月11日
开发者在一台MacBook Pro上以约1 token/秒的速度运行了2.8万亿参数的Kimi K3模型
待验证50%
9月11日
deltafin将模型权重分散存储在四块SSD上,通过流式加载的方式进行推理
待验证50%
9月11日
MoE的稀疏激活特性使流式推理只需读取被激活专家的权重,是deltafin可行性的关键前提
待验证50%
9月11日
deltafin的工作负载以顺序读取为主,纯读取场景对SSD的TBW直接影响相对有限,但高强度连续读取会提升工作温度并可能导致性能降档
待验证50%