产品NVMe固态硬盘 / NVMe存储
NVMe SSD
采用NVMe协议的固态硬盘,具备高容量、低成本、较快读写速度的特性,在AI推理领域被用于扩展模型存储容量以替代昂贵的显存和内存
核心事实
时间轴 (近 90 天)
10月13日
Janas 类流式加载方案对 NVMe 有强依赖,在 SATA 盘上随机读取延迟过高会导致推理速度跌到不可用的程度。
待验证50%
9月21日
计算与存储分离的思路(冷数据用 DAS 加机械硬盘,热数据和系统盘用 NVMe SSD)既控制成本又保留升级灵活性
待验证50%
9月10日
现代 NVMe SSD 的随机读取延迟已降至 100 微秒以内,是 Solid 系列敢于用数据库替代 Redis 的关键前提
待验证50%
9月3日
存算分离架构下数据访问需跨越网络边界,即便在同一可用区内网络往返延迟也比本地 NVMe SSD 高出一到两个数量级
待验证50%
8月7日
128GB DDR5内存能完整加载70B级别模型的所有权重,但速度约为2-5 tokens/s
已验证65%
全部知识事实 (6)
已验证
主流NVMe SSD的顺序读取速度可达3500-7000MB/s
75%已验证128GB DDR5内存能完整加载70B级别模型的所有权重,但速度约为2-5 tokens/s
65%待验证Janas 类流式加载方案对 NVMe 有强依赖,在 SATA 盘上随机读取延迟过高会导致推理速度跌到不可用的程度。
50%待验证计算与存储分离的思路(冷数据用 DAS 加机械硬盘,热数据和系统盘用 NVMe SSD)既控制成本又保留升级灵活性
50%待验证现代 NVMe SSD 的随机读取延迟已降至 100 微秒以内,是 Solid 系列敢于用数据库替代 Redis 的关键前提
50%待验证存算分离架构下数据访问需跨越网络边界,即便在同一可用区内网络往返延迟也比本地 NVMe SSD 高出一到两个数量级
50%