3FS
DeepSeek 开源的分布式文件系统,用于高性能存储,支撑大规模 KV 缓存等场景,容量可达 100PB 级别。
时间轴 (近 90 天)
DeepSeek线上单集群每天约处理155万亿Token,折算每卡每小时收入约38美元;Decode用EP64到EP128,Pre-fill只用EP2到EP8,KV Cache存在3FS上,采用10加2纠删码,保留3到7天。
DeepSeek在部署问答中写明:缓存使用3FS存储,10+2纠删码,约100PiB固态盘;智能体流量保留3天,聊天记录保留7天;高效部署的最小单元是64张卡做预填充、64张卡做解码。
SmallPond 是建立在 3FS 之上的轻量数据处理框架。
DeepSeek 的生产方案使用 3FS 存储系统,把主要的一类 KV 缓存放到独立的共享存储里,其他节点也能读取已有缓存,避免死等原机器。
DeepSeek使用自研分布式文件系统3FS搭建独立存储集群,约100PB固态硬盘。
DSEC采用按需加载文件的方式从DeepSeek自研存储系统3FS读取,一次性启动8192个沙箱只需35分钟,磁盘写入减少约57%
全部知识事实 (6)
DeepSeek 的生产方案使用 3FS 存储系统,把主要的一类 KV 缓存放到独立的共享存储里,其他节点也能读取已有缓存,避免死等原机器。
60%待验证DeepSeek线上单集群每天约处理155万亿Token,折算每卡每小时收入约38美元;Decode用EP64到EP128,Pre-fill只用EP2到EP8,KV Cache存在3FS上,采用10加2纠删码,保留3到7天。
50%待验证DeepSeek在部署问答中写明:缓存使用3FS存储,10+2纠删码,约100PiB固态盘;智能体流量保留3天,聊天记录保留7天;高效部署的最小单元是64张卡做预填充、64张卡做解码。
50%待验证SmallPond 是建立在 3FS 之上的轻量数据处理框架。
50%待验证DeepSeek使用自研分布式文件系统3FS搭建独立存储集群,约100PB固态硬盘。
50%待验证DSEC采用按需加载文件的方式从DeepSeek自研存储系统3FS读取,一次性启动8192个沙箱只需35分钟,磁盘写入减少约57%
50%