待验证50% 置信事实精确时间
该框架使用分布式文件系统构建了容量10万TB的KV缓存池,为智能体场景保留记忆三天,为人类聊天场景保留七天。
1
来源数
50%
置信度
长期有效
时效性
2026/10/23
首次发现
来源
DeepSeek开源推理框架:单卡年入33万美金背后的算力生意经
bilibili闷闷AI说2026/10/22
涉及实体
相关事实
待验证以8位精度存储KV缓存可节省内存并支撑更大的上下文窗口,作者日常使用13万到26万的上下文长度74% 相似待验证在Agent负载中,上下文从6万膨胀到40万token,一路会话的KV cache可能占用数十GB显存;工具调用间隙期间请求虽在等待,缓存却不能释放,进一步压低了有效批处理规模。74% 相似待验证支持每天1亿次短链创建和100亿次重定向访问,假设每条记录500字节,5年约需900TB存储,写入约1200 QPS,读取约120K QPS73% 相似待验证以80ms为帧长,持续5分钟的对话将产生约3750帧历史上下文,每层Transformer需为每帧存储键值对,总显存占用可达数十GB72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1088577API
curl https://kongchang.com/api/v1/knowledge/claims/1088577MCP
get_claim(id=1088577)