待验证50% 置信事实精确时间
在自研 Rust LLM 推理引擎 mini-vllm-rs 中，前缀缓存启用后，两个完全相同的请求同时抵达冷缓存时，可能一个 token 都无法复用，双双执行完整预填充。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
涉及实体
相关事实
待验证缓存感知路由优先把请求发给缓存中已存在相同前缀的副本，命中缓存时预填充几乎为零，首token延迟大幅下降。60% 相似待验证在批量为2时，逐行GEMV回退方案把吞吐拉回到16.25 tokens/s，与未批处理基线16.15 tokens/s基本持平59% 相似待验证Rust的内存安全保障在编译阶段实现，不依赖垃圾回收，因此运行时没有GC停顿带来的延迟抖动59% 相似待验证v2.1.269 修复了当响应因触碰输出 token 上限被截断并自动续写时提示缓存被部分失效的问题58% 相似待验证在内存一致性调试中插入printf会引入额外的系统调用和内存屏障，可能无意间修复缺失的同步使bug在调试时消失58% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1048414API
curl https://kongchang.com/api/v1/knowledge/claims/1048414MCP
get_claim(id=1048414)