待验证50% 置信基准精确时间
在 mini-vllm-rs 中，引入增量发布后，每个跟随请求可恢复 493 个提示词 token 中的 480 个。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/16
首次发现
有效期至：2027/1/14
来源
涉及实体
相关事实
待验证嵌入模型的最大长度意味着超过512 token的输入会被静默截断，因此示例中把块预算控制为480 token。67% 相似待验证用2840亿参数的DeepSeek V4 Flash实测，token生成从37提升到53 tokens/s（约1.5倍），Prompt Processing从483跃升到1485 tokens/s（约三倍）67% 相似待验证200K token的上下文请求相比8K token请求，需要约25倍的KV-Cache显存64% 相似待验证通过计数流式chunk统计吞吐会严重偏低（实测43 tok/s），因为vLLM在投机解码下发送整个被接受的批次（约2.5 token每chunk），正确做法是读取最终chunk的usage.completion_tokens并开启stream_options: include_usage。64% 相似待验证v2.1.286 中当多个权限请求堆叠时，提示会显示「2 of 5」这样的计数，Bash、PowerShell 和 Monitor 提示用虚线框住命令内容63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1048417API
curl https://kongchang.com/api/v1/knowledge/claims/1048417MCP
get_claim(id=1048417)