待验证50% 置信决策规则精确时间
对于服务 MoE 模型的生产系统，应该用预填充-解码分离架构替代单一解码流程，把全模型 KV 缓存直接输入剪枝后的解码器。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/16
首次发现
有效期至：2027/1/14
来源
涉及实体
相关事实
待验证SlimWise 只在解码阶段剪枝专家，并将预填充阶段生成的完整 KV 缓存直接交接给剪枝后的解码器。69% 相似待验证双向注意力模型（如 BERT 编码器）的每个 token 表示受全文影响，前缀 KV 无法独立复用，因此 Prompt Caching 主要出现在生成式大模型而非编码模型上。65% 相似待验证投机解码（speculative decoding）和 KV 缓存优化等技术可降低单次请求的计算成本65% 相似待验证Decode 阶段属于访存密集型操作，每生成一个新 token 需从显存读取全部历史 token 的 KV Cache65% 相似待验证处理输入可以借助 KV Cache 等机制摊薄计算成本，而生成每个输出 token 需要完整的前向推理64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1042677API
curl https://kongchang.com/api/v1/knowledge/claims/1042677MCP
get_claim(id=1042677)