待验证50% 置信权衡取舍精确时间

端侧推理的瓶颈往往不是峰值算力而是内存带宽，三元量化通过压缩参数减少每次推理需读取的数据量，是实现120 tok/s的关键

1

来源数

50%

置信度

长期有效

时效性

2026/8/6

首次发现

来源

Maple-Preview：20B三元MoE模型iPhone端侧推理达120tok/s

相关事实

待验证在推理阶段内存带宽往往比纯算力更早成为瓶颈，注意力机制需在每步生成时读取全部KV缓存，上下文长度增大时内存读写开销呈平方级增长74% 相似已验证移动端模型推理的速度瓶颈往往不在算力而在内存带宽72% 相似待验证潜空间推理理论上可大幅压缩所需输出token数量，因为连续向量的信息密度远高于离散文本token，有望实现数倍的效率提升71% 相似待验证推理部署对单次计算规模要求低，但需要应对海量并发请求，更强调吞吐量和延迟的平衡69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/697823

API

curl https://kongchang.com/api/v1/knowledge/claims/697823

MCP

get_claim(id=697823)