待验证50% 置信事实精确时间
MNN-Pocket-0.3B支持最长32K tokens的上下文。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/10
首次发现
有效期至:2027/2/8
来源
MNN-Pocket-0.3B技术报告:173MB端侧模型实现466 tokens/s推理
rss2026/11/9
涉及实体
相关事实
待验证MNN-Pocket-0.3B是一个300M参数的稠密模型。70% 相似待验证在高功耗运行中,35B的MoE模型达到78到107 tokens/s,而稠密的27B模型只有22 tokens/s67% 相似已验证以LLaMA-2 70B为例,处理4096 token上下文、批量大小32时,KV Cache可消耗超过80GB显存67% 相似待验证基线BF16模型在单并发下约37.5 tokens/s,32并发聚合吞吐714 tokens/s,首token延迟61ms;切换到FP8权重后单并发提升到53.4 tokens/s,64并发峰值吞吐从约800提升到1140 tokens/s,约1.42倍。67% 相似待验证运行Qwen3-Next-Flash(Autoround W4A16量化)时,预填充速度约1.3k tokens/s,生成速度达70 tokens/s(代码)/60 tokens/s(散文),支持128k+长上下文67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1154761API
curl https://kongchang.com/api/v1/knowledge/claims/1154761MCP
get_claim(id=1154761)