待验证50% 置信基准精确时间
同一个Gemma 4 E2B模型在AWS不同推理后端上单请求生成速度从34.9到131.9 tokens/s不等，差距显著。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/12
首次发现
有效期至：2027/1/10
来源
涉及实体
相关事实
待验证在本地推理速度对比中，Agent A1（95 tokens/秒）快于Gemma 4 Coder和Qwen系列70% 相似待验证Laya 决策模型对短请求的响应最高快 4.1 倍，在 B200 上一次 3 问护栏检查从 11.6 ms 降到 2.8 ms68% 相似待验证在模型对比测试中qwen2.5:3b正确理解配速，幻觉地名0个，长度误差0.3%，峰值内存259MB，耗时106秒67% 相似待验证Strata速度表中128k上下文下Q2_0（2比特）为65.1 token/s，IQ2_XS为52，4k短上下文下IQ3_XXS为65.666% 相似待验证GPTQ（2022年）和AWQ（2023年）能将70B参数的LLM量化到INT4精度，困惑度损失不到1%65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1011095API
curl https://kongchang.com/api/v1/knowledge/claims/1011095MCP
get_claim(id=1011095)