待验证50% 置信事实精确时间

每瓦Token吞吐量是衡量AI推理芯片能效的核心指标，指在单位功耗下芯片每秒能输出的Token数量，单位通常为tokens/瓦特。

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

微软Maia 300发布：自研AI芯片能效提升40%

涉及实体

每瓦Token吞吐量concept

相关事实

待验证MFU等于实际每秒浮点运算次数除以硬件峰值FLOPS69% 相似待验证本地AI推理速度公式为Token/s ≈ 内存带宽 / 每token需读取的数据量69% 相似待验证Engram将整个checkpoint中四分之一的容量用作n-gram记忆，规模达到197B参数66% 相似待验证对于参数量在 10B 以上的模型，4-bit 量化通常能在显存节省约 50% 的同时将能力损失控制在 5% 以内66% 相似待验证以LLaMA-3 70B模型为例，在80层、head_dim=128、BF16精度下，每个token大约占用80KB的KV缓存65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1006384

API

curl https://kongchang.com/api/v1/knowledge/claims/1006384

MCP

get_claim(id=1006384)