待验证50% 置信权衡取舍精确时间

单一吞吐数字受 batch 大小、精度设置、上下文长度、是否端到端延迟等因素影响，该结果应理解为特定条件下极致优化的水平而非普适硬件优劣判断

1

来源数

50%

置信度

长期有效

时效性

2026/9/24

首次发现

来源

TPU megakernel 让 Kimi K3 达到 709 tokens/s，超越 GB200

涉及实体

TPUproduct GPUproduct

相关事实

待验证选择ANE友好的算子组合、优先使用半精度浮点、避免频繁的设备间数据搬运，能显著影响推理延迟与功耗73% 相似待验证检查点粒度的设计是工程权衡：粒度越细故障恢复丢失越少，但写入频率越高带来的存储与延迟开销越大73% 相似待验证低精度方案的实际收益高度依赖具体模型形状，落地时需针对自身工作负载做实测验证而非直接套用峰值数字72% 相似待验证在芯片架构设计中，吞吐量与延迟通常是一对需要权衡的指标72% 相似待验证推理部署对单次计算规模要求低，但需要应对海量并发请求，更强调吞吐量和延迟的平衡71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/945455

API

curl https://kongchang.com/api/v1/knowledge/claims/945455

MCP

get_claim(id=945455)