[控场AI]
待验证50% 置信基准精确时间

Inferentia2和Trainium的内存带宽是NVIDIA L4的2.0到2.7倍，但解码速度只有L4的0.28倍。

1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/12
首次发现
有效期至：2027/1/10

来源

一个Agent跑通AWS六大推理后端：精度、带宽与成本实测

涉及实体

Inferentia2productTrainiumproductNVIDIA L4product

相关事实

已验证NVLink 4.0的双向带宽可达900GB/s，而跨节点InfiniBand HDR仅约50GB/s，差距近20倍63% 相似待验证在RTX 3060上，开发者用Triton手写的面向batch-1解码的融合W4A16 GEMV内核速度约为25.5 tok/s，追平了bitsandbytes NF4量化方案的约25.7 tok/s。63% 相似已验证LLaMA-2-7B使用FP16精度时每个token的KV Cache约占0.5MB62% 相似待验证UP主在4G显存电脑上实测MiniCPM-2B生成速度达每秒57个token，首字生成仅0.22秒62% 相似

引用此条事实

Stable URI
https://kongchang.com/claim/1011100
API
curl https://kongchang.com/api/v1/knowledge/claims/1011100
MCP
get_claim(id=1011100)