Inferentia2
AWS自研的专用AI推理加速芯片，针对低延迟、高吞吐量的深度学习推理进行优化。
时间轴 (近 90 天)
该 MCP 服务器演示中包含六个推理后端：Amazon Bedrock、一个 SageMaker 端点、EC2 g6 上的 vLLM、g5g 上的推理服务，以及 Inferentia2 (inf2) 和 Trainium (trn1) 上的 Gemma 4 模型。
在本文场景中，inf2 实例启动后约 20.4 分钟才通过健康检查，日志显示「READY in 473.8s」，原因是模型编译和 NeuronCore 加载耗时。
Inferentia2和Trainium的内存带宽是NVIDIA L4的2.0到2.7倍，但解码速度只有L4的0.28倍。
Inferentia2和Trainium的内存为2×16 GiB，每个NeuronCore独享16 GiB，模型必须跨两个核心拆分或塞进16 GiB，这对embedding表占大头的E2B模型是硬约束。
Google TPU v5e、Groq LPU和AWS Inferentia2是专为推理优化的新型芯片
全部知识事实 (5)
该 MCP 服务器演示中包含六个推理后端：Amazon Bedrock、一个 SageMaker 端点、EC2 g6 上的 vLLM、g5g 上的推理服务，以及 Inferentia2 (inf2) 和 Trainium (trn1) 上的 Gemma 4 模型。
50%待验证Inferentia2和Trainium的内存带宽是NVIDIA L4的2.0到2.7倍，但解码速度只有L4的0.28倍。
50%待验证Inferentia2和Trainium的内存为2×16 GiB，每个NeuronCore独享16 GiB，模型必须跨两个核心拆分或塞进16 GiB，这对embedding表占大头的E2B模型是硬约束。
50%待验证Google TPU v5e、Groq LPU和AWS Inferentia2是专为推理优化的新型芯片
50%待验证在本文场景中，inf2 实例启动后约 20.4 分钟才通过健康检查，日志显示「READY in 473.8s」，原因是模型编译和 NeuronCore 加载耗时。
50%