[控场AI]
产品Elastic Fabric Adapter

EFA

AWS 面向高性能计算与分布式训练推出的网络接口,支持绕过内核的 RDMA 式点对点通信与 GPUDirect,实现节点间高带宽低延迟数据传输,常用于分布式 AI 训练和推理的跨节点通信

时间轴 (近 90 天)

10月19日

在Amazon EC2 P5en实例上配合EFA网络,Qwen3-32B的TTFT最高提升1.6倍。

待验证50%
10月19日

在Amazon EC2 P5en实例上配合EFA网络,GLM-5-FP8的TTFT最高提升3.3倍。

待验证50%
10月19日

EFA(Elastic Fabric Adapter)是AWS为EC2实例提供的高性能网络接口,通过OS bypass机制让应用直接访问网络硬件,显著降低延迟并提高带宽利用率,同时支持SRD协议实现多路径传输。

待验证50%
10月19日

如果团队已经在用PD分离部署vLLM,双向KV传输是顺势升级;如果还在单节点部署,需要考虑跨节点传输带来的网络依赖,因为EFA这类高速互联不是所有环境都具备。

待验证50%
10月14日

vLLM 的双向 KV 传输不需要额外硬件,配合感知 KV 缓存的 router 和基于 EFA 的点对点张量传输即可实现。

待验证50%

全部知识事实 (5)

来源文章