EFA
AWS 面向高性能计算与分布式训练推出的网络接口,支持绕过内核的 RDMA 式点对点通信与 GPUDirect,实现节点间高带宽低延迟数据传输,常用于分布式 AI 训练和推理的跨节点通信
时间轴 (近 90 天)
在Amazon EC2 P5en实例上配合EFA网络,Qwen3-32B的TTFT最高提升1.6倍。
在Amazon EC2 P5en实例上配合EFA网络,GLM-5-FP8的TTFT最高提升3.3倍。
EFA(Elastic Fabric Adapter)是AWS为EC2实例提供的高性能网络接口,通过OS bypass机制让应用直接访问网络硬件,显著降低延迟并提高带宽利用率,同时支持SRD协议实现多路径传输。
如果团队已经在用PD分离部署vLLM,双向KV传输是顺势升级;如果还在单节点部署,需要考虑跨节点传输带来的网络依赖,因为EFA这类高速互联不是所有环境都具备。
vLLM 的双向 KV 传输不需要额外硬件,配合感知 KV 缓存的 router 和基于 EFA 的点对点张量传输即可实现。
全部知识事实 (5)
在Amazon EC2 P5en实例上配合EFA网络,Qwen3-32B的TTFT最高提升1.6倍。
50%待验证在Amazon EC2 P5en实例上配合EFA网络,GLM-5-FP8的TTFT最高提升3.3倍。
50%待验证EFA(Elastic Fabric Adapter)是AWS为EC2实例提供的高性能网络接口,通过OS bypass机制让应用直接访问网络硬件,显著降低延迟并提高带宽利用率,同时支持SRD协议实现多路径传输。
50%待验证如果团队已经在用PD分离部署vLLM,双向KV传输是顺势升级;如果还在单节点部署,需要考虑跨节点传输带来的网络依赖,因为EFA这类高速互联不是所有环境都具备。
50%待验证vLLM 的双向 KV 传输不需要额外硬件,配合感知 KV 缓存的 router 和基于 EFA 的点对点张量传输即可实现。
50%