产品NeuronCore v2
NeuronCore-v2
AWS第二代神经处理核心,用于Inferentia2和Trainium芯片,支持bf16和int8精度。
时间轴 (近 90 天)
10月12日
NVIDIA L4(g6/SageMaker)原生支持bf16、fp8、int8,int4会被加宽到16位;NVIDIA T4G(g5g)支持bf16(模拟)和int8,不支持fp8,int4加宽到16位;NeuronCore-v2(inf2/trn1)支持bf16和int8,fp8有硬件支持但编译器待跟进,int4加宽到bf16且每次调用慢27倍。
待验证50%