[控场AI]
产品NeuronCore v2

NeuronCore-v2

AWS第二代神经处理核心,用于Inferentia2和Trainium芯片,支持bf16和int8精度。

时间轴 (近 90 天)

10月12日

NVIDIA L4(g6/SageMaker)原生支持bf16、fp8、int8,int4会被加宽到16位;NVIDIA T4G(g5g)支持bf16(模拟)和int8,不支持fp8,int4加宽到16位;NeuronCore-v2(inf2/trn1)支持bf16和int8,fp8有硬件支持但编译器待跟进,int4加宽到bf16且每次调用慢27倍。

待验证50%

全部知识事实 (1)

来源文章