[控场AI]
产品Trainium

AWS Trainium

亚马逊自研的机器学习训练/推理专用芯片,采用针对张量运算定制的内存层级和数据流设计,通过NKI底层编程接口支持深度性能优化

时间轴 (近 90 天)

10月6日

借助Torch Neuron,Trainium现在已经是一个标准的PyTorch设备

待验证50%
10月6日

Trainium成为标准PyTorch设备后,开发者可以使用熟悉的torch.profiler API进行性能剖析,无需重新搭建专用剖析工具

待验证50%
9月11日

Trainium是亚马逊AWS自研的AI训练专用芯片,具体型号包括Trainium1和Trainium2,于2020年前后推出

待验证50%
9月7日

AWS的Trainium针对大规模模型训练,Inferentia专注推理场景

待验证50%
9月4日

推理成本下降的驱动因素包括开源模型(如Meta的Llama系列)竞争压力、推理优化技术(量化、投机解码、KV缓存优化)的成熟,以及专用AI芯片(如Groq的LPU、AWS的Trainium)的规模化部署

待验证50%

全部知识事实 (5)

来源文章