公司
EmbeddedLLM
专注于大模型推理优化与部署的技术公司,与AMD等硬件厂商合作,研究在不同硬件平台上提升大模型推理性能的工程方法
时间轴 (近 90 天)
9月15日
AMD 与 EmbeddedLLM 联合发布博客,记录了在 Instinct MI355X 硬件上优化 MiniMax M3 推理服务的过程
待验证50%
9月15日
此次优化采用的核心方法论是'跟着瓶颈走'(follow the bottleneck),系统性定位并逐个消除性能瓶颈
待验证50%
专注于大模型推理优化与部署的技术公司,与AMD等硬件厂商合作,研究在不同硬件平台上提升大模型推理性能的工程方法
AMD 与 EmbeddedLLM 联合发布博客,记录了在 Instinct MI355X 硬件上优化 MiniMax M3 推理服务的过程
此次优化采用的核心方法论是'跟着瓶颈走'(follow the bottleneck),系统性定位并逐个消除性能瓶颈