共 1 篇相关文章
vLLM v0.33.0rc2发布ROCm bugfix：在gfx950架构上，当GEMM的M*N大于等于2^31时跳过AITER调优实现，避免32位索引溢出导致的正确性问题，为大模型推理的大规模矩阵运算提供安全保障。
