[控场AI]
待验证50% 置信基准精确时间

RTX A6000 是 Ampere 架构,没有原生 FP8 硬件,sglang 将 FP8 权重通过 Marlin 内核即时解包,基础 Qwen3.8-27B 在该卡上解码速度为 24 tok/s,而 RedHatAI 的 INT4 W4A16 量化在相同卡、相同 1M 上下文下达到 41 tok/s。

1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/15
首次发现
有效期至:2027/1/13

来源

涉及实体

相关事实

引用此条事实

Stable URI
https://kongchang.com/claim/1033437
API
curl https://kongchang.com/api/v1/knowledge/claims/1033437
MCP
get_claim(id=1033437)