待验证50% 置信基准精确时间
在fp32下，PreCap的CUDA核运行速度约为原生SELU的1.5倍以内。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/27
首次发现
有效期至：2027/1/25
来源
涉及实体
相关事实
待验证在纯CPU环境下对比llama.cpp build 9976与build 11571运行同一Gemma量化模型，新构建的生成速度比旧构建快约9.1%（6.60 vs 6.05 tok/s）67% 相似待验证配备NVIDIA GPU并使用CUDA加速，7B模型可以达到50-100+ token/s的推理速度67% 相似待验证Magnitude的CUDA内核自动调优激活了RTX 4090的Tensor Core做INT4运算，这是其吞吐翻倍的关键之一。65% 相似待验证v0.30.0 的 Fast Start 功能将量化后经张量并行分片的权重保存在每 GPU 常驻守护进程中，重启时通过 CUDA IPC 直接映射，使用 --load-format ipc_cache 启用64% 相似已验证NVIDIA A100拥有6912个CUDA核心和432个Tensor Core，理论峰值算力达到312 TFLOPS（BF16）64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1102911API
curl https://kongchang.com/api/v1/knowledge/claims/1102911MCP
get_claim(id=1102911)