概念Numerical Precision / 模型精度 / 推理精度
数值精度
指大模型权重所采用的浮点数表示格式，包括FP32、FP16、BF16及INT8/INT4等量化格式。精度直接影响模型的显存占用、推理速度和输出质量，是LLM部署成本与性能的核心权衡维度。
时间轴 (近 90 天)
10月12日
以较低数值精度部署的模型运行成本更低，精度同时是成本杠杆和质量杠杆
待验证50%
10月12日
即便启动配置看起来一致，实际提供服务的权重精度也可能不同，这会同时改变速度和输出质量
待验证50%
10月12日
在无法核实服务精度时，应在固定提示上测量模型的行为表现和速度，并明确声明精度未经验证
待验证50%
9月11日
自动生成的算子实现必须保证数值精度与端到端推理正确性，否则适配速度没有意义
待验证50%