INT8
INT8是一种8位定点整数格式，对应256个离散数值等级，常用于深度学习模型量化以平衡精度和存储计算开销。
核心事实
时间轴 (近 90 天)
在 MoE 推理中，将权重位宽从 FP16 降低到 FP8/INT8 能成比例减少字节数，从而缩短延迟，前提是模型吞吐受限于带宽而非算力。
在单张RTX 4090上运行Hy-Nomas的优化手段包括INT8量化的DiT模型、FP8版本的视频解码器以及CPU offload策略。
对于均匀量化，理论 SQNR ≈ 6.02 × 比特数 + 1.76 dB，因此 INT8 理论上限约 49.9 dB，INT4 约 25.8 dB。
量化技术可将训练好的神经网络权重从FP16/FP32压缩为INT8/INT4，显著缩小模型体积、降低内存占用、提升推理速度，代价是精度可能损失。
KV cache 大小可用公式 cache = 2 (K and V) × layers × KV heads × head dim × tokens × 2 bytes 表达，其中 2 bytes 对应 FP16，使用 FP32 时翻倍，使用 INT8 量化则减半。
现有训练后量化方法要达到接近FP32的精度，基本必须使用INT8定点整数，位宽低于INT8时性能会明显下滑。
常用的推理框架包括vLLM、TensorRT-LLM、Ollama等，量化则常用INT8、INT4等手段压缩模型体积。
业界常见做法是对权重进行INT4或INT8量化，同时保留关键层的高精度，以在成本与质量之间取得平衡
整数运算在CPU上通常比浮点运算更快，尤其配合专门的加速指令，可提升推理速度并降低功耗
图像扩散推理引入 INT8/FP8 支持，速度提升约 2 倍
还有 13 条时间轴事件
全部知识事实 (20)
量化（如INT8、FP8）能降低显存占用并提升吞吐，同时在多数场景下保持可接受的精度损失
75%已验证KV cache 大小可用公式 cache = 2 (K and V) × layers × KV heads × head dim × tokens × 2 bytes 表达，其中 2 bytes 对应 FP16，使用 FP32 时翻倍，使用 INT8 量化则减半。
65%已验证量化的核心原理是将模型参数从高精度浮点数（如FP32的32位浮点）转换为低精度表示（如INT8的8位整数或INT4的4位整数）
65%待验证在 MoE 推理中，将权重位宽从 FP16 降低到 FP8/INT8 能成比例减少字节数，从而缩短延迟，前提是模型吞吐受限于带宽而非算力。
50%待验证在单张RTX 4090上运行Hy-Nomas的优化手段包括INT8量化的DiT模型、FP8版本的视频解码器以及CPU offload策略。
50%待验证对于均匀量化，理论 SQNR ≈ 6.02 × 比特数 + 1.76 dB，因此 INT8 理论上限约 49.9 dB，INT4 约 25.8 dB。
50%待验证量化技术可将训练好的神经网络权重从FP16/FP32压缩为INT8/INT4，显著缩小模型体积、降低内存占用、提升推理速度，代价是精度可能损失。
50%待验证现有训练后量化方法要达到接近FP32的精度，基本必须使用INT8定点整数，位宽低于INT8时性能会明显下滑。
50%待验证常用的推理框架包括vLLM、TensorRT-LLM、Ollama等，量化则常用INT8、INT4等手段压缩模型体积。
50%待验证业界常见做法是对权重进行INT4或INT8量化，同时保留关键层的高精度，以在成本与质量之间取得平衡
50%待验证整数运算在CPU上通常比浮点运算更快，尤其配合专门的加速指令，可提升推理速度并降低功耗
50%待验证图像扩散推理引入 INT8/FP8 支持，速度提升约 2 倍
50%待验证INT8/FP8 图像扩散推理带来约 2 倍的速度提升
50%待验证在边缘设备和低精度推理（如INT8/INT4量化）场景下，指数运算往往是量化误差和计算开销的集中来源
50%待验证在ONNX中使用INT8权重配合INT4嵌入层的量化组合，相比精度更保守的量化版本，F1分数差异仅约0.005
50%待验证掌握 TensorRT 优化通常需要理解引擎构建和精度校准（如 INT8/FP8 量化）等专业知识
50%待验证评估量化方案时应看单位时间内的合格产出量而非单纯的单次推理速度，INT4带来的速度提升可能被反复重生成的开销抵消
50%待验证该用户仅使用ComfyUI的标准原生工作流，将Qwen编码器替换成INT8版本，无需任何特殊工作流配置即获得质量改善
50%待验证LTX 2.5将模型组件拆分为独立文件，并直接提供INT8和NVFP4量化格式
50%待验证从FP32量化到INT8可将模型体积缩小为原来的四分之一
50%