概念模型量化
权重量化
将神经网络权重从高精度浮点数转换为低精度（如INT8、FP8、INT4）表示的技术，可减少显存占用和计算量，加速推理。
时间轴 (近 90 天)
10月21日
业界常用推理优化手段包括权重量化（INT8/FP8/INT4）、KV Cache复用与分页、连续批处理、投机解码等。
待验证50%
9月22日
将模型压缩部署到太空硬件的工程路径通常包括知识蒸馏、权重量化以及针对特定任务的剪枝
待验证50%
将神经网络权重从高精度浮点数转换为低精度（如INT8、FP8、INT4）表示的技术，可减少显存占用和计算量，加速推理。
业界常用推理优化手段包括权重量化（INT8/FP8/INT4）、KV Cache复用与分页、连续批处理、投机解码等。
将模型压缩部署到太空硬件的工程路径通常包括知识蒸馏、权重量化以及针对特定任务的剪枝