概念
推理加速
通过图优化、硬件适配等手段提升模型推理速度的技术，常用工具包括TensorRT、ONNX Runtime、OpenVINO等。
时间轴 (近 90 天)
10月19日
推理加速技术正在从通用优化走向负载感知，针对特定工作负载特征重新设计解码流程可能比在通用框架上做增量改进更有效。
待验证50%
9月15日
模型加速通常指在保持输出质量可接受前提下减少生成所需的步数、时间或计算资源
待验证50%
通过图优化、硬件适配等手段提升模型推理速度的技术，常用工具包括TensorRT、ONNX Runtime、OpenVINO等。
推理加速技术正在从通用优化走向负载感知，针对特定工作负载特征重新设计解码流程可能比在通用框架上做增量改进更有效。
模型加速通常指在保持输出质量可接受前提下减少生成所需的步数、时间或计算资源