TensorRT
NVIDIA推出的高性能深度学习推理优化器与运行时，自2015年发布，支持算子融合、精度校准（FP32/FP16/INT8/FP8）、内核自动调优、动态形状，是GPU推理部署的事实标准工具链
核心事实
时间轴 (近 90 天)
JetPack SDK 是 NVIDIA 为 Jetson 平台提供的完整软件栈，包含 CUDA 工具链、cuDNN、TensorRT、计算机视觉库等
从英伟达闭源运行时提取权重可能涉及驱动层hook、内存dump等技术手段，在某些司法管辖区可能触及逆向工程相关法律条款
OpenDLSS NR提供了浏览器版本，使用WebGPU运行，不依赖TensorRT
代理自主完成了安装DeepStream、获取YOLO11模型、导出ONNX格式并由TensorRT构建Jetson优化引擎的全链路，仅引擎构建就耗时约10分钟
ONNX是与框架无关的神经网络模型交换格式，TensorRT接收ONNX模型后根据目标GPU执行层融合、算子选择等优化，生成设备专属的序列化执行引擎
TensorRT生成的序列化引擎是平台绑定的，在特定GPU型号和TensorRT版本下编译生成，不可跨平台直接复用
内核自动调优会在首次构建引擎时针对目标GPU硬件参数测试多种计算方案并选出最优者，这是TensorRT引擎构建耗时较长但推理延迟极低的原因
此前多设备支持主要依赖上层框架（如Megatron-LM）自行实现，TensorRT将其内化为运行时原生能力
将TensorRT多设备推理集成进Dynamo-Triton后，开发者可获得从原始模型权重到对外提供HTTP/gRPC推理接口的完整标准化路径，并行切分、设备协调与服务编排均由框架托管
与框架原生推理相比，TensorRT通常能带来2–5倍的吞吐提升和显著的延迟降低
还有 37 条时间轴事件
全部知识事实 (20)
TensorRT 是 NVIDIA 提供的高性能推理优化引擎，能将 PyTorch/ONNX 模型编译为针对 GPU 优化的执行引擎，通常可将推理速度提升 2-5 倍
90%已验证NVIDIA的CUDA生态是AI推理行业的事实标准
85%已验证TensorRT通过算子融合、内核自动调优和内存优化来释放GPU硬件潜力
80%已验证TensorRT的算子融合将计算图中多个连续的小算子合并为一个大算子，减少GPU内核启动次数和中间结果的内存读写；典型融合操作可将卷积、批归一化和激活函数三步合并为单次GPU内核调用
80%已验证Triton Inference Server是NVIDIA开源的模型服务化框架，支持动态批处理、模型并发执行，兼容TensorRT、PyTorch、TensorFlow、ONNX Runtime等推理后端
80%已验证TensorRT-LLM是NVIDIA专为大语言模型推理优化而开发的开源框架
75%已验证INT8量化、通道剪枝等模型压缩技术可在精度损失低于1% mAP的前提下将推理速度提升2-4倍
70%已验证INT8量化通过将32位浮点权重映射到8位整数，在几乎不损失精度的前提下将模型体积压缩75%
65%已验证TensorRT是NVIDIA开发的推理引擎，ONNX Runtime是微软开发的推理引擎
65%已验证NVIDIA近期为TensorRT引入了多设备推理支持（Multi-Device Inference Support）
75%待验证TensorRT optimizes inference performance through layer fusion, precision calibration, and automatic kernel tuning
90%待验证TensorRT能针对CUDA和GPU优化张量运算，进一步提升性能
90%待验证TensorRT的内核自动调优机制会针对目标GPU的具体架构（如Ampere、Hopper等）对候选内核进行性能基准测试
90%待验证TensorRT提供了熵校准（Entropy Calibration）和最小最大值校准（MinMax Calibration）等多种量化校准策略
90%待验证TensorRT only supports the NVIDIA ecosystem
85%待验证TensorRT内置了数百种融合模式的识别规则，能够自动发现并应用层融合优化
80%待验证TensorRT优化后的模型通常比通用框架推理快2-6倍
75%待验证TensorRT的层融合优化中，以Conv-BN-ReLU组合为例，融合后内存访问量可减少60%以上
75%待验证TensorRT是英伟达官方的模型推理优化库，通过算子融合、精度量化（FP16/INT8）等技术将模型压缩并加速
70%待验证TensorRT是NVIDIA推出的高性能深度学习推理优化器与运行时，自2015年发布
70%