TensorRT Edge-LLM

NVIDIA推出的面向边缘设备的大语言模型推理优化软件栈，基于TensorRT核心工具链，通过算子融合、精度量化、内核自动调优等技术优化边缘侧LLM部署效率