TensorRT-LLM

TensorRT-LLM是NVIDIA推出的开源推理优化库，专为大型语言模型（LLM）的高效部署而设计。它基于TensorRT推理引擎构建，提供图优化、量化、KV缓存管理等技术，支持在NVIDIA GPU上加速Transformer类模型的推理计算，适用于数据中心和云端大规模语言模型服务场景。