TGI
Hugging Face开发的开源大语言模型推理服务框架，支持多种主流LLM的高效部署，提供连续批处理、张量并行等加速特性，广泛用于生产环境的LLM服务化
核心事实
时间轴 (近 90 天)
评估私有化能力需确认三点：网关能否完全离线运行、能否接入企业自托管开源模型（如通过vLLM、TGI部署的Llama、Qwen等）、日志和审计数据是否全部留存本地。
同一个模型在 vLLM、Ollama、TGI 三者上部署时，调用代码往往无法直接复用。
相比vLLM、TGI等偏向数据中心GPU的推理框架，llama.cpp在边缘设备、CPU实例和混合硬件环境中的适配性更强。
同一开源权重模型在不同服务商的量化精度（FP16、INT8、INT4）、推理框架（vLLM、TGI、TensorRT-LLM）和采样参数默认值差异，可能导致输出分布不同
常见的推理引擎包括 vLLM、SGLang、TGI 等
自托管开源模型时GPU型号、推理框架（如vLLM、TGI）以及量化精度（FP16 vs INT4）会显著影响延迟指标
私有化部署的技术路径分两类：将开源模型（如LLaMA、Qwen、DeepSeek）借助vLLM、Ollama、TGI等推理框架部署在自有服务器，或购买商业模型的私有化授权版本
推理引擎领域除vLLM外，还有TensorRT-LLM、SGLang、TGI等多个方案在竞争市场份额
AWQ 和 GPTQ 是目前 Serverless 部署场景下最常用的两种量化格式，vLLM、TGI 等主流推理框架均已原生支持
所有大模型的私有化部署（如使用vLLM、TGI等推理框架）都依赖Python生态
还有 5 条时间轴事件
全部知识事实 (17)
TGI（Text Generation Inference）是Hugging Face推出的生产级推理服务，支持连续批处理和张量并行等优化策略
80%待验证vLLM在吞吐量上通常领先TGI，而TGI在易用性和生态兼容性上更优
75%待验证私有化部署的技术路径分两类：将开源模型（如LLaMA、Qwen、DeepSeek）借助vLLM、Ollama、TGI等推理框架部署在自有服务器，或购买商业模型的私有化授权版本
60%待验证所有大模型的私有化部署（如使用vLLM、TGI等推理框架）都依赖Python生态
60%待验证评估私有化能力需确认三点：网关能否完全离线运行、能否接入企业自托管开源模型（如通过vLLM、TGI部署的Llama、Qwen等）、日志和审计数据是否全部留存本地。
50%待验证同一个模型在 vLLM、Ollama、TGI 三者上部署时，调用代码往往无法直接复用。
50%待验证相比vLLM、TGI等偏向数据中心GPU的推理框架，llama.cpp在边缘设备、CPU实例和混合硬件环境中的适配性更强。
50%待验证同一开源权重模型在不同服务商的量化精度（FP16、INT8、INT4）、推理框架（vLLM、TGI、TensorRT-LLM）和采样参数默认值差异，可能导致输出分布不同
50%待验证常见的推理引擎包括 vLLM、SGLang、TGI 等
50%待验证自托管开源模型时GPU型号、推理框架（如vLLM、TGI）以及量化精度（FP16 vs INT4）会显著影响延迟指标
50%待验证推理引擎领域除vLLM外，还有TensorRT-LLM、SGLang、TGI等多个方案在竞争市场份额
50%待验证AWQ 和 GPTQ 是目前 Serverless 部署场景下最常用的两种量化格式，vLLM、TGI 等主流推理框架均已原生支持
50%待验证高性能推理引擎可集成vLLM、TGI（Text Generation Inference）等推理加速框架
50%待验证TGI（Text Generation Inference）是 Hugging Face 推出的推理服务方案，与 Hugging Face 模型生态深度集成
50%待验证TGI由Hugging Face团队维护，与Hugging Face模型生态深度集成，支持张量并行等分布式推理技术
50%待验证开发者可通过Ollama、vLLM、TGI等推理框架在自有服务器或云GPU上部署开源模型，一次性支付算力费用而无需按Token付费
50%待验证可通过vLLM、TGI等高性能推理框架部署开放权重模型，并用LoRA等参数高效微调技术定制
50%