产品NVIDIA Inference Microservices / NIM
NVIDIA NIM
英伟达推出的推理微服务平台,帮助开发者将大模型快速部署为可调用的API端点,提供标准化接口(兼容OpenAI格式)和模型市场目录,降低推理基础设施搭建成本
时间轴 (近 90 天)
9月16日
Moonshot AI的Kimi K3已上线NVIDIA NIM API目录,开发者可通过兼容OpenAI的接口免费调用,接口支持多模态、流式输出和推理强度设置
待验证50%
9月11日
使用NVIDIA NIM、TensorRT-LLM等优化过的推理引擎能在相同硬件上获得数倍的性能提升
待验证50%
9月7日
FCC的Tiered Routing功能可为OPUS、SONNET、HAIKU分别指定不同Provider,例如OPUS走NVIDIA NIM、SONNET用OpenRouter免费档、HAIKU跑本地LM Studio上的Qwen3 Coder
待验证50%
全部知识事实 (4)
待验证
NVIDIA NIM内置了TensorRT-LLM等推理加速引擎
85%待验证使用NVIDIA NIM、TensorRT-LLM等优化过的推理引擎能在相同硬件上获得数倍的性能提升
50%待验证FCC的Tiered Routing功能可为OPUS、SONNET、HAIKU分别指定不同Provider,例如OPUS走NVIDIA NIM、SONNET用OpenRouter免费档、HAIKU跑本地LM Studio上的Qwen3 Coder
50%待验证Moonshot AI的Kimi K3已上线NVIDIA NIM API目录,开发者可通过兼容OpenAI的接口免费调用,接口支持多模态、流式输出和推理强度设置
50%