[控场AI]
产品NVIDIA Inference Microservices / NIM

NVIDIA NIM

英伟达推出的推理微服务平台,帮助开发者将大模型快速部署为可调用的API端点,提供标准化接口(兼容OpenAI格式)和模型市场目录,降低推理基础设施搭建成本

时间轴 (近 90 天)

9月16日

Moonshot AI的Kimi K3已上线NVIDIA NIM API目录,开发者可通过兼容OpenAI的接口免费调用,接口支持多模态、流式输出和推理强度设置

待验证50%
9月11日

使用NVIDIA NIM、TensorRT-LLM等优化过的推理引擎能在相同硬件上获得数倍的性能提升

待验证50%
9月7日

FCC的Tiered Routing功能可为OPUS、SONNET、HAIKU分别指定不同Provider,例如OPUS走NVIDIA NIM、SONNET用OpenRouter免费档、HAIKU跑本地LM Studio上的Qwen3 Coder

待验证50%

全部知识事实 (4)

来源文章