Prime Inference
Prime Intellect 推出的大模型推理服务平台,基于 vLLM 构建,专门针对 Agent 工作负载做了优化,支持 prefill/decode 拓扑隔离、调度器气泡优化和可靠工具调用
时间轴 (近 90 天)
模型目录新增 AI/ML API、LowRouter 和 Prime Inference 三家 provider
v4.1.24 更新刷新了模型目录,新增 Claude Haiku 5.5,以及 AI/ML API、LowRouter、Prime Inference 等供应商。
v3.0.71 的模型目录新增 AI/ML API、LowRouter 和 Prime Inference 三个 provider;v0 provider 精简为仅提供默认模型 `v0-1.5-md`;OpenCode Go 迁移到新端点 `https://opencode.ai/inference/go/v1`;Cline 免费列表加入 Step 5 Preview。
Prime Inference 在推理层对工具调用的结构化输出和函数调用稳定性做了保障
Prime Intellect 推出了 Prime Inference,基于 vLLM 大规模部署 GLM-5.3 模型
选择 agent 推理服务时应关注其在真实 agent 负载下的端到端表现,而非只看 benchmark 上的解码速度
Prime Inference 针对智能体(agent)工作负载做了专门优化
Prime Inference 在 prefill/decode 拓扑上做了专门设计,以区分两个阶段的计算资源分配
全部知识事实 (8)
模型目录新增 AI/ML API、LowRouter 和 Prime Inference 三家 provider
50%待验证v3.0.71 的模型目录新增 AI/ML API、LowRouter 和 Prime Inference 三个 provider;v0 provider 精简为仅提供默认模型 `v0-1.5-md`;OpenCode Go 迁移到新端点 `https://opencode.ai/inference/go/v1`;Cline 免费列表加入 Step 5 Preview。
50%待验证Prime Inference 在 prefill/decode 拓扑上做了专门设计,以区分两个阶段的计算资源分配
50%待验证Prime Inference 在推理层对工具调用的结构化输出和函数调用稳定性做了保障
50%待验证选择 agent 推理服务时应关注其在真实 agent 负载下的端到端表现,而非只看 benchmark 上的解码速度
50%待验证Prime Inference 针对智能体(agent)工作负载做了专门优化
50%待验证v4.1.24 更新刷新了模型目录,新增 Claude Haiku 5.5,以及 AI/ML API、LowRouter、Prime Inference 等供应商。
50%待验证Prime Intellect 推出了 Prime Inference,基于 vLLM 大规模部署 GLM-5.3 模型
50%