OpenAI兼容API
Amazon Bedrock 提供的 OpenAI API 兼容层,允许现有 OpenAI SDK 调用逻辑平滑迁移至 Bedrock
核心事实
时间轴 (近 90 天)
Xisu AI的OpenAI兼容API暴露聊天补全、嵌入、模型列表和图像生成端点;图像生成支持,但图像编辑与变体不支持,语音相关端点暂未开放。
LLM API 网关(也称 AI 网关或代理层)是位于应用与大模型供应商之间的中间服务,对外暴露标准化接口(常见为 OpenAI /chat/completions 规范),对内负责翻译转发请求到不同厂商端点,并统一处理鉴权、计费、限流和日志。
一个约40行的Python封装可以同时实现LLM API调用的硬超时、指数退避重试和模型回退三项功能。
不同供应商虽然API接口兼容,但在模型名称、上下文窗口、工具调用格式、速率限制和计费方式上仍有差异,回退方案上线前应在目标供应商上重新运行评估集。
开发者选择Kimi基于三个关键需求:基于数字而非感觉进行推理、可靠的JSON输出、OpenAI兼容API。集成仅用一个下午,使用普通的fetch,没有SDK锁定,并用模拟fetch进行了单元测试(resolver/test/kimi.test.ts)。
该共享工具通过在本机启动网关,将本地模型对外暴露为OpenAI兼容的API接口,供局域网内其他设备调用。
Bedrock 提供两种调用 OpenAI 模型的接口:Converse API(原生接口,支持多轮对话、工具调用和流式响应)和 OpenAI 兼容 API(减少从 OpenAI 平台迁移的代码改动)。
如果接口在同一个OpenAI兼容的base URL下暴露了多个模型,构建回退链是一种廉价的保险机制
网关对模型的命名往往与原厂不同,细微偏差(如点号写成连字符)会导致404 model not found错误
全部知识事实 (10)
OpenAI API的核心设计以/v1/chat/completions为主端点
80%待验证Xisu AI的OpenAI兼容API暴露聊天补全、嵌入、模型列表和图像生成端点;图像生成支持,但图像编辑与变体不支持,语音相关端点暂未开放。
50%待验证LLM API 网关(也称 AI 网关或代理层)是位于应用与大模型供应商之间的中间服务,对外暴露标准化接口(常见为 OpenAI /chat/completions 规范),对内负责翻译转发请求到不同厂商端点,并统一处理鉴权、计费、限流和日志。
50%待验证一个约40行的Python封装可以同时实现LLM API调用的硬超时、指数退避重试和模型回退三项功能。
50%待验证不同供应商虽然API接口兼容,但在模型名称、上下文窗口、工具调用格式、速率限制和计费方式上仍有差异,回退方案上线前应在目标供应商上重新运行评估集。
50%待验证开发者选择Kimi基于三个关键需求:基于数字而非感觉进行推理、可靠的JSON输出、OpenAI兼容API。集成仅用一个下午,使用普通的fetch,没有SDK锁定,并用模拟fetch进行了单元测试(resolver/test/kimi.test.ts)。
50%待验证该共享工具通过在本机启动网关,将本地模型对外暴露为OpenAI兼容的API接口,供局域网内其他设备调用。
50%待验证Bedrock 提供两种调用 OpenAI 模型的接口:Converse API(原生接口,支持多轮对话、工具调用和流式响应)和 OpenAI 兼容 API(减少从 OpenAI 平台迁移的代码改动)。
50%待验证如果接口在同一个OpenAI兼容的base URL下暴露了多个模型,构建回退链是一种廉价的保险机制
50%待验证网关对模型的命名往往与原厂不同,细微偏差(如点号写成连字符)会导致404 model not found错误
50%