开放权重模型API实战：选型要点与OpenAI/Anthropic SDK调用指南

开放权重（open-weight）模型——即训练好的权重向所有人公开下载的模型——如今已经足够胜任大量日常工作：编码代理、工具调用、信息抽取、文本摘要。真正的难点早已不是模型本身，而是如何把它跑起来。本文梳理运行开放权重模型的三条路径、挑选托管API前该核对的关键指标，以及用你已经熟悉的SDK调用它所需的那几行代码。

开放权重 ≠ 开源

一个常见误区是把"开放权重"等同于"开源"。开放权重只意味着权重文件是公开的，并不自动代表训练数据、训练代码或宽松许可证也一并公开。

许可证的差异很大，从 MIT、Apache 2.0 这类宽松协议，到带有使用限制的自定义许可证都有。如果你打算基于某个模型构建产品，务必先读清楚它的 model card。对通过 API 调用模型而言，关键在于任何人都可以部署它——这也正是同一个开放权重模型往往能从多家供应商处获得，且价格与速度各不相同的原因。

运行开放权重模型的三条路径

原文将运行方式归纳为三类，各有适用场景：

1. 自己部署

借助 vLLM、SGLang、llama.cpp 或 Ollama 这类工具，你可以在自己的机器或 GPU 服务器上暴露一个 OpenAI 兼容的接口。好处是完全掌控，代价是无论用不用都要为硬件付费，而一个 30B 级别的模型需要相当强悍的 GPU。

vLLM 是目前最主流的开源推理框架，由加州大学伯克利分校开发，以 PagedAttention 技术著称，能大幅提升 GPU 显存利用率和并发吞吐量，适合生产级部署。SGLang 同样来自学术界，在结构化输出和长上下文场景下有显著优势。llama.cpp 则走了另一条路——用纯 C++ 实现，支持在 CPU 上运行量化模型，对没有高端 GPU 的开发者很友好。Ollama 在 llama.cpp 之上封装了更易用的命令行和本地 API，适合快速本地实验。这四个工具都默认暴露 OpenAI 兼容的 /v1/chat/completions 接口，这意味着你为云端 API 写的代码，换一个 base URL 就能直接打到本地服务上。

2. 租用专用 GPU

硬件由别人维护，但你仍然按小时付费——不管它处于繁忙还是空闲状态。

3. 调用按量计费的托管 API

你只需发送请求，按实际消耗的 token 付费。没有要维护的东西，空闲时也不产生费用。对大多数想尝试开放模型的团队来说，这是最合理的起点。

挑选托管API前该核对哪些指标

供应商众多、同一模型价格差异大，这就要求使用者具备基本的辨别能力。原文给出了一份值得逐项核对的清单：

• 协议兼容性：如果 API 支持 OpenAI Chat Completions（最好还支持 Anthropic Messages 协议），那么你现有的代码和工具只需改动 base URL、密钥和模型 id 即可继续工作。
• 精度：供应商可能以全精度（BF16）提供模型，也可能使用量化权重（FP8、4-bit）。量化让服务更便宜，但可能轻微改变输出质量。靠谱的供应商会明确告知每个模型跑在什么精度上。
• 上下文窗口与最大输出：这些数值因模型而异，且未必等于实验室公布的上限。
• 工具调用与推理控制：代理应用高度依赖可靠的工具调用；而推理型模型允许你在简单任务上降低甚至关闭"思考"，以节省输出 token。
• 分项 token 价格：输入、输出和缓存输入分别计价。缓存输入对代理尤为重要，因为它们每一步都会重发很长的提示词。
• 数据处理政策：供应商是否存储请求内容？是否用于训练？要读隐私条款页，而不是落地页上的宣传语。
• 实测性能：公开可查的首 token 时间（TTFT）和每秒 token 数，远比标题里的"极速"二字可信。

这份清单的价值在于，它把"选 API"从一个被营销话术主导的决策，还原成了几个可量化、可对比的工程指标。

BF16（Brain Float 16） 是 Google 为深度学习设计的 16 位浮点格式，与 FP32 相比数值范围相同但精度略低，是目前大模型推理的事实标准全精度格式。量化则是将权重从更高精度压缩到更低精度（如 FP8、INT8、4-bit）的技术，核心目标是降低显存占用和推理成本。以一个 70B 模型为例，BF16 需要约 140GB 显存，而 4-bit 量化后只需约 35GB——这直接决定了能否在单节点上运行以及服务定价。量化对输出质量的影响通常较小，但在逻辑推理、数学计算等对精度敏感的任务上可能出现轻微下降。TTFT（Time To First Token，首 token 时间） 衡量从发出请求到收到第一个 token 的延迟，直接影响交互体验；TPS（Tokens Per Second，每秒 token 数） 则衡量流式输出的生成速度，对需要实时展示结果的场景尤为关键。

调用示例：几行代码的事

原文以 Tokener CA（作者参与开发的一个按量计费开放权重模型 API，文末有利益披露）为例演示。同样的模式适用于任何支持这些协议的供应商。建议把密钥和模型 id 放进环境变量：

export TOKENER_API_KEY="your-api-key"
export TOKENER_MODEL="a-model-id-from-the-models-page"

OpenAI SDK（Chat Completions）

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TOKENER_API_KEY"],
    base_url="https://a.tokener.ca/v1",
)

resp = client.chat.completions.create(
    model=os.environ["TOKENER_MODEL"],
    messages=[{"role": "user", "content": "Explain open-weight models in one sentence."}],
)
print(resp.choices[0].message.content)
print(resp.usage)  # 输入、输出和缓存 token：也就是计费依据

流式输出（stream=True）、函数工具和 JSON 输出都可原样沿用。若要在流式响应中获取用量，传入 stream_options={"include_usage": True} 即可。

Anthropic SDK（Messages）

import os
import anthropic

client = anthropic.Anthropic(
    api_key=os.environ["TOKENER_API_KEY"],
    base_url="https://a.tokener.ca",  # 不带 /v1，SDK 会自动补上
)

message = client.messages.create(
    model=os.environ["TOKENER_MODEL"],
    max_tokens=256,  # Messages 协议要求必填
    messages=[{"role": "user", "content": "Explain open-weight models in one sentence."}],
)
print(message.content[0].text)

curl

curl https://a.tokener.ca/v1/chat/completions \
  -H "Authorization: Bearer $TOKENER_API_KEY" \
  -H "Content-Type: application/json" \
  -d "{\"model\": \"$TOKENER_MODEL\", \"messages\": [{\"role\": \"user\", \"content\": \"Hello\"}]}"

核心逻辑一目了然：只要供应商说的是你熟悉的协议方言，迁移成本几乎只剩"改三个值"。

从工具而非代码接入

多数 AI 工具都提供"OpenAI 兼容供应商"或"自定义 base URL"的设置项，所需的仍然是同样的三个值——base URL、密钥、模型 id。原文列出了一批工具的接入指南，包括 Claude Code（经由 Anthropic 兼容端点）、OpenCode、Cline、LiteLLM 以及 Vercel AI SDK。

这意味着即便你不写代码，也能让现有的编码代理或工作流接上开放权重模型，几乎零改造。

LiteLLM 是一个开源代理层，能将来自不同供应商的各类 API 统一翻译成 OpenAI 格式，支持超过 100 个模型提供商。它既可作为本地代理服务运行，也可集成到 Python 代码中，常被用来在多个供应商之间做负载均衡或故障转移——这在需要高可用性的生产环境中很实用。Vercel AI SDK 则是面向 JavaScript/TypeScript 开发者的统一 AI 接口，原生支持流式 UI 组件（如 useChat），并通过 provider 机制抽象了底层 API 差异，适合在 Next.js 等 Web 框架中快速集成 AI 功能。

一种稳妥的起步方式

不要一次性把所有东西都迁走。更务实的做法是：挑一个你足够了解的任务——比如初筛式代码审查、工单摘要、字段抽取——用一周时间把它交给开放权重模型处理，然后同时对比两件事：输出质量和账单。

如果连代码都不想先写，浏览器里的 playground 可以让你直接试用各个模型，并实时看到一次请求的花费。这种"小步验证"的策略，既能控制风险，又能用真实数据而非厂商宣传来支撑最终决策。

利益披露：本文示例所用的 Tokener CA 由作者参与开发，运营方为注册于加拿大安大略省的 ShowKey Information Systems Inc.。每个模型的价格、上下文窗口、精度与实测性能均在其模型页面列出。