自建LLM代理网关：10分钟上手LiteLLM，告别盲飞

调用Claude、GPT、Gemini或DeepSeek时，你是否清楚每个API请求来自哪个工具、消耗了多少token、花了多少钱？如果答案是否定的，你可能正在“盲飞”。Hacker News上最近一篇题为“如果你不运行自己的LLM代理，你怎么知道发生了什么？”的帖子引发了160+点赞和上百条讨论，尽管标题粗俗，但核心观点被广泛认同：没有代理层，你就没有真正的可观测性。

为什么你需要一个LLM代理网关

大多数AI服务商提供的仪表盘只是为计费页面设计的，无法回答工程师真正关心的问题：哪个密钥调用了哪个模型、来自哪个客户端、是否成功？为什么某次编码会话成本突然翻了十倍？凌晨三点哪个代理在循环消耗token？如果明天要换供应商，需要改多少个地方？

这些问题的根源在于：你的编辑器、代理、脚本和生产环境各自持有密钥，调用分散，故障模式独立。没有统一的观测点，你只能靠账单和直觉。

可观测性（Observability） 在LLM场景下通常指通过日志、指标和追踪回答三个问题：请求由谁发起、经过哪条路径、产生了什么成本和结果。传统APM工具关注延迟与错误率，而LLM调用还引入了token消耗、模型选择、提示词长度等成本维度。服务商仪表盘往往只按账户聚合展示，缺乏按密钥、客户端、模型的多维下钻能力，因此工程师无法定位异常消耗的根因。代理网关的价值正是在请求离开你的基础设施之前记录完整上下文，形成可查询的时间序列数据，从而把“账单惊讶”转化为可归因的工程信号。

LLM代理网关能给你什么

本质上，它是一个反向代理，用OpenAI兼容的API统一对接所有供应商。具体收益包括：

• 单一控制端点：多供应商、多模型，一个base URL。
• 虚拟API密钥：真实供应商密钥从不暴露给代理、沙箱或队友的笔记本电脑。吊销虚拟密钥不会影响其他部分。
• 真实日志：密钥、模型、客户端、延迟、状态、token、成本，全部是可供查询的时间序列数据。
• 快速切换供应商：改一行配置，而不是重新配置每个工具。
• 预算、限流、降级、护栏：这些“无聊”的功能能帮你避免四千美元的意外账单。

一位HN评论者点出了沙箱场景的关键：没有代理，你无法安全地在沙箱中编排代理，因为沙箱只能看到虚拟密钥。

虚拟API密钥是一种由代理网关签发和管理的凭据，它本身不是任何供应商的真实密钥。客户端使用虚拟密钥向网关认证，网关再根据配置映射到真实的上游密钥并转发请求。这样做的好处有三层：一是真实密钥只存在于网关进程的环境变量中，沙箱、CI或队友笔记本即使被攻破也拿不到；二是吊销某个虚拟密钥只影响对应工具或代理，不会波及其他调用方；三是可以在虚拟密钥上绑定模型白名单、预算上限和速率限制，实现细粒度的访问控制。

10分钟用LiteLLM搭建

LiteLLM是自托管开源方案中的默认选择，支持100+供应商，提供虚拟密钥、预算和日志。它未必是唯一选项，但却是最快实现“我能看到一切”的路径。

首先准备配置文件config.yaml，定义模型列表和基础设置：

model_list:
  - model_name: fast
    litellm_params:
      model: anthropic/claude-haiku-4-5-20251001
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: smart
    litellm_params:
      model: anthropic/claude-sonnet-5-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: cheap
    litellm_params:
      model: deepseek/deepseek-chat
      api_key: os.environ/DEEPSEEK_API_KEY

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
  database_url: os.environ/DATABASE_URL   # Postgres，用于密钥和支出日志

然后用Docker启动：

docker run -d --name litellm -p 4000:4000 \
  -v $(pwd)/config.yaml:/app/config.yaml \
  --env-file .env \
  ghcr.io/berriai/litellm:main-stable \
  --config /app/config.yaml

接着为每个工具或代理铸造带硬预算的虚拟密钥：

curl -X POST http://localhost:4000/key/generate \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"key_alias": "nightly-agent", "models": ["fast", "cheap"], "max_budget": 20}'

最后，将所有客户端指向这个代理：

export OPENAI_BASE_URL=http://localhost:4000
export OPENAI_API_KEY=sk-your-virtual-key

完成。你的代理现在调用fast，而fast具体指哪个模型由你每周决定。

LiteLLM 是一个开源的LLM网关与SDK，核心能力是把不同供应商的API统一映射为OpenAI兼容的Chat Completions接口。它的代理模式（LiteLLM Proxy）支持从YAML配置加载模型列表，通过model_name定义别名，客户端只需指定别名即可调用，底层模型可随时替换。配合Postgres数据库，代理可以持久化虚拟密钥、预算和支出日志，并提供管理API用于铸造密钥和查询用量。其镜像以迭代频繁著称，生产部署建议固定到具体版本标签而非main-stable。

来自Hacker News的反方观点

原帖讨论并非一味赞美，合理的质疑值得注意：

• “代理只在你按API价格付费时才有用。” 有道理。如果你用的是包月订阅，代理能看到的信息比本地会话日志还少。有评论者建议直接收集~/.claude/projects/下的JSONL文件，组织得更好，还包含子代理。
• “代理是另一个故障点。” 确实。把它放在健康检查之后，保留直连供应商的降级方案，在信任它之前不要放进不可丢失的热路径。
• “LiteLLM是个bug多、迭代快的烂摊子。” 这是讨论中的真实情绪。锁定镜像版本，阅读变更日志，不要把管理界面暴露到公网。其他人提到的替代品包括Bifrost、OpenRouter（托管、零运维）、Portkey（可观测性优先）和Tailscale的Aperture（如果你希望它在tailnet内）。
• “自己造一个harness。” 有些人这么做了。如果你乐在其中，没问题。但大多数人还有更值得交付的东西。
• “API定价 vs 订阅。” 一位评论者两三天花了200美元API费用，而同样的使用量在200美元/月的套餐内就能覆盖。代理不能解决这个数学问题，但能让你看清钱花在了哪里。

OpenAI兼容API指的是遵循OpenAI Chat Completions请求与响应格式的HTTP接口。由于OpenAI的格式已成为事实标准，大量客户端库、编辑器插件和代理框架都默认支持通过OPENAI_BASE_URL和OPENAI_API_KEY两个环境变量指向任意兼容端点。这正是代理网关能够“一行配置切换供应商”的技术基础：网关对外暴露OpenAI兼容接口，对内适配Anthropic、DeepSeek^广告等不同供应商的原生协议。理解这一点有助于判断哪些工具可以无缝接入网关，以及何时需要额外的协议转换层。

谁应该动手

• 只有一个编辑器和一个订阅的独立开发者：可以跳过。说实话。
• 任何运行代理、沙箱或CI并调用模型的人：今天就做。仅虚拟密钥一条就值得。
• 团队：你们已经在用.env文件共享密钥，做得糟糕。正规起来。

结论

问题不在于网关酷不酷，而在于你能否在一分钟内回答：“我的LLM调用昨天做了什么，花了多少钱？”如果不能，你不是有可观测性，你只有感觉和一张账单。选一个代理，自托管，锁定版本，铸造虚拟密钥。工具本身没那么重要，重要的是你掌控了咽喉要道。