LLM网关成本暗战：5.5%代币税 vs 按请求日志费

为什么LLM网关的计费模式决定了你的利润

大多数AI SaaS团队为生产流量接入LLM网关时，关注的是多供应商自动故障转移、统一可观测性和提示缓存。但很少有人事先算清楚：自己付的是总代币支出的百分比，还是按请求计数的日志费。

原文给出了一个具体场景：月LLM代币支出10,000美元、月请求量500万次。在这组参数下，一个在纸面上看起来差不多的架构选择，会拉开每月545美元（每年6,540美元）的利润差距。

这不是理论推演。下面拆解OpenRouter、Cloudflare AI Gateway、Portkey.ai、Helicone和LiteLLM Proxy五种方案的真实单元经济账。

LLM网关成本对比示意图

两种计费轴心：代币加价税 vs 按请求日志费

原文将LLM网关的收费模式拆成两条完全不同的轴心。

代币充值百分比税（5.0%-5.5%）

OpenRouter Standard对充值收取5.5%费用（最低0.80美元），BYOK流量在每月前100万次免费请求之后收取5.0%。按月支出10,000美元计算，走OpenRouter信用额度会多出每月550美元纯网关开销。

Cloudflare AI Gateway的计费取决于模式。走Cloudflare统一计费购买额度时，收取5.0%充值费，即每月500美元。但如果使用BYOK模式——传入自己的OpenAI、Anthropic或Gemini密钥——代币加价是0%，成本只有每月5美元的Workers Paid基础计划。

BYOK（Bring Your Own Key） 是指企业使用自己与模型供应商（OpenAI、Anthropic、Google 等）直接签约获得的 API 密钥，经由网关转发请求。此时网关不参与代币的转售，因此理论上不应收取代币加价，其收入只能来自基础设施订阅费或按请求计费。这也是为什么 Cloudflare AI Gateway 在 BYOK 模式下加价为 0%，而走平台统一额度购买时会产生 5% 充值费——后者本质上是网关作为代币经销商赚取的差价。对企业而言，BYOK 还意味着账单直接进入自有云合同、可享受供应商的阶梯折扣与信用额度，但需要自行管理密钥轮换和配额，这是选型时容易被忽略的运维成本。

按请求日志陷阱（约每10万次请求9美元）

Portkey.ai不收代币加价（100% BYOK），但按请求日志量计费：每月49美元基础费，加上每10万次记录请求约9美元。如果应用每月有500万次轻量分类或路由调用，Portkey账单会达到441美元/月，哪怕底层代币支出很小。

Helicone Pro同样是0%代币加价，每月79美元基础费（含4个席位）加分层日志存储（500万请求约60美元/月），总计约139美元/月。

LiteLLM Proxy是开源自托管方案，作为无状态Docker容器跑在Railway或Fly.io上，配自己的Postgres数据库，成本约12美元/月，0%代币加价，请求路由不限量。

六种方案的月度开销全景对比

原文按照月代币支出10,000美元、月请求500万次的条件，给出了完整对比表。

网关方案	计费模型	代币加价	BYOK策略	基础+日志费（500万请求）	月度总开销
Cloudflare AI Gateway（BYOK）	Workers付费基础计划	0.0%	100% BYOK（免费）	5美元	5美元
LiteLLM Proxy（自托管OSS）	自托管Docker	0.0%	100% BYOK（免费）	约12美元	12美元
Helicone Pro	基础+分层日志存储	0.0%	100% BYOK	79美元+约60美元	139美元
Portkey.ai Growth	基础+每10万请求日志	0.0%	100% BYOK	49美元+约392美元	441美元
Cloudflare AI Gateway（统一计费）	5.0%充值费	5.0%	使用统一额度	0美元	500美元
OpenRouter Standard	5.5%充值费	5.5%	100万请求后收5%	0美元	550美元

最便宜和最贵方案之间相差545美元/月，而它们在功能列表上几乎无法区分。

三条LLM路由与成本控制规则

原文从这组数据中提炼出三条可操作规则。

月支出超过2000美元就不要付百分比代币加价

超过这个阈值，百分比计费模式的成本会迅速超过固定基础设施费。方案很直接：用Cloudflare AI Gateway的BYOK模式（5美元/月）或自托管LiteLLM Proxy（12美元/月），让多供应商故障转移路由变成一笔固定基础设施开销，而不是从AI毛收入中抽走5%到5.5%。

对齐静态系统前缀以命中原生提示缓存

Anthropic的提示缓存（5分钟写入收1.25倍费用后，读取最高打一折）和OpenAI的自动提示缓存（超过1024个token的匹配前缀打5折到2.5折）都要求确定性的前缀顺序。做法是把静态工具定义和系统提示放在最前面，把动态用户/RAG上下文追加到消息数组最末尾。顺序一乱，缓存命不中，折扣就没了。

提示缓存（Prompt Caching） 是模型供应商侧的优化机制：当请求的前缀部分与近期请求完全一致时，供应商复用已计算的 KV 缓存，从而跳过重复的注意力计算。Anthropic 采用显式缓存，需在请求中标记 cache_control 断点，写入按 1.25 倍计费、命中读取约打一折，默认存活 5 分钟；OpenAI 则是自动前缀缓存，超过 1024 token 的匹配前缀自动享受折扣，无需显式声明。两者共同的硬性前提是前缀确定性——任何位于前缀中的动态内容（时间戳、用户 ID、随机排序的工具列表）都会导致缓存键变化，使命中率归零。因此缓存优化实质上是提示词工程的结构化问题，而非单纯的网关配置问题。

警惕功能开关评估与匿名上下文悬崖

用功能开关做模型实验（gpt-4o-mini对比claude-3-7-sonnet）时，不要在每个未认证页面加载时轮询远程开关API。原文给出的数字：在LaunchDarkly上，匿名访客会推高客户端月度活跃上下文费用（10万MAU时约1,020美元/月）；在Statsig或PostHog上，未缓存的远程开关检查会推高按展示计费的账单。建议使用服务端本地评估模式（GrowthBook、Flagsmith或带缓存的PostHog本地评估）。

功能开关（Feature Flag） 平台通常按“上下文”计费，即每个被评估的用户或设备标识算作一个计量单元。匿名访客的问题在于：未登录用户没有稳定 ID，平台往往为每次会话甚至每次页面加载生成新的上下文，导致 MAU 统计被严重放大，账单随之膨胀。本地评估（Local Evaluation） 模式通过服务端 SDK 定期拉取完整规则集并在内存中求值，只有规则变更时才与平台通信，从而把计费单元从“每次评估”转为“每次规则同步”，同时降低评估延迟并避免网络抖动导致的开关判定失败。

这些数字该怎么用

原文附带了可下载的CSV/JSON数据集和零依赖Node.js CLI模拟器，可以按自己的代币支出、请求量、提示缓存命中率和功能开关评估成本来建模。不过这些数据集和工具是付费产品（24美元和19美元的Payhip数据集，49美元的Gumroad全量包），文章本身也是一篇带有产品推广性质的工程分析。

抛开商业推广部分，核心结论值得独立看待：LLM网关的定价结构比功能列表更值得在架构选型阶段仔细核算。5.5%的代币加价在月支出1000美元时只是55美元的小钱，到月支出10万美元时就是5500美元——此时自托管或BYOK模式的固定成本优势会变得非常明显。反过来，按请求计费的方案在代币支出低但请求量高的场景下（比如轻量分类、路由、嵌入调用）会悄悄吃掉利润。

选网关之前，先算清楚自己的流量结构落在哪条计费轴上。