Antirion
用 Rust 编写的开源 AI 网关，位于应用与 LLM 供应商之间，负责路由、降级、限额、预算、护栏与日志，主打极低开销与高吞吐。
时间轴 (近 90 天)
Antirion 是一个用 Rust 从头构建的开源 AI 网关，号称全球最快。
在 5,000 req/s 的简单聊天场景下，Antirion 的 p50 开销为 0.53 ms，Bifrost 2.2.4 为 19.7 ms，低 37 倍。
在 5,000 req/s 下，Antirion 的峰值内存为 215 MiB，Bifrost 为 1,389 MiB。
Antirion 的最高持续吞吐为 14,000 req/s，Bifrost 为 3,500 req/s。
在 10,000 req/s 下，Bifrost 的中位请求等待时间达到 12 秒，而 Antirion 的 p99 仍保持在 2ms 以内。
在 1,000 req/s 轻负载下，Bifrost p50 为 0.72ms，Antirion 为 0.76ms，两者性能接近。
Antirion 采用每 CPU 一线程的模型，每个数据线程运行单线程运行时，通过 SO_REUSEPORT 独立监听，避免任务跨线程迁移。
Antirion 使用自定义 JSON 解析器记录 JSON 成员在原始字节中的偏移，在供应商与客户端方言一致时请求体从不被复制（零拷贝）。
Antirion 在路由前对编码做 dry run 预检，将无法服务该请求的部署提前排除，避免 fallback 浪费一次往返。
Antirion 的配置采用不可变快照，存放在 ArcSwap 中，每个请求开始时加载一次，配置变更不会在请求中途生效。
还有 2 条时间轴事件
全部知识事实 (12)
Antirion 是一个用 Rust 从头构建的开源 AI 网关，号称全球最快。
50%待验证在 5,000 req/s 的简单聊天场景下，Antirion 的 p50 开销为 0.53 ms，Bifrost 2.2.4 为 19.7 ms，低 37 倍。
50%待验证在 5,000 req/s 下，Antirion 的峰值内存为 215 MiB，Bifrost 为 1,389 MiB。
50%待验证Antirion 的最高持续吞吐为 14,000 req/s，Bifrost 为 3,500 req/s。
50%待验证在 10,000 req/s 下，Bifrost 的中位请求等待时间达到 12 秒，而 Antirion 的 p99 仍保持在 2ms 以内。
50%待验证在 1,000 req/s 轻负载下，Bifrost p50 为 0.72ms，Antirion 为 0.76ms，两者性能接近。
50%待验证Antirion 采用每 CPU 一线程的模型，每个数据线程运行单线程运行时，通过 SO_REUSEPORT 独立监听，避免任务跨线程迁移。
50%待验证Antirion 使用自定义 JSON 解析器记录 JSON 成员在原始字节中的偏移，在供应商与客户端方言一致时请求体从不被复制（零拷贝）。
50%待验证Antirion 在路由前对编码做 dry run 预检，将无法服务该请求的部署提前排除，避免 fallback 浪费一次往返。
50%待验证Antirion 的配置采用不可变快照，存放在 ArcSwap 中，每个请求开始时加载一次，配置变更不会在请求中途生效。
50%待验证Antirion 的计费模型在准入时预留 token 估算，请求结束时用真实用量精确结算一次；客户端中途断开时请求不会被取消，已生成的部分成本仍被计入。
50%待验证Antirion 的代码分为 8 层共 28 个 crate，每个 crate 只能依赖其下方层级，违反规则会导致 CI 构建失败。
50%