免费模型Agent运行指南：固定模型+日志记录

免费模型和免费服务器是Agent开发者的常见诱惑，但演示效果和实际账单之间往往隔着一道鸿沟。本文基于一份详细的FAQ，梳理免费层级Agent运行的五个常见误区，并给出一个可立即上手的60行代码方案，帮助你建立可信的运行日志。

为什么需要运行日志

每个模型调用都值得记录。作者坚持为每次调用维护一个运行账本（run ledger），这个习惯看似枯燥，却是他信任任何免费层级声明的唯一理由。没有日志，你只能靠记忆和猜测；有了日志，你才能回答“我观察到了什么，在什么时间，针对哪个模型字符串”。

运行账本（run ledger） 是本文的核心概念，指按时间顺序追加、每次模型调用写一行记录的日志文件（本文用 JSONL 格式）。它与传统应用日志的区别在于：账本以“调用”为最小单位，固定记录模型标识、端点、时间戳、token 用量与延迟，目的是让事后审计成为可能，而不是仅用于调试。JSONL（JSON Lines）每行一个独立 JSON 对象，天然支持流式追加与逐行解析，不需要读取整个文件，适合长期累积。账本的价值在于不可回溯性：一旦某次失败发生时没有记录，事后再想重建当时的模型字符串、配额状态和延迟分布就不可能了，这也是作者强调“账本必须先于第一次有趣失败存在”的原因。

五个常见误区

误区一：免费模型是固定不变的

免费端点本质上是一个路由决策，提供方可以在任何一天悄悄更换后端、量化方式或上下文长度。上个月输入的模型字符串，今天可能解析到完全不同的服务。如果你没有固定模型标识并记录时间戳，你的测试套件就是在拿苹果和谣言做比较。

误区二：运行成功就等于模型没问题

HTTP 200和JSON解析成功只能说明传输层没出错，不代表答案合规、完整或切题。作者曾连续六天发布“绿色”运行结果，实际上内容 quietly wrong。你需要区分两个关卡：解析器是否接受，断言是否接受。

误区三：Token配额就是预算

配额是天花板，预算是计划，两者不是一回事。更麻烦的是，用量报告在实践中是可选的：有些响应带usage块，有些什么都不带，或者只统计一半请求。如果用量缺失，你无法对账，只能猜测。正确做法是同时记录报告值和明确标记的估算值，且永不混用两列。

usage 块 是 OpenAI 兼容 API 响应中的可选字段，通常形如 {"prompt_tokens": ..., "completion_tokens": ..., "total_tokens": ...}，用于告知客户端本次调用消耗的 token 数。它之所以“在实践中可选”，是因为它并非所有兼容实现的强制契约：部分免费端点、自建推理服务或代理层会直接省略该字段，或只在流式响应的末尾片段中返回。当 usage 缺失时，客户端只能基于字符数做启发式估算（如 prompt_chars / 4），而这一比例对英文近似成立，对代码、JSON、中文等则偏差显著。因此把“报告值”和“估算值”分列记录、永不混用，是保证账本可信的前提。

误区四：免费服务器就是部署目标

这是代价最高的误区。免费服务器通常是临时的：磁盘重置、进程休眠、冷启动吃掉延迟预算。它适合做无状态边车、定时任务、日志搬运器，或者账本本身的临时环境；但绝不能存放唯一一份状态。问自己：你会把数据库跑在上面吗？如果不会，就别把唯一产物放在那里。

误区五：日志可以以后再加

“以后”永远不会来，因为“以后”正是你需要历史记录却无法补录的时刻。账本必须在第一次有趣失败之前就存在，它只需要十行代码。

60行调用包装器：自动记录日志

作者提供了一个仅使用标准库的Python脚本ask.py，调用OpenAI兼容端点，每次尝试追加一行JSON日志。关键字段包括：固定的模型标识、基础URL、时间戳、提示词哈希、字符数、用量是否报告、输入输出token数、延迟毫秒和错误信息。

运行方式很简单：设置环境变量BASE_URL、API_KEY和MODEL_ID，然后通过标准输入发送提示词，脚本会将结果写入runs.jsonl。如果usage_reported为false，你就立刻知道一个重要事实：你的配额从客户端内部是不可观测的。

OpenAI 兼容端点 指实现了 /v1/chat/completions 等 OpenAI 风格接口的服务，使得任何按 OpenAI SDK 或 HTTP 格式编写的客户端无需改代码即可切换后端。BASE_URL 用于指向具体服务地址，MODEL_ID 则是请求体中的模型字符串。这种兼容层的便利也带来了本文反复强调的风险：同一模型字符串在不同提供方、不同时间可能解析到不同后端，因此兼容性只保证“能调通”，不保证“行为一致”。日志中固定记录 BASE_URL 与 MODEL_ID 的组合，正是为了把这种隐式路由变成可追溯的显式变量。

审计脚本：区分可检查与不可检查的声明

配套的audit.py按模型汇总账本，报告运行次数、成功次数、无用量次数、报告token数和估算token数。其中no_usage列是最诚实的指标——高计数意味着你根本无法审计花费。估算列使用prompt_chars / 4的粗略启发式，仅适用于英文文本，对代码、JSON和非拉丁文字会明显偏差，应视为形状而非测量。

一个12分钟即可运行的演练

1. 在shell配置中固定MODEL_ID和BASE_URL，不设回退。
2. 发送同样的3个提示词，每个5次，不改变任何变量。
3. 运行audit.py，先读no_usage，再读token。
4. 第二天重跑，对比模型字符串和延迟区间。
5. 如果任何东西变了，你就找到了真正的变量——不是模型。

这个演练应在写任何基准测试文章之前完成。

冷启动（cold start） 指无状态或按需唤醒的运行环境在长时间空闲后，首次请求需要重新加载运行时、依赖甚至整个进程，导致首请求延迟远高于稳态。在免费服务器上，进程休眠和磁盘重置会放大这一问题，使延迟分布呈双峰：热请求几十毫秒，冷请求数秒。这也是作者建议记录延迟毫秒并对比延迟区间的原因——延迟的方差本身就是环境不稳定的信号。对需要稳定响应时间的服务，冷启动应被视为硬约束而非偶发噪声。

决策表：何时适合这套方案

工作负载	免费模型访问	免费服务器作为运行器	结论
一次性原型、提示词调优	是	是	适合，记录一切
CI linting、JSON形状检查	是	是（无状态时）	适合，按任务固定模型
任何有SLA或付费用户	否	否	为可追溯的合同付费
唯一一份数据	否	绝不	临时磁盘不是备份
受监管或需审计的token花费	仅当用量被报告时	仅当外部日志时	你必须自己提供账本
长时间有状态服务	也许	否	冷启动和重置会找上门

把中间列读作“技术上可行”，而非“永久支持”。

局限性与适用边界

账本只记录客户端能看到的东西，服务端限流不可见。如果提供方剥离usage块，你的数字就是估算值，应如实标注。免费配额会变，今天的千万token额度不说明下季度的情况，应快照条款并每月重读。一次通过的运行只证明一个样本通过，样本量是另一个话题。

如果你已有可信的付费合同和用量看板，提供商的账单界面优于这个JSONL文件。如果工作负载有状态或用户付费，免费服务器是错误工具。如果你需要自动回退而不能固定模型标识，这套流程会和你冲突——日志很便宜，但固定有成本。

核心结论

真正值得问的问题不是“免费层级好不好”，而是“我观察到了什么，何时，针对哪个模型字符串”。这个问题有一个便宜的答案：六十行代码、一个JSONL文件，和一个习惯。

本文部分内容基于MonkeyCode的产品外联材料，其宣称提供开源项目、免费模型访问、免费服务器选项和千万token赠送。这些应视为供应商声明，在围绕其规划前请自行确认当前条款。