Google Colab CLI 实测：免费 A100 跑 Gemma4 推理 179 tok/s

Google 最近把 Colab 进阶算力纳入 Google AI Pro 订阅，A100/H100 不再是企业客户的专属。PyPI 上冒出一堆名字相近的 CLI 工具，但真正能用的只有一个。本文记录从安装、认证、开实例到跑完 Gemma4 推理的完整过程，顺带算清楚 200 点算力到底能用多久。

两个 CLI 工具，别装错

PyPI 上有个老包叫 colab-cli（2.2.5 版本），跟 Google 官方毫无关系。装下去会强制把 click 降到 7.1.2、typer 降到 0.1.1，环境直接崩掉。翻它的源码就知道，这是几年前包 pydrive 的上传小工具——把本地 .ipynb 同步到 Google Drive，再帮你开个浏览器分页，仅此而已。

真正的官方工具是 2026 年推出的 google-colab-cli（目前 0.7.4，要求 Python 3.12+）。推荐用 uv 安装：

uv tool install --python 3.12 google-colab-cli

装完执行 colab --help，能看到 new、exec、ssh、usage、log 等全套现代指令集。名字里的 google- 前缀是唯一的区分标志，搜索时务必看清。

为什么会有两个同名工具？ PyPI 上的包名一旦被注册即长期占有，即使原项目停止维护也不会自动释放。colab-cli 的维护者数年前为了把本地 Jupyter Notebook 同步到 Google Drive 而写了这个上传脚本，与 Google 官方毫无关联，但因抢注时间早，搜索排序反而靠前，对不熟悉生态的新用户构成了明显的「名字陷阱」。Google 直到 2026 年才推出官方 CLI，包名被迫加上 google- 前缀以示区分。判断官方工具的方法很简单：看包主页是否链向 google.dev 或 colab.research.google.com 域名（目前 Google 的开发者工具官方域名已统一迁移至 google.dev），以及安装后命令是否为 colab 而非 colab-cli。

uv tool install 的意义：uv 是 Astral 用 Rust 编写的 Python 包管理器，其 tool install 子命令会把 CLI 及其依赖安装到独立的隔离环境中，不污染当前项目的 site-packages。这一点对本例尤其关键——如果直接 pip install，google-colab-cli 可能与项目里已有的 click/typer 版本产生冲突，重蹈 colab-cli 的覆辙。--python 3.12 参数则强制使用 3.12 解释器，因为官方 CLI 依赖 3.12 新增的若干 type hint 语法。

OAuth 认证与 A100 实例创建

首次运行 colab usage 会触发 Google OAuth 授权，终端打印授权网址，浏览器登录已订阅 Google AI Pro 的账号并批准权限，把授权码贴回来即可。认证成功后可以看到初始余额：

Current balance: 200.00 compute units
Usage rate: 0.00/hr
Active assignments: 0

接着一行命令申请 A100 实例：

colab new --session gemma-test --gpu A100

大约 5 秒后终端返回 [colab] Session READY.。这个速度比网页版控制台点选快了不少，尤其在反复开停实例的场景下优势明显。

Google OAuth 授权码流程（Authorization Code Flow） 是 Google 为无法承载回调服务器的 CLI 类应用设计的授权模式。它把标准 OAuth 的「重定向拿 code」拆成两步：应用先请求 Google 生成一个一次性授权链接，用户在浏览器登录并同意权限后，页面上会显示一串形如 4/0AX4Xf... 的短期授权码，用户手动粘贴回终端，应用再用这个码去换取 refresh token。整个流程对应 OAuth 2.0 的 Authorization Code Grant，token 有效期通常为 1 小时，refresh token 长期有效。需要注意授权链接是一次性的，如果中途刷新了浏览器分页，必须重新运行命令生成新链接，否则会得到 invalid_grant 错误。授权的 scope 通常包含 colab.research.google.com 与 cloud-platform，可在 Google 账号的「安全性 > 第三方应用」页面随时撤销。

A100 与「老卡」的相对性：A100 基于 Ampere 架构（2020 年发布），7nm 工艺，40GB HBM2e 版本显存带宽约 1555 GB/s，TF32 算力约 156 TFLOPS。相比更新的 H100（Hopper，HBM3 约 3.35 TB/s 带宽）性能确有代差，但在 2026 年仍是性价比最高的推理与微调平台之一。40GB 显存对 26B 模型的 Q4_K_M 量化版（约 15-20 GB 权重）留足了上下文缓存空间。此处的 gpu-a100-s-kkb-usc1f1 命名包含三层信息：a100-s 表示 A100 标准切片，usc1f1 是 Google 数据中心的代号（US Central zone 1，facility 1），末尾随机串是本次会话的实例 ID。第三方 Colab 环境的常见切片还有 a100-l、t4、l4 等，CLI 的 hardware 子命令可列出当前账号被授予的硬件清单。

Gemma4 推理实测：100% GPU 负载，179 tok/s

A100 虽是老卡，但 40GB 显存跑中等规模模型绰绰有余。通过 colab exec 在远端实例部署 Ollama，拉取 gemma4:26b（GGUF Q4_K_M）进行测试。

先查显存分配：

nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv
# 输出：NVIDIA A100-SXM4-40GB, 40960 MiB, 20072 MiB

模型占 20,072 MiB 显存，GPU 负载 100%，主机侧还有 83.5 GB RAM 和 20 GB 显存缓冲。输入一道临床基因考题：

What is the role of BRCA1 in breast cancer? Give a 2-sentence clinical summary.

模型触发思考链完成约 270 个 tokens 推导后，产出结构完整的两句话结论（BRCA1 通过同源重组修复双链 DNA 断裂，致病突变显著增加遗传性乳腺癌和卵巢癌风险）。性能数据：

• 生成时间：2.16 秒（369 tokens）
• 生成速度：179.42 tok/s
• 上下文窗口：Ollama 默认 32,768 tokens

这个速度对 26B 模型的量化版本来说相当能打，A100 的显存带宽优势在长上下文场景会更明显。

实例监控：六种手段看清远端状态

Colab CLI 提供了一套完整的监控指令，从点数余额到 GPU 物理传感器都能查。

算力计费状态（colab usage）：

Current balance: 197.28 compute units
Usage rate: 5.30/hr
Active assignments: 1

从 200 点扣到 197.28 点，整个过程约 30 分钟，扣款速率锁定在 5.30 点/小时。

实例生命周期（colab status -s gemma-test）：

[gemma-test] gpu-a100-s-kkb-usc1f1-ryarjq9kw3qd | Hardware: A100 | Shape: Standard | Variant: GPU | Status: IDLE
  Last Execution: stdin at 2026-10-12 08:26:15

任务运行时状态为 RUNNING，闲置时转 IDLE。

硬件级监控（colab exec -s gemma-test "nvidia-smi"）返回：

• 温度与功耗：32°C，待机 47.19W，推瞬间冲上 180W+（硬体上限 400W）
• 显存：20,072 MiB / 40,960 MiB（待机时仅占 6 MiB）
• 主机：12 核 CPU、83.47 GB 内存、235.68 GB NVMe 磁盘

服务层监控（colab exec -s gemma-test "ollama ps"）：

NAME          ID              SIZE      PROCESSOR    CONTEXT    RUNNER
gemma4:26b    001e5dafc3c7    1.2 GB    100% GPU     32768      llamacpp

Ollama 默认闲置 5 分钟后自动释放显存，避免后台常驻占用资源。

执行历史导出是官方 CLI 最有价值的功能之一。运行：

colab log -s gemma-test -o colab_a100_gemma4_replay.ipynb

半小时内所有输入、输出、日志自动打包成 728 KB 的标准 .ipynb 文件。他人打开即可看到每个 cell 的输出结果，完整重现实验过程。这对需要留存实验记录或分享结果的场景极为实用。

网页端实时仪表板通过 colab url -s gemma-test 获取专属 Notebook 地址，浏览器打开后右上角显示硬件资源条形图（系统 RAM、磁盘、GPU RAM），可直接看到显存被切走 20 GB 的实时动态。

点数定价与 Pay As You Go 机制

在终端输入 colab pay 或在 Colab 界面点击资源分页的「深入了解」，会打开官方的 Colab 付费方案与定价说明页面。

Google 的 Colab 算力计费分两层：

订阅制——Google AI Pro / Colab Pro 每月固定配发算力点数（Google AI Pro 配发 200 点），解锁高阶硬件配额（A100、TPU v5e 等），并拥有比免费版更高的排队优先权。

Pay As You Go 加购制——当 200 点在高强度微调用光时，可单次随选加购（100 点约 9.99 美元），加购点数只要账号有效就不会过期，自动接在每月免费额度后面扣除。

换算成真实时间：

200 点 ÷ 5.30 点/小时 ≈ 37.7 小时

连续跑能撑 37.7 小时。如果每次测试只占 20 分钟，200 点足够支撑超过 100 次完整的推论工作阶段。

最省点的操作是 CLI 提供的 Ephemeral Job Runner：

colab run -s gemma-eval --gpu A100 my_benchmark.py

云端开机、跑完脚本、抓回输出后立刻自动关机释放资源，连手动 colab stop 都不用，点数一秒钟都不浪费。

这套组合适合谁

如果你的 Colab 使用场景是「偶尔跑跑小模型、做个基准测试、验证论文里的推理脚本」，而不是长期训练大模型，那 google-colab-cli 配合 Google AI Pro 的 200 点算力是目前性价比很高的方案。终端操作意味着可以接入脚本、CI 流程或其他自动化工具，colab log 导出的可重现 notebook 则补上了实验记录的最后一环。

它当然不适合所有人。需要长时间连续训练、需要多卡并行的任务，还是得走正规云平台。但对个人开发者和小团队来说，200 点撑出的 37 小时 A100 时间，已经覆盖了大部分验证性工作的需求。