Codex接本地模型：8G到24G显卡各能跑什么

把 Codex 或 Claude Code 接到本地模型上，最常被问的问题不是“怎么接”，而是“我的显卡到底能跑哪个”。B站一条视频把显存分成 8G、12G、16G、24G 四档，逐档算了笔减法，也给出了完整的接入步骤。这篇文章把其中的算法、模型清单和踩坑点整理出来，方便你对照自己的卡做选择。

为什么要把编程工具接到本地模型

Codex 和 Claude Code 本质上是让 AI 在你电脑里读代码、改文件的工具。默认情况下，它们调用的是云端服务。视频里提到的本地模型路线，有三个实际好处：代码不用传到别人的服务器、不按调用次数收费、断网之后仍然能用。

代价也很直接：你需要一块足够大的显卡，而且接法属于“非官方支持”的范畴。视频里反复强调，Anthropic 官方文档明确写了不支持把 Claude Code 接到非 Claude 的模型，这条路能走通，但出了问题官方不管。

Codex 和 Claude Code 都属于“代理式编程工具”（agentic coding tool）：它们不只是补全代码，而是能在你的项目目录里自主执行读文件、搜索、修改、运行命令等多步操作。这类工具依赖底层大语言模型的推理与工具调用能力，默认通过厂商托管的 API（如 OpenAI 的 Codex 服务、Anthropic 的 Claude 服务）完成推理。所谓“接到本地模型”，就是把这些工具的推理后端替换成运行在自己显卡上的模型服务，通常通过 Ollama、LM Studio 等本地推理框架暴露一个兼容 OpenAI 接口的本地端口，再由工具把请求发往该端口。因此本地路线能否成立，取决于两件事：本地模型是否具备足够的上下文窗口与工具调用能力，以及显卡能否把模型完整装进显存。

核心算法：显存减去模型文件大小

显存是工作台，模型是工具箱

视频用了一个很直观的比喻：显存是一张工作台，模型文件是一个工具箱，工具箱得整箱摆到台面上用起来才顺手。摆不下的部分只能留在电脑内存里，用一次搬一次，速度会明显变慢。Ollama 官方文档的建议很直接——别让模型落到处理器上。

别忘了给“图纸”留地方

除了模型文件，还有一样东西占显存：上下文，也就是 AI 一次能看到多少内容。聊天场景下上下文很小，可编程工具要同时看好几个文件，上下文一摊开就大了。Ollama 官方建议给编程工具用至少 64000 的上下文（64K），但它默认只给 4000。所以用默认设置接编程工具，第一件事就是先把上下文调大。

于是选择模型就变成一句减法：显存减去模型文件大小，剩下的留给上下文。剩得越多越从容；减出来小于 0，就是放不下。装好以后在终端输入 ollama ps，看 Processor 那一列，写着 100% GPU 才说明整个模型都在显存里。视频特意说明，这条讲的是“放不放得下”，不是比谁出字快，速度还跟显卡型号有关。

上下文窗口（context length）指模型在一次请求中能同时“看到”的 token 总量，包括系统提示、对话历史、读入的代码片段以及模型自己生成的输出。编程工具需要在一次会话里反复读取多个文件、保留工具调用结果，因此上下文消耗远高于普通聊天。Ollama 的 num_ctx（或环境变量 OLLAMA_CONTEXT_LENGTH）控制的就是这个窗口大小，它直接决定 KV Cache 的显存占用，且占用随上下文长度近似线性增长。把上下文从默认 4000 调到 64000，KV Cache 可能从几百 MB 涨到数 GB，这正是“显存减文件大小”之后必须预留的那部分空间。上下文设置过小会导致工具在读入若干文件后被迫截断历史，表现为“忘了刚才改过什么”或工具调用中断。

四档显卡分别能跑什么

8G 档：Qwen 3.5 的 9B 最稳

9B 模型文件 6.6 到 7.6G，减完余量 0.4 到 1.4G；4B 模型文件 3.3 到 4G，余量 4 到 4.7G。这一档空间紧，建议选小一点的模型，或者把上下文控制在够用就好。

12G 档：实测 Gemma 4 的 12B 还剩 3.4G

12G 是很多人的实际配置。这一档放得下谷歌 Gemma 4 的 12B，文件 7.7 到 8G，按文件大小算还剩 4G 出头；视频作者实测跑起来显存用到 8.8G，还剩 3.4G 左右，这是默认 4000 上下文下的数字。Qwen 3.5 的 9B 在这一档余量 4.4 到 5.4G。而 14G 的 GPT-OSS 20B，12 减 14 小于 0，放不下，一部分会落到内存里。

16G 档：GPT-OSS 20B 的官方门槛

16G 档放得下 GPT-OSS 的 20B，文件 14G，官方写的是最低 16G 内存就能跑，减一下余量约 2G。Ollama 给 Codex 写的接入文档用的就是这个系列。余量不多，官方给了两招省缓存：开闪存注意力，以及把缓存类型设成 Q8。官方说这样缓存占用的内存大约省一半，质量损失很小。

GPT-OSS 是 OpenAI 发布的开源权重模型系列，提供 20B 与 120B 等规格，采用 MoE（混合专家）架构，推理时只激活部分参数，因此在同等显存下比稠密模型更易部署。文中提到的“闪存注意力”（Flash Attention）是一种减少注意力计算显存读写开销的核融合技术，能降低长上下文下的显存峰值；而“缓存类型设为 Q8”指把 KV Cache 以 8 位量化存储，相比默认的 FP16 可将缓存占用压缩近一半，代价是极小的数值精度损失。两者组合是显存吃紧时延长可用上下文的常用手段，但量化缓存对个别模型可能带来轻微输出质量波动，建议部署后做一次实际任务验证。

24G 档：27B 到 30B 的舒适区

这一档选择明显宽裕：Qwen 3.8 的 27B 文件 18G，Qwen 3.6 的 27B 文件 18 到 19G，专门做编程的 Qwen3 Code 30B 文件 19G，减完余量 5 到 6G。视频提到 Qwen 3.8 的官方页面写了编程和常规任务有提升。再往上 GPT-OSS 120B 文件 65G，官方要求一张 80G 的卡，家用显卡基本不用考虑。

装法四步：从驱动到验证

用 NVIDIA 显卡的话，Ollama 官方要求驱动版本 550 以上，50 系列在支持名单里；笔记本双显卡看独显那块的显存。

第一步，装 Ollama。Windows 打开 PowerShell 跑一行官方命令，或者去官网下载安装包。装好后用 ollama pull 加上你那一档的模型名，把模型下载下来。

第二步，调上下文大小。Ollama 设置里有个上下文滑块，拉到 64000；官方也给了另一种写法，启动前设一个环境变量 OLLAMA_CONTEXT_LENGTH 为 64000。

第三步，装 Codex。官方命令行版本是开源的，用 npm 一行就能装。最短的接法是 ollama launch codex，Ollama 会替你配好。想自己动手就是 codex --oss 再加 -m 写模型名。想固定下来，就在用户目录的 Codex 文件夹里写配置文件，加一行 oss_provider = ollama。

第四步，验证。另开一个终端输入 ollama ps，看到 Processor 显示 100% GPU 就说明整箱都在台面上；如果写的是几层 CPU 几层 GPU，就是一部分落到内存里了，换小一档的模型，或者把上下文调小。

Claude Code 也能接，但官方不支持

Anthropic 官方文档写明了不支持把 Claude Code 接到非 Claude 的模型。接法本身不复杂：先装 Claude Code，Windows 上一行官方命令；最短的接法是 ollama launch claude。手动接就是设三个环境变量——口令写 Ollama 密钥，留空，地址写本机的 11434 端口，然后用 claude --model 写上模型名。注意要先设变量再开 Claude，不然它会让你登录。设好之后请求走的是你自己电脑上的服务，不占订阅额度。

选模型有一个硬条件：Ollama 文档要求挑带工具调用能力的模型，在模型页上看标签。习惯用 LM Studio 也行，两个工具都支持，地址换成本机 1234 端口。

“工具调用”（tool use / function calling）是模型按结构化格式输出“我要调用某个工具、参数是什么”的能力，编程工具依赖它来触发读文件、写文件、执行命令等动作。若模型未针对工具调用做训练或模板适配，它可能只会以自然语言回复“我建议你修改某文件”，而不会真正发起写操作，这正是文中“只聊天不动手”卡点的根源。在 Ollama 模型页面上，带 tools 标签的模型表示其 Modelfile 已内置工具调用模板。此外，Claude Code 通过 ANTHROPIC_BASE_URL 指向本地服务、ANTHROPIC_AUTH_TOKEN 留空的方式绕开云端鉴权，这属于对官方客户端的非官方用法，客户端升级可能改变变量读取逻辑，因此每次升级后都应重新验证连接是否仍然可用。

四个常见卡点和两个做不到

视频把最常见的卡住归了四类：慢得像卡住了，先看 ollama ps 是不是落在 CPU 上，换小一档或调小上下文；让它改文件它只聊天不动手，回模型页看有没有工具调用的标签；Claude Code 又让你登录，变量没设在开它的那个终端里；配置改了没生效，Codex 的模型提供方这类设置只认用户目录里的配置文件，写在项目文件夹里会被忽略。

两件做不到的事也得说清楚。规则上，Anthropic 不支持这条路，更新之后某个功能失灵官方不会替你修。能力上，Ollama 的 Qwen 3.5 页面编程成绩只给了 397 亿参数的大模型，装在家用显卡上的小尺寸没有对应成绩，所以选型只能拿文件大小说话，不拿跑分说话。另外，名字后面带 Cloud 的模型是跑在 Ollama 云上的，不吃你的显卡，也不属于本地路线。

什么时候该花钱用官方

要读很多文件的大任务，还是用官方的 Codex 更稳。视频作者的意思是，本地模型适合日常改改小项目、在意代码不外传的场景，大任务交给有免费额度的官方服务。模型名字差不多每隔几个月换一轮，这张表上的名字会过时，但算法不会：显存减文件大小，剩下的给图纸。看到新模型时先看三样——文件多大、上下文多大、有没有工具调用的标签，三样都对得上再往下装。