Open WebUI 0.13.0实测：模型用鼠标在MS Paint画狗

当模型学会用鼠标：一次“手绘”引发的惊叹

最近Reddit上一条帖子火了，标题直接写着“We are cooked”（我们完蛋了）。发帖人展示了一个令人哭笑不得的场景：他加载的QFN 3.8 NVFP4模型，在MS Paint里用鼠标坐标“自由手绘”出了一只狗。不是通过Python脚本生成图像，而是像人类一样，在虚拟机的画图软件里一点一点移动光标画出来的。

这个看似简单的行为，背后是模型对图形界面（GUI）的完整操控能力。发帖人感叹：“忘掉那些让模型用SVG画鹈鹕的蠢事吧，也忘掉用Python代码作弊的方式。”这句话点出了一个关键区别：过去我们测试模型画图，往往是让它生成代码或矢量图形，而这次是真正的“计算机使用”（Computer Use）——模型在虚拟机里通过鼠标坐标和点击来操作软件。

Computer Use（计算机使用） 是当前AI代理领域的一个关键概念，指模型不再局限于生成文本或代码，而是像人类一样直接操作图形用户界面（GUI）——包括移动鼠标、点击按钮、键盘输入、拖动窗口等。这一能力通常通过截图感知界面状态，再输出坐标级动作指令来实现。与传统的“生成代码再执行”不同，Computer Use不依赖中间脚本，而是模拟真实用户的操作流，因此能处理那些没有API、只能通过界面交互的第三方软件。代表性工作包括Anthropic的Computer Use API和OpenAI的Operator等。其核心挑战在于界面理解的准确性、动作序列的规划以及操作的可逆性与安全性。

Open WebUI 0.13.0 + Open Terminal 0.17.2：让模型接管桌面

实现这一功能的核心，是Open WebUI 0.13.0版本与Open Terminal 0.17.2的配合。据发帖人介绍，Open WebUI 0.13.0新增了让OWUI模型控制完整Linux桌面的能力，既可以通过编程方式，也可以借助Computer Use功能。Open Terminal则提供了一个可运行的虚拟桌面环境。

发帖人提到，他一直是这两个项目的长期关注者，团队几乎每隔几周就会添加新功能。此前Open Terminal的无头（headless）版本已经很有用，而现在的版本更进一步：模型可以直接在浏览器内与虚拟桌面交互，用户也能随时接管操作。

有趣的是，发帖人的截图显示虚拟机里运行的是Windows 11，而非Linux。他解释说，这是因为他让自己的Hermes代理基于标准的未激活Windows 11 ISO（而非Linux ISO）构建了一个Open Terminal版本，整个过程大约花了20分钟。这意味着用户可以根据需要定制虚拟机镜像，获得一个完全可观察、沙箱化的桌面环境，并让OWUI驱动任意模型进行操作。

Open WebUI 是一个开源的、自托管的Web界面，用于统一接入和交互多种大语言模型（如通过Ollama、OpenAI兼容API等），功能涵盖对话、RAG、工具调用、多用户管理等。它并非模型本身，而是模型与用户之间的前端与编排层。Open Terminal 则是与之配套的项目，提供一个基于浏览器的可运行虚拟桌面环境：用户在网页里就能看到一个完整的Linux（或自定义）桌面系统，并通过VNC或类似协议实时交互。两者的结合使得Open WebUI中的模型能够借助Open Terminal的沙箱桌面执行Computer Use任务，同时用户也能随时接管同一桌面，实现人机协同操作。这种架构把“模型控制桌面”从实验脚本变成了可部署、可观察的日常工具。

为什么这件事值得关注

表面上看，模型画一只狗只是娱乐。但背后反映的是AI代理能力的实质性进展。传统的模型输出局限于文本或代码，而Computer Use让模型能够像人类一样操作软件界面，这为自动化办公、软件测试、辅助操作等场景打开了想象空间。

发帖人特别指出，这个功能“ slipped under a lot of people's radar”（被很多人忽略了）。Open WebUI团队近期进行了大量更新和代码重构，而桌面控制能力可能是其中最被低估的一项。

另一个细节也很有意思：发帖人提到QFN 3.8在完成任务后还会“夸奖自己干得好”。这种自我肯定的行为虽然只是模型输出的一部分，但也从侧面反映了当前模型在交互中表现出的拟人化倾向。

NVFP4 是一种面向大语言模型推理的低精度数值格式，属于4位浮点（FP4）的变体，由NVIDIA在其Blackwell架构中重点推广。与传统的FP8或INT4相比，NVFP4通过共享缩放因子和微块量化策略，在保持模型精度的同时显著降低显存占用和计算带宽需求，使大模型能在更少的GPU资源上运行。文中“QFN 3.8 NVFP4”指的是一个以NVFP4精度量化的3.8B参数量级模型。这类小尺寸量化模型能够在消费级硬件或沙箱虚拟机中流畅运行，是本次“模型操控桌面”演示得以在轻量环境中实现的重要前提——它降低了对算力和显存的门槛，让Computer Use的本地化实验变得可行。

局限与未知

需要说明的是，目前的信息主要来自单一用户的分享，我们尚未看到更广泛的测试或官方文档的详细说明。QFN 3.8 NVFP4的具体参数、模型来源以及Open WebUI 0.13.0的完整功能列表，在原始帖子中并未展开。对于想要复现的用户来说，可能需要自行查阅Open WebUI和Open Terminal的官方仓库。

此外，让模型控制桌面也带来安全层面的思考：沙箱环境虽然提供了隔离，但模型对鼠标和键盘的操控权限如何被约束、如何防止意外操作，仍是需要关注的课题。发帖人强调环境是“fully observable sandboxed”（完全可观察的沙箱），这在一定程度上缓解了担忧，但具体机制还有待更多披露。

结语

一只在MS Paint里手绘的狗，或许比任何基准测试都更直观地展示了AI代理的进步。Open WebUI 0.13.0与Open Terminal的组合，让模型从“生成内容”走向“操作工具”。对于开发者和AI爱好者来说，这无疑是一个值得亲自尝试的新玩具。