本地AI电脑控制：能替你点击，但先问你四个问题

Locally Uncensored 3.0.6 加入了一个值得认真看待的功能：让本地模型用鼠标和键盘操作你批准的应用。截图和点击都留在本机，不上传云端。但它目前是 beta，作者把大部分工程精力花在了「动手之前先问清楚」上——这篇文章的重点也在这里。

默认关闭，开启也不是一张空白支票

电脑控制在设置里的 Agent Permissions 下，默认处于关闭状态。打开它并不等于给出全局许可。之后 LU 仍会在四个节点上停下来问你：

• 每个新对话：「允许在此对话中使用电脑控制？」允许 / 拒绝
• 首次操作某个应用：先问再用
• 每一个动作：默认询问（监督模式）
• 敏感动作：任何模式下都必问

在你点下第一张卡片的「允许」之前，LU 不截屏、不做任何事。这个「允许」只对当前这一个对话有效；新建对话会重新问，应用重启后的每个对话也会重新问。没有任何设置可以跳过这张卡片。

所谓「敏感」，指发送、购买、删除、修改权限这类操作，询问时理由会标红。点击一个没有名称的按钮、链接或菜单项同样算敏感——因为 LU 无法判断按下它会触发什么。

永远不碰的禁区

有些区域在任何层级都不可进入：终端、密码管理器、系统登录与权限对话框、安全设置、运行对话框、带管理员权限的窗口。LU 不会向密码字段输入内容，粘贴到密码框也会被拒绝。双击程序、安装包、脚本或快捷方式之前，一定先问。

怎么叫停，以及它长什么样

暂停是 Ctrl+Alt+Space，停止是 Ctrl+Alt+Esc；Mac 上把 Ctrl+Alt 换成 Control+Option。在自主会话中，你移动鼠标也会触发暂停。暂停界面会展示它到目前为止做了什么，并问你是接管还是让它继续，你还可以追加一条指令用于剩余任务。一个屏幕任务无论如何最多 25 步或 8 分钟结束，你回答问题所花的时间也计入其中。

在 Windows 上工作时，LU 主窗口会缩成右上角的小窗，屏幕边缘泛出淡紫色光。小窗显示 LU 正在做什么，并列出两个快捷键。提问出现在小窗里，带一个停止按钮，且只接受鼠标点击——这样被操作的应用能保住键盘焦点。

看图还是读控件列表：一个有意思的取舍

默认使用你已经选定的聊天模型，LU 不会额外问你想怎么跑。在 Windows 上，LU 会读取目标窗口的按钮和字段列表：能看图的模型拿到截图加列表，不能看图的模型只靠列表工作，没有图像。正是后一种情况让小体量本地文本模型在这里变得可用。

作者在两项任务上各跑三次做了对比，六次全部完成：带图的运行合计 497 秒，仅靠列表的合计 381 秒。也就是说，在这个场景里「不看图」反而更快。

至于专用屏幕模型，目录里有 Holo 3.1 9B，标注 Beta，建议 16GB 显存起。作者在 Windows 上的测试中，它在三次运行里只有一次完成了简单打字任务，而且无法与一个 9B 聊天模型共存于 12GB 显卡。作者的原话是「这不是一个强的结果，我宁愿说出来也不想省略」——这种坦白在同类发布里并不常见。

控件列表（UI Automation） 是 Windows 提供的一套辅助功能 API，允许程序以结构化方式枚举窗口内的按钮、文本框、菜单项等元素，并读取其名称、类型、状态等属性。与截图相比，控件列表不依赖像素识别，因此纯文本模型也能理解界面结构并决定点击目标。但它的覆盖范围受限于应用是否暴露了完整的 UI Automation 信息，自定义绘制的界面可能无法被正确解析。这也是 LU 在 Linux 和 macOS 上无法提供控件列表、只能依赖截图的原因。

一个真实数字

用语音下指令、由本地 9B 模型依据控件列表在记事本里打一段笔记：从语音命令结束到语音播报结果，耗时 11 到 22 秒。这个数据测于「每个新对话都要问」的机制上线之前，所以在真实的新对话里，你点「允许」的时间还要另算。

平台差异比想象中大

Windows 已在一台 Windows 10 机器上逐点验证；Linux 尚未在应用中实际运行，需要 X11 会话；macOS 已集成但未充分测试。控件列表和自主模式只在 Windows 上存在。在 Linux 和 macOS 上，LU 无法说出一次点击会按下什么，因此每一次点击都按敏感动作询问。Mac 上还先需要辅助功能和屏幕录制两项系统权限，且模型必须具备图像输入能力——因为它只有截图可用。任何平台都没有后台模式，它在前台用你的真实指针工作。

值得提前知道的局限

• 小体量本地模型会误判任务何时完成，工作做完了却显示为已停止。
• 屏幕上的文字可能试图给模型下达指令。LU 把从屏幕读到的内容标记为不可信，并在敏感动作前询问；但涉及重要操作时，请留在监督模式。
• LU 用来判断某按钮是否敏感的措辞来自一份列表，列表不认识的表述就识别不出来。
• Windows 验证之后加入的八项修正和十项安全修复，只在自动化测试中跑过。

简短结论

Locally Uncensored 3.0.6 的电脑控制让本地模型在你批准的应用里点击和打字。它默认关闭，每个新对话都问，任何模式下敏感操作都问，永不接触终端和密码框，Ctrl+Alt+Esc 随时停止。Windows 已验证，Mac 未充分测试，Linux 尚未运行。请把它当作一个需要你在旁边看着的 beta。

代码在 github.com/PurpleDoubleD/locally-uncensored，COMPUTER-CONTROL.md 记录了每一处询问和每一项限制，changelog 有完整的「测了什么、没测什么」清单。

对于关注本地 AI 与隐私的人来说，这个项目的价值不在于「让模型替你点鼠标」有多炫，而在于它把权限边界做成了产品的一等公民：不可跳过的确认、明确的禁区清单、可随时接管的中断机制。在 agent 类产品纷纷追求「一键全自动」的当下，这种保守反而是一种稀缺的设计态度。至于它是否真的好用，取决于你用的是哪种模型——而从作者的实测看，小而快的文本模型配合控件列表，眼下比专用视觉模型更实际。