ComfyUI Assistant：内嵌工作流的AI助手，可读取并编辑节点图

开发者 BobbtheBuilder 在 Reddit 上分享了一个名为 ComfyUI Assistant 的自定义扩展，试图解决 ComfyUI 用户长期以来的一个痛点：在搭建复杂工作流时，需要不断在 Reddit、YouTube、ChatGPT 和 GitHub 之间来回切换查资料。这个项目把 AI 助手直接嵌入 ComfyUI 界面，让模型不仅能回答问题，还能真正读取并操作你当前的节点图。

从「解释怎么做」到「直接帮你做」

传统的 AI 问答模式下，你问「这几个节点该怎么连？」，模型只能给出文字描述，剩下的操作还得自己在画布上手动完成。ComfyUI Assistant 的核心思路是打通模型与工作流之间的接口——它通过一套工具（tools）机制直接接触 ComfyUI 的图结构。

开发者举了一个很直观的例子：你不必再问「怎么连这些节点」，而是可以框选一组节点后直接提问「这部分工作流是怎么运作的？」。助手会检查所选节点、解释其功能，并在画布上高亮出相关节点。更进一步，你可以让它直接构建或修改图结构，而不只是告诉你「你应该这样做」。

这种从「描述」到「执行」的转变，是这类嵌入式 AI 助手区别于外部聊天工具的关键价值所在。

这里提到的「工具（tools）机制」，是当前大语言模型与外部系统交互的主流技术路径，通常也被称为 Function Calling 或 Tool Use。其原理是：开发者预先定义一组结构化的函数接口（例如「添加节点」「修改连接」），并将这些接口的描述传给模型。模型在生成回复时，不再只输出自然语言，而是可以输出一段结构化的「调用指令」，由宿主程序解析后真正执行对应操作。对 ComfyUI 而言，整个工作流在内存中以 JSON 格式的图结构存在，每个节点都有唯一 ID、类型、widget 参数和连接信息，这使得「读取—修改—写回」的程序化操作具备可行的技术基础。工具调用能力对模型本身有一定要求，能力较弱的本地小模型有时会生成格式不合规的调用指令，导致操作失败，这也是作者特别强调针对本地模型做工程优化的原因。

具体能做哪些事

从作者列出的功能清单看，这个助手的能力覆盖了工作流操作的多个层面：

检查与理解

• 读取当前活动工作流，理解节点之间的连接关系
• 检查单个节点的 widget、输入和输出
• 搜索本地已安装的节点
• 结合已安装节点包的文档和官方 ComfyUI 文档解释节点功能
• 识别用户当前选中的节点

编辑与操作

• 添加、删除节点
• 连接与断开节点
• 修改 widget 数值
• 移动并自动排布节点
• 查找正向/负向提示词节点并编辑提示词
• 修改后验证工作流，检查是否有缺失连接

扩展能力

• 联网搜索节点与文档
• 在用户确认后安装自定义节点仓库
• 记住跨会话的修正与偏好
• 自动压缩长对话，避免本地模型上下文溢出
• 配合支持视觉的模型使用附加/输入/输出图像

其中「自动压缩长对话」和「记住偏好」这两项，对本地小模型尤其实用——它们直接针对本地部署的上下文限制做了工程优化。

面向本地 LLM 的设计取向

作者明确表示，让工具在本地 LLM 上好用是主要目标之一。你可以把它指向一个 LM Studio 服务器，选择本地模型，让模型通过工具接口操作真实的 ComfyUI 图。

在模型接入方面，它支持：

• 本地方案：LM Studio、Ollama
• API 方案：OpenAI 兼容 API、Anthropic

联网搜索则支持 Tavily、Brave Search 和 SerpAPI。

不过作者也很坦诚地说明了测试覆盖情况：目前只测试过 LM Studio（模型接入）和 Brave Search（联网搜索），其他接口因为自己不常用还没充分验证。这一点对想尝鲜的用户是重要提醒——用 Ollama 或 Anthropic 接入时可能会遇到未知问题。

LM Studio 和 Ollama 是目前最主流的两种本地大模型运行方案。LM Studio 提供桌面 GUI，对普通用户更友好，并内置兼容 OpenAI 接口格式的本地服务器，方便第三方应用直接接入。Ollama 则更偏向命令行和开发者工作流，以轻量、跨平台著称，同样暴露兼容 OpenAI 的 REST API。两者都允许用户在本机运行 Llama、Mistral、Qwen 等开源模型，数据不离开本地设备。ComfyUI Assistant 选择优先支持这两种方案，意味着用户理论上可以在完全离线的环境中使用——这对有数据隐私需求或希望规避 API 调用费用的创作者来说有实质吸引力。

项目现状与使用门槛

这是一个相当新的项目，还没有上架 ComfyUI Manager，目前只能从 GitHub 手动安装。作者特别征求社区反馈，尤其希望有人帮忙测试那些他自己没用过的 API 接口。

项目地址：github.com/BobbtheBuilder/ComfyUI_Assistent

从产品形态看，把 AI Agent 嵌入具体的创作工具、并赋予其操作宿主环境的能力，正在成为一种明显趋势——类似的思路已经出现在代码编辑器、设计工具中。ComfyUI 作为节点式工作流的代表，其图结构天然适合被程序化读写，这也是这类助手能够落地的技术前提。

值得关注的是它对本地模型友好的定位。在很多用户对云端 API 成本和隐私有顾虑的背景下，一个能跑在本地 LM Studio 上、又能真正操作画布的助手，如果稳定性能跟上，会有不小的实用价值。当然，作为早期项目，其实际效果如何、本地小模型能否可靠地调用这么多工具，仍需社区实测检验。