[控场AI]
· 5 分钟阅读· 2,800 字

1B小模型驱动桌面宠物:一次务实的AI Agent架构实验

1B小模型驱动桌面宠物:一次务实的AI Agent架构实验

Felinquent用三层架构让1B小模型在规则约束下做出有趣而非有用的Agent行为。

Felinquent是一个桌面宠物式的AI Agent副业项目,其价值在于展示了一套务实的小模型Agent设计哲学。系统分为三层:60fps纯规则反射层保证实时交互,每20-60秒决策一次的慢大脑(可接入Ollama上的gemma3:1b)负责规划,治理层拥有最终否决权并在模型看到菜单前和每步执行前双重校验。作者总结了五条经验:不让模型发明动作、不让小模型决定大方向、检查两次、用动物视角描述屏幕、接受小模型写不好台词。关键结论是模型只是增强项而非依赖项,关闭Ollama后纯规则大脑仍能驱动全部行为。

当AI Agent不再追求“有用”

一个在桌面窗口上散步、在Dock上打盹、你叫它也不理你的猫——这可能是你见过最“无用”的AI Agent。但正是这个名为Felinquent的副业项目,藏着一套值得认真对待的Agent设计思路:让1B参数的小模型负责“想做什么”,而让规则和治理层负责“能不能做”。

Reddit原帖截图

据Reddit原帖作者介绍,Felinquent可以是猫、狐狸、浣熊或狗,用户可以把“混乱等级”调高,它就会当着你的面慢慢把杯子推下窗台。这个项目最初只是为了好玩,但背后的“大脑”部分演变成了一次颇有参考价值的Agent实验:如何让一个能力有限的本地小模型,在开放环境中表现得既有趣又不失控。

三层架构:快反射、慢大脑与治理层

Felinquent的核心设计将系统拆成三个独立部分,职责边界清晰。

快层:60fps的纯规则反射

第一层是快速反应层,以60fps驱动动物移动,处理抚摸、拖拽等反射行为,完全不涉及任何模型。这保证了交互的即时性,也让模型的延迟不会拖累用户体验。

慢大脑:每20-60秒做一次决策

第二层是慢速大脑,每20到60秒决定一次“想做什么”,或在有事件发生时立即触发。它可以接入Ollama运行的gemma3:1b本地模型。作者强调了一个关键原则:永远不要等待模型。在M系列Mac上,模型响应时间约为4秒(p50)和6.7秒(p95),因此动物在模型思考时仍继续移动;如果模型返回的计划已经过时(比如你刚扔了玩具或给了零食),计划会被丢弃;模型太慢或失败时,则由规则系统接管规划。

Ollama 是一个开源的本地大语言模型运行框架,允许开发者在自己的机器上以命令行或 API 方式加载并推理各类开源模型(如 Llama、Gemma、Mistral 等),无需依赖云端服务。它屏蔽了底层推理引擎和硬件适配的复杂性,提供统一的 REST 接口,常被用于隐私敏感或离线场景的 Agent 原型开发。文中提到的 gemma3:1b 即通过 Ollama 拉取的 Google Gemma 第三代 10 亿参数版本,适合在消费级硬件上低延迟运行,但推理能力有限,这也是作者强调“模型只做局部规划”的重要原因。

治理层:始终有权说“不”

第三层是governor,位于快层与慢大脑之间,拥有最终否决权。它在模型看到菜单之前就过滤选项,并在每一步执行前再次检查——因为计划要坐上去的那扇窗户可能已经移动了。

让1B模型“听话”的五条经验

作者在调教小模型的过程中总结了若干实操教训,对构建任何LLM Agent都有借鉴意义。

绝不让模型凭空发明动作

模型拿到的是规则已经过滤过的菜单,只能从中挑选。每次调用都会重新构建JSON schema,动作和目标只能是当前合法的值。这一设计也顺带让提示词注入变得无害——模型无法输出菜单之外的东西。

JSON Schema 在这里指用结构化 JSON 描述“模型允许输出什么”的约束规范,通常配合大模型的 structured output / function calling 能力使用。每次调用时动态重建 schema,意味着合法动作集合会随当前环境(可交互物体、可达位置、治理层过滤结果)实时变化,模型只能在 schema 枚举的范围内选择动作名和目标。相比事后解析自由文本再校验,这种“先约束输出空间”的做法从源头上消除了模型编造不存在动作或目标的可能,也让提示词注入即便成功也无法产生越权行为。

别把大决策交给小模型

最初由模型选择“bout”(休息、探索、玩耍、社交、恶作剧)。但在作者的评估中,模型只有36%的时候跟随身体的选择,而且在最疯狂的等级下、窗台上明明放着花瓶,它也从未选择过恶作剧。改为由身体选择bout、模型只负责规划其中的1到3步后,配合更好的情境摘要,评估中的不同动作数从13个提升到了22个。

检查两次

governor在模型看到菜单前过滤一次,在每一步开始前再检查一次。这种双重校验弥补了规划与执行之间的时间差。

用动物视角描述屏幕

屏幕信息以文字形式、从动物的视角描述,例如“指针在我左前方一点,正在移动”。只使用应用名称,绝不涉及窗口标题,也不读取屏幕内容。一次完整请求约1000到1300个token。

提示词注入(Prompt Injection) 指攻击者通过在模型可读取的输入(如网页内容、文件名、聊天消息)中埋入指令,诱导模型偏离原定任务、执行未授权操作。传统 Agent 若把模型输出直接映射为动作,注入攻击可能造成实际危害。Felinquent 的防御并非依赖内容检测,而是架构性的:模型只能从治理层预先过滤的合法动作菜单中选择,且目标值也受 schema 约束,因此即便注入文本改变了模型的“想法”,它也无法输出菜单之外的动作,注入因此退化为无害的噪声。

接受小模型写不出好台词

模型还会生成一个小想法气泡,但gemma3:1b只有大约十分之一的句子能通过过滤器(必须与它正在想的事情相关,不能跑题到阳光或气味),其余由预写台词替代。调用频率限制为每15秒一次、每小时60次,一个清醒小时大约用掉20到40次。

降级设计与工程细节

关闭Ollama时,一个纯规则大脑会从同一份菜单中规划,所有动作依然会发生——模型是增强项,而非依赖项。这种降级设计让项目在无模型环境下依然完整可用。

项目目前处于早期爱好级阶段:支持macOS 13+,Windows版本仅在虚拟机上测试过;尚未使用Apple Developer ID签名,macOS首次运行会弹出警告。安装计数每天匿名统计一次,可一键关闭。美术资源为AI辅助生成,代码在GitHub上以源码可见、个人免费使用的方式发布。

对小模型Agent的启示

Felinquent的价值不在于“有用”,而在于它展示了一种务实的分工哲学:小模型不需要无所不能,只需要在受限的选项空间里做出有趣的选择。规则层负责安全与实时性,治理层负责合法性校验,模型负责在合法范围内制造一点意外感。

作者在帖子最后抛出的问题也值得每个做Agent的人思考:在你的Agent里,模型和纯规则之间是如何分工的?对于本地部署、算力有限、又需要长期运行的场景,这种“模型规划+规则兜底+治理否决”的三层结构,或许比让大模型包办一切更可靠。

项目地址:https://github.com/abozaralizadeh/Felinquent

#AI Agent#1B小模型#本地模型#gemma3#Ollama#桌面宠物#Agent架构#提示词注入防护
分享:

相关推荐