开源AI桌面机器人:笔记本+安卓+Pico打造

开源桌面机器人PAL9000用笔记本、安卓手机和Pico W拼出能看能听会追人的桌面伙伴。
PAL9000 是一个开源桌面机器人项目,作者用 MacBook 负责视觉与对话流水线(MediaPipe + AprilTag 定位、silero-VAD/whisper-cpp/llama-cpp 本地推理),Raspberry Pi Pico W 驱动 2 自由度舵机云台,安卓手机充当动画面孔。项目高度模块化,各模块可独立运行,降低了复现门槛。作者公开征集拟人化动画与物理动作方案,并探讨 2DOF 是否足以表达生命感、是否需要增加第三个舵机。工程上,布线整理、外壳设计和是否过早做定制 PCB 是典型困境。项目开源且强调非 AI 生成代码,示范了一条复用现有设备的低成本路径。
一个名为 PAL9000 的开源桌面机器人项目,用笔记本电脑、安卓手机和 Raspberry Pi Pico 拼出了一台能看、能听、能说、会转头追人的“桌面伙伴”。作者在 Reddit 上分享了完整架构,并抛出了几个让机器人更“像活的”的开放问题。
三块硬件各司其职
据 Reddit 原帖描述,这台机器人的核心思路是复用你手边已有的算力设备:
- Raspberry Pi Pico W:直接驱动 2 自由度云台上的两个舵机,接收串口传来的角度值,并运行 EMA 平滑,避免动作生硬。
- MacBook:负责视觉与对话两条重负载流水线。用 MediaPipe 加上贴在人身上的 AprilTag 标记,从摄像头画面里判断人的位置,并在佩戴特定标签的人之间切换注意力;再把 2D 坐标通过标定脚本生成的两个 LOBF(线性拟合)换算成云台角度,经串口下发给 Pico。
- Android 手机:充当机器人的“脸”,屏幕上跑一个动画面孔,瞳孔会跟随人脸移动。
对话部分同样跑在笔记本上:silero-VAD 做语音活动检测,whisper-cpp 转写,llama-cpp 本地推理 gemma4:12b Q4 量化模型。整套链路不依赖云端大模型,隐私和延迟都是自己可控的。

AprilTag 是一种由密歇根大学 APRIL 实验室开发的视觉基准标记系统,外观类似二维码,但专为快速、鲁棒的位姿估计而设计。每个标签有唯一 ID,摄像头识别出标签后,可以计算出标签相对于相机的三维位置和姿态。在本项目中,作者将不同 AprilTag 贴在不同人身上,MacBook 上的 MediaPipe 检测到人脸后,通过识别附近的 AprilTag ID 来区分“这是谁”,从而实现注意力在不同佩戴者之间的切换。相比人脸识别,AprilTag 方案无需训练模型、不受光照和角度影响,计算量极小,非常适合个人机器人项目。
LOBF(线性拟合) 在此处指通过标定脚本得到的两个线性映射函数:一个将画面中的水平像素坐标映射为云台的水平舵机角度,另一个将垂直像素坐标映射为俯仰角度。由于摄像头与云台存在安装偏移和镜头畸变,直接用几何公式换算会有误差,作者通过采集若干组“像素坐标-实际角度”样本,拟合出直线方程,从而在运行时快速将 2D 检测框中心转换为舵机指令。这种方法简单有效,但精度受标定质量和视野范围限制。
模块化是最大的亮点
作者自己调侃“模块化是‘到处都是’的委婉说法”,但这恰恰降低了其他人的复现门槛。你可以只跑浏览器里的脸和眼动追踪,只跑对话服务器(音频输出需要小改),或者只跑机器人控制程序让它转头盯着你。对于想入门机器人又不想一次性啃完整套系统的人来说,这种可拆分的架构比一个 monolithic 的成品更有学习价值。
silero-VAD 是一个轻量级的语音活动检测(Voice Activity Detection)模型,用于判断音频流中哪些片段包含人声。它基于神经网络,但模型极小(约 1MB),可在 CPU 上实时运行,常被用于语音助手的前端,以减少无效的语音转写和推理开销。在本项目中,silero-VAD 持续监听麦克风输入,一旦检测到用户开始说话,就触发 whisper-cpp 进行转写;说完后自动截断,避免将静音或噪声送入后续流程。这种“先检测后转写”的流水线能显著降低延迟和算力占用。
whisper-cpp 是 OpenAI Whisper 语音识别模型的 C++ 移植版,支持在本地 CPU 上运行,无需 GPU 或云端 API。它保留了 Whisper 的多语言识别能力,同时通过量化技术压缩模型体积,使得在普通笔记本电脑上实时转写成为可能。作者选用 whisper-cpp 而非云端语音服务,是为了保证隐私和离线可用性,这与整个项目“数据不出本地”的设计理念一致。
拟人化:项目里最有趣的部分
作者明确表示,他特别感兴趣的是“让机器人拟人化”。他公开征集两类想法:屏幕上的动画,以及舵机层面的物理动作,让机器人显得更有生命感。他也在纠结一个具体问题——2 自由度够不够撑起这种生命感,还是该再加一个舵机?
这个问题的答案取决于你想表达什么。2DOF 的云台能做出注视、点头、歪头这类基本社交线索,但缺少“耸肩”“缩脖子”这类需要额外轴的动作。如果目标只是“它在看我”,2DOF 够用;如果想传达情绪状态,第三轴会显著扩展表达空间。原帖没有给出结论,这本身就是一个值得社区讨论的设计取舍。
2 自由度(2DOF)云台 指仅能绕两个轴旋转的机械结构,通常为水平(偏航)和垂直(俯仰)。它可以让摄像头或屏幕朝向任意方向,但无法实现倾斜(翻滚)动作。在社交机器人中,2DOF 足以完成“注视”“点头”“歪头”等基本非语言线索,因为这些动作主要依赖偏航和俯仰的组合。然而,像“耸肩”“缩脖子”这类涉及身体姿态变化的动作,需要额外的自由度(如翻滚轴或平移轴)才能表达。作者纠结是否增加第三个舵机,本质是在权衡表达力与机械复杂度:第三轴能显著扩展情绪表达空间,但也会增加布线、供电和控制难度。
工程细节上的真实困境
作者坦言布线“有点乱”,希望做一个外壳把东西整理整齐,并向社区请教收纳技巧。他还考虑过做定制 PCB,但觉得以自己目前的机器人经验来说为时过早,反问“还是应该直接跳进深水区?”
这类问题在个人机器人项目里非常典型:功能跑通之后,机械结构和电气整合往往才是真正拖时间的部分。对后来者来说,先做外壳、后做 PCB 是更稳妥的路径,因为外壳定型之后,板子的尺寸和接口位置才有依据。
从学校作业到开源项目
这个项目最初只是一个学校作业,作者承认自己“有点做过头了”。整个项目开源且强调“non-vibecoded”(不是靠 AI 随口生成堆出来的),代码托管在 GitHub(SpaceMonkeyAlfa/PAL9000-Desktop-Robot),开发过程记录在个人博客 spacemonkeyalfa.com。作者欢迎 fork 和任意用途的使用。
对想动手的人来说,这个项目最有价值的不是某一项技术,而是它示范了一条低成本路径:用已有的笔记本跑视觉和 LLM,用手机当显示屏,用微控制器管实时动作。三块设备各做擅长的事,比强行塞进一个算力盒子更现实。
如果你手边正好有一台闲置安卓机和一块 Pico,这个项目值得拆开看看。
相关推荐

Anthropic发布Fable 5.2与Mythos 5.2:基准霸榜与生物机器人突破
Anthropic 正式发布 Claude Fable 5.2 与 Mythos 5.2,基准测试几乎全面领先,并在蛋白质设计、基因治疗和机器人控制上取得突破。本文梳理基准表现、定价变化、早期用户作品与订阅福利。

Anthropic双旗舰Claude Fable 5.2与Mythos 5.2发布,编程与科学能力登顶
Anthropic发布Claude Fable 5.2与Mythos 5.2双旗舰模型,编码、3D交互与生命科学能力全面提升,第三方智能指数登顶,GitHub Copilot与Cursor同步接入,API价格低于竞品。

Claude Code被曝密钥泄露GitHub,AI编程安全警钟
Claude Code 被曝意外将密码和 API 密钥暴露到 GitHub,Ars Technica 报道引发开发者关注。本文梳理事件要点,并结合 Claude Fable 5.2 调用费下降 20%、Meta Muse Ember 等动态,提醒开发者先查提交设置再放权限。