[控场AI]
· 8 分钟阅读· 4,111 字

DeepSeek Harness vs Pi:免费编程智能体六轮实测对比

DeepSeek Harness vs Pi:免费编程智能体六轮实测对比

Pi与DeepSeek Harness六轮实测:Pi以3:2胜出,两者性能近似但设计哲学截然相反。

本文对编程智能体框架Pi(1.0版)与DeepSeek Harness(DSH)进行了迄今最大规模的同模型对比测试,从安装体验、性能、成本、模型支持、开箱功能和控制权/隐私六个维度逐轮拆解。核心发现是:两者底层性能几乎持平(同模型下Pi通过66项任务、DSH通过65项),但设计理念南辕北辙——Pi走极简路线,系统提示词小、成本低、模型支持广、开源社区活跃;DSH走「一切皆插件」路线,开箱功能丰富、自带桌面应用与沙箱,但不接受外部PR且隐私设置默认上传会话日志。最终Pi以3:2胜出,但选择应视个人工作流而定。

当你想要一个不来自 Anthropic 或 OpenAI 的编程智能体时,Pi 和 DeepSeek Harness(简称 DSH)几乎是仅有的两个成熟选择。巧的是,就在差不多一天之内,Pi 发布了 1.0 版本,DSH 也推出了桌面应用。两者都采用 MIT 许可、完全免费,你只需为模型本身付费。这篇文章基于一次迄今规模最大的同模型实测,用六个维度逐轮拆解它们的真实差异。

框架之争:极简主义 vs 一切皆插件

理解这两个工具的前提,是理解什么是「框架」。框架是模型周围的一切——让它持续运转的循环、它能调用的工具、系统提示词,以及它如何处理上下文窗口。框架的影响有多大?在一个编辑基准测试里,同一个 GPT 模型的得分从 99% 一路跌到 70%,唯一变量就是框架。

Pi 和 DSH 恰好押在相反的方向上。Pi 是 Mario Zegner 打造的极简智能体,现由一家名为 Arandio 的公司运营。它只给你 4 个工具——读取、bash、编辑、写入,系统提示词只有几百字,其他一切都要靠扩展添加。它的忠实用户称它为「编程智能体里的 Vim」。

DeepSeek广告 Harness 则走向另一个极端,理念是「一切皆插件」,连智能体循环本身都是插件。它的默认设置在首次请求时就会调用 26 个工具。一个极简到骨子里,一个开箱即重装,这决定了它们在后续每一轮的表现分野。

这个视频也解决不了这个问题

MCP(Model Context Protocol)是 Anthropic 于 2024 年底提出的开放协议,旨在标准化 AI 模型与外部工具、数据源之间的通信方式。可以把它理解为「AI 工具调用的 USB 接口」——只要工具实现了 MCP 服务端,任何支持 MCP 客户端的框架都能调用它,无需为每个模型单独适配。Pi 和 DSH 都支持 MCP,但 Pi 1.0 进一步引入了「代码模式」,允许模型以编写 JavaScript 代码的方式批量调用工具,而非逐步调用单个 MCP 工具,这在处理需要循环或聚合的任务时效率显著更高——文中汽车安全任务的成本对比即源于此。

第一轮·安装体验:DSH 的桌面应用更友好

DSH 为 Mac 和 Windows 提供了桌面应用,打包了所有需要的东西。安装好、用 DeepSeek 账号登录即可开始,它本质上是 DSH 已有网页界面的一层封装,所以仍然没有终端界面。Linux 用户只能用 NPM 版本。

Pi 则住在你的终端里:用 NPM 或安装程序装好,配一个 API 密钥或指向本地模型,就能开始打字。如果你本来就泡在终端里,这就是你的家;如果不习惯命令行,DSH 的桌面应用显然友好得多。第一轮 DSH 胜。

第二轮·同模型性能:几乎打平

这是所有人都在追问的一轮——同一个模型下,谁更强?答案是基本平局。

在对 DeepSeek V-Flash 的终端测试中,Pi 通过了 89 个任务中的 66 个,DSH 通过 65 个——而且 DSH 是在测试人员修复了三个设置问题(包括工具调用上 5 分钟的超时)之后才达到这个成绩。在 30 个真实工具使用任务上,Pi 通过 21 个,DSH 通过 20 个,两者在 30 个结果中有 27 个一致。

在 Kimi 模型上,DSH 的插件构建者模式比 Pi 多赢一个任务,默认模式则打平。速度上 DSH 更快。需要留意的是,这些测试几乎都跑在 Pi 1.0 之前的版本上,尚无人重跑。另外值得泼一盆冷水:OpenAI 的 Codex 在两张大表格里的通过率都高过它们俩。第二轮平局。

PI通过66个任务,DSH通过65个

第三轮·成本:Pi 的极简提示词更省钱

成本差异直接来自两者的提示词策略。Pi 把提示词压到极小,DSH 则发送一个大提示词——在一次测量中约为 Pi 的 10 倍,并依靠缓存来降低成本。

这招在 DeepSeek 自家 API 上行得通,因为那里缓存 Token 的成本只有新 Token 的 1/50;但在 Claude Sonnet 上,缓存 Token 成本是新 Token 的 1/10,大提示词的负担就重得多。实测中 Pi 每个通过任务约花 2 美分出头,DSH 略高。在 Kimi 上 Pi 中位成本 2.43 美元、DSH 3.46 美元。

如果你坚持用 DSH,一个实用建议是把推理强度调低——有研究显示这能让成本降低约四分之三,而每项任务仍然通过。第三轮 Pi 胜。

「提示词缓存」(Prompt Caching)是主流 API 提供商为降低重复内容成本而推出的机制:当请求的前缀部分与近期请求相同时,提供商只对未缓存的新增 Token 收取全价,已缓存部分按折扣价计算。DeepSeek API 的缓存折扣力度极大(约为新 Token 的 1/50),这使得 DSH 「发送大系统提示词 + 依赖缓存」的策略在 DeepSeek 自家平台上代价极低;但当用户切换到 Claude 等折扣较小(约 1/10)的服务商时,大提示词策略的成本优势就会快速消失。这也解释了为何文中特别区分了不同 API 平台上两者的成本表现。

第四轮·模型支持:Pi 更开放

Pi 能与大约 30 家供应商对话,并内置了通过 llama.cpp 连接本地模型的路由器。Pi 1.0 还新增了「虚拟模型」:你在菜单上选一个模型,再由扩展根据每个请求决定实际用哪个真实模型回答。Arandio 的发布演示里,Pi 甚至给自己写了一个「用 Claude Opus 规划、用 GPT 写代码」的扩展。

DSH 默认使用 DeepSeek 自家的 Flash 模型。你可以添加 Anthropic、OpenAI、Kimi 或任何兼容端点——但耐人寻味的是,这整个第三方层其实运行在 Pi 的模型库之上(一个叫 DSLLM 的包),只有 DeepSeek 自家模型拥有原生适配器。模型实验室的框架默认偏爱自家模型,并不意外。本地模型方面 Pi 支持 llama.cpp、Ollama 和 vLLM,设置选项也更多。第四轮 Pi 胜。

虚拟模型由扩展决定每个请求用哪个真实模型

第五轮·开箱即用:DSH 功能更丰富

这一轮比的是「在你安装任何额外东西之前,能得到什么」。DSH 完胜。它的默认设置自带计划模式、待办清单、网页搜索、工作流和子代理——子代理甚至可以把活儿转交给 Codex 或 Claude Code。在创建模式下,你直接在聊天里请求一个新插件,代理就会写好并安装到当前会话中。DSH 每次会话还在沙箱里启动,限制写入权限并在行动前询问。

Pi 则故意只给你四个工具且不设沙箱,它直接建议你把它跑在容器里;计划模式和子代理都要从社区包获取。Pi 1.0 的重大新增是 MCP 的「代码模式」:模型写一小段 JavaScript 在沙箱内调用工具,只返回结果。有创作者用两种方式跑同一个汽车安全任务——传统 MCP 花 26 美分只给 4 辆车排了名,代码模式花 9 美分给全部 10 辆排了名。这解释了 Pi 为何放弃过去那句「不用 MCP」的招牌。但整体开箱体验,第五轮仍是 DSH 胜。

代码模式9美分给全部10辆车排名,MCP花26美分只排4辆

第六轮·控制权与隐私:Pi 更开放

对一个自称「开放」的工具,控制权至关重要。两者虽都是 MIT 许可,但只有 Pi 真正接受外部代码:它有 290 位贡献者,过去一个月合并了 68 个 PR。DSH 的 GitHub 星标是 Pi 的两倍多,却只有 42 位贡献者,且完全不接受外部 PR——它仍是开发者预览版,README 用大写警告会有破坏兼容性的变更,7 周内发布了 25 个版本,有用户说每 3-4 天就得重新检查自己的插件。

隐私是另一个关键差异。DSH 默认会把你的会话日志随每个请求发送到 DeepSeek 自家 API(可在设置关闭),桌面应用还会上报使用分析(文档称无面向用户的控制选项)。Pi 只发送匿名安装和更新信号,分析默认关闭。更重要的是,无论用哪个框架,只要你走 DeepSeek 的 API,其隐私政策明确你的数据存储在中国并可能用于训练。第六轮 Pi 胜。

MIT 许可证是软件领域最宽松的开源许可之一,允许任何人自由使用、修改和分发代码,包括用于商业用途,唯一要求是保留原始版权声明。两款工具均采用 MIT 许可在法律层面意味着源代码公开、用户可自行审计。然而文中揭示了「开源」与「接受社区贡献」之间的实质差距:DSH 代码可见但不接受外部 PR,实际上是「可读不可写」的单向开放;Pi 则有活跃的贡献者生态。对企业用户而言,更需关注的是运行时隐私——框架本身开源,并不意味着其默认连接的 API 服务同样在用户控制之下。

结论:这周你该装哪一个?

最终比分 Pi 3 比 DSH 2,外加一场平局。选择取决于你的工作习惯:

  • 选 DSH,如果你想要开箱即用的桌面应用,且你在 DeepSeek API 上跑 DeepSeek 模型。记得把推理调低,会话日志让你不安就关掉它。
  • 选 Pi,如果你常驻终端、需要频繁切换模型或本地运行模型。但在把代码仓库交给它之前,先给它一个容器。

这些工具每隔几天就有新动静,下个月的赢家很可能是第三个。最务实的做法,是把你的智能体指令、技能以纯文件形式保存在仓库里——这样切换框架只需要一个下午。

#DeepSeek Harness#Pi编程智能体#免费AI编程工具#开源编程智能体#编程Agent对比#MCP代码模式#AI编程框架
分享:

相关推荐