DeepSeek Harness接入浏览器与手机自动化实战

DeepSeek Harness接入EcoLite与ADB,打通浏览器和手机自动化并封装为设备工作台。
文章介绍了B站UP主的一套方案:通过安装EcoLite浏览器及其Skill,让DeepSeek Harness获得真实浏览器操作能力,可完成B站视频数据采集、评论抓取并自动生成HTML分析报告;借助安卓ADB无线调试连接多台手机,执行抖音直播间调研与视频信息采集。在此基础上,UP主用提示词让Agent将两种能力整合封装为“设备工作台”插件,支持设备列表、实时画面监控、人工接管以及过程/结果报告。文章还介绍了语音输入工具摩斯摩斯在Web Coding中的提效作用。UP主称该组合将能力边界扩大5到6倍,但作者注明这属于个人体验判断,并非基准测试。
在AI Agent的竞赛中,能力边界往往决定了它能替代多少人类重复劳动。B站UP主分享了一套让DeepSeek Harness接管浏览器与手机自动化操作的方案,并通过自研的"设备工作台"插件实现统一监控与人工接管。按照他的说法,这套组合能让Harness的能力边界扩大5到6倍。
为什么需要浏览器与手机自动化
Agent本身能读写文件、调用API,但大量真实世界的信息藏在浏览器渲染的页面和手机App里。比如某些网站的评论内容只能通过浏览器拿到,而对标直播间的在线人数、弹幕留言,只能在手机App里看到。
通过调用真实浏览器或真实手机去执行任务,Agent就能像人一样完成信息采集,并自动生成调研报告。更关键的是,操作类任务同样可行——人工作的大部分事情本就通过电脑浏览器或手机完成,这条路径打通后,可解锁的应用场景留给使用者自行想象。
据UP主演示,设备工作台插件可以实时查看本机浏览器以及已链接的不同手机的执行画面,遇到需要人工辅助的环节可直接接管交互,任务结束后能查看过程报告与结果报告。

浏览器能力:EcoLite + Skill 两步接入
UP主选用的浏览器自动化工具是EcoLite,理由是它是目前Agent浏览器方案中做得比较成熟的一个。安装分两步:先获取安装包完成安装,打开命令行确认能返回安装路径,说明浏览器本体与还原配置均已就绪;随后在DeepSeek广告 Harness中安装EcoLite的Skill,执行一段安装代码即可。
Skill装完后,Harness就具备了操作浏览器的能力。演示中他用语音输入指令让Agent打开B站搜索EcoLite相关视频数据,并生成HTML报告。报告包含核心结论、关键数据统计、完整执行过程(准备、打开网站、首次检索、扩大采样等)以及播放量、视频时长等分布图表,还附带了现场截图——这证明数据是通过真实浏览器操作获得的。

进阶测试是抓取播放量最高两条视频下的全部评论并导出Excel,Agent还自动总结了评论区在聊什么。随后他要求把评论内容做成网页分析报告,报告分12节,涵盖"谁在夸、谁在质疑、谁在灌水"、关键结论、讨论节奏、竞品雷达、待解决问题清单等维度。UP主特别提到,待解决问题清单对选题和叙事很有参考价值。
Skill(技能) 是 DeepSeek Harness 这类 Agent 框架中的一种能力扩展机制,本质上是一段可被 Agent 理解并调用的结构化指令集或工具定义。安装某个 Skill 后,Agent 就知道了“有这么一套工具可用、每个工具的入参出参是什么、在什么场景下该调用哪个”,从而把原本不具备的操作能力(如打开浏览器、点击元素、提取页面数据)纳入自己的任务规划中。与直接编写代码调用 API 相比,Skill 的优势在于让 Agent 自主判断何时使用、如何组合,而不需要用户每次手动指定调用方式。EcoLite 的 Skill 安装完成后,Harness 便能自主完成“打开网页—检索—抓取—生成报告”这一整条链路。
手机能力:基于ADB的无线调试
安卓的ADB调试工具为手机自动化提供了现成通道。理论上只要通过ADB就能操作手机,UP主在提示词中额外要求支持无线ADB——前提是手机开启开发者选项并完成无线调试授权。
演示中他连接了两台手机,让Agent用手机打开抖音检索直播间情况并生成网页报告。报告呈现了三个直播间的在线观众波动等数据。另一项测试是搜索DeepSeek Harness相关视频信息,拿回点赞、收藏、分享数据以及手机实拍截图,执行过程记录完整可查。

ADB(Android Debug Bridge) 是 Android 官方提供的调试桥工具,原本用于开发者连接设备进行应用安装、日志查看和 shell 命令执行。它通过客户端—守护进程架构工作:电脑端的 adb 程序与手机端的 adbd 守护进程通信,从而发送点击、滑动、输入文本、截图、读取界面层级等指令。传统 ADB 需要 USB 连线,而无线调试(Android 11 及以上支持)允许在同一局域网内通过配对码建立连接,摆脱线缆束缚。对 Agent 而言,ADB 相当于一双可以操作任意 Android App 的“手”,不需要目标 App 提供 API,也不受界面改版影响,因此通用性很强——这也是 UP 主选择它作为手机自动化通道的根本原因。
设备工作台:把能力封装成插件
两种能力验证完成后,UP主用一句提示词让Harness把浏览器与手机能力整合成一个"设备工作台"页面,并封装为Harness插件。完成后左侧菜单会多出"设备工作台"入口,可在插件管理中开关。
工作台界面列出已连接的设备——演示中是一台浏览器加两台手机。任务执行时可实时看到画面变化,随时接管直接操作手机或浏览器。每个任务结束后生成过程报告与结果报告。演示中重新执行一次MUSE相关采集任务,能看到Agent自行打开App、输入搜索词、逐条截图的完整过程,最终报告显示耗时194秒,附带前五条结果与实拍截图。

手机配对通过点击添加手机完成,开启开发者选项并使用无线调试后即可检索到设备。也可以一步到位:直接向Harness提出接入浏览器与手机控制能力、并生成工作台页面的需求,过程中若被问及浏览器方案选择,指定EcoLite即可。
插件(Plugin) 在 Agent 框架中通常指一组可独立安装、卸载的能力包,它可以包含工具函数、界面入口和配置项。与 Skill 偏重“告诉 Agent 怎么用工具”不同,插件更偏向工程封装:把浏览器控制、手机控制、画面推流、报告生成等多个模块打包成一个可复用的整体,并在宿主界面中注册菜单与面板。UP 主让 Harness 用一句提示词生成“设备工作台”并封装为插件,实际上完成了一次元编程——Agent 编写了扩展自身能力的代码。这种“Agent 造工具给自己用”的模式,是当前 Agent 工程中降低人工集成成本的重要方向。
语音输入为何成为标配
整个实验大部分时间UP主都用语音输入完成Web Coding。他认为说的方式速度更快,也更容易带出编码灵感。他使用的是专注语音输入的免费工具摩斯摩斯,其特点是保存所有语音记录便于翻阅长对话中的历史提示词,AI润色功能可去掉口头语和语气词、整理成通顺完整的表达。
还有一个实用场景:项目执行中产生优化想法但不确定何时执行时,按Alt+1即可打开语音备忘录记录并自动保存,比开记事本更顺手。UP主将这套体验类比为"给员工发了一台电脑和一部手机,直接说话告诉他干什么"——设备工作台做好后,用语音安排Agent操作浏览器和手机,就是这种管理感。
Web Coding 指通过自然语言对话驱动 Agent 完成编程与网页构建任务的工作方式,用户不再逐行写代码,而是描述需求、审阅结果、提出修改。在这种模式下,输入带宽往往成为瓶颈:键盘打字速度有限,而长段需求描述容易打断思路。语音输入的优势在于说话速度通常可达打字的两到三倍,且更接近人自然表达需求的方式,能保留更多上下文意图。配合 AI 润色去除口头语后,语音转写的提示词质量已接近书面表达。对于需要频繁迭代、长对话上下文的 Coding 场景,语音记录还可作为可回溯的提示词历史,降低重复描述的成本。
实测结论与能力边界
浏览器侧的两轮测试(视频数据采集、评论抓取与报告生成)均正常完成,操作截图证明走的是真实浏览器路径;手机侧成功连接两台设备并完成抖音直播间调研与视频信息采集。UP主总结,这套方案让Harness可以承担只有人能做的重复性工作,而不再局限于Agent自身原有的能力范围。
需要说明的是,素材中5到6倍的能力扩展是UP主基于自身使用体验的定性判断,并非严格基准测试结果;执行时长、设备数量等数据均来自单次演示环境,实际表现会因网络、机型与任务复杂度而异。
相关推荐

Mistral Large 4开源万亿参数,微软6万员工自愿离职
Mistral Large 4 开源万亿参数多模态模型,编码智能体评测得分 48;闪迪财报显示 AI 推理重塑 NAND 需求;谷歌 Gemini 上线应用内文件编辑,OpenAI 上调 Codex 额度,微软向 6 万员工提供自愿离职方案。

Mistral Large 4开放权重,AI早报盘点模型与生态新动向
Mistral Large 4开放权重,1万亿参数MoE架构支持MacStudio本地运行;Meta测试生成技术进入生产环境;税务基准测试头名通过率仅10.8%;加拿大政府入股Cohere;豆包工作开放第三方模型调用。本期AI早报盘点模型、生态、资本与政策动向。

Mistral Large 4开源:1T参数欧洲版千问挑战DeepSeek
Mistral Large 4正式开源,1T总参数、52B激活参数,主打编程与网络安全,NVFP4量化版本权重约610G。本文解析其与DeepSeek V4 Flash的对比、API定价、Demo真实性与本地部署价值。