[控场AI]
· 5 分钟阅读· 2,581 字

AI数字分身实战:用DOT自动追踪Bug与用户反馈

AI数字分身实战:用DOT自动追踪Bug与用户反馈

DOTS 工程师演示用 AI 数字分身跨平台收集反馈、分诊 Bug 并提 PR 的完整工作流。

文章介绍了 DOTS 团队工程师 Rennie Song 如何用名为 Benny 的 AI 数字分身接管反馈收集与 Bug 排查。Benny 拥有独立桌面环境,可通过页面 @ 提及或语音通话两种通道接受任务,跨 Reddit、Twitter 等平台抓取反馈并结构化更新追踪表,一次上午新增 15 条条目至 210 条。在主题分析中,它把问题归为静默卡死、连接问题和连续性故障三类,并按用户信任成本而非缺陷数量将静默卡死列为最紧急。它还并行开线程调查根因、挑选低风险高收益的问候模型失败问题出 PR,并完整记录调查时间线供人工复核,且会拒绝编造缺失的统计数据。

当工程师开始把「收集反馈」和「排查 Bug」这两件事交给自己的 AI 数字分身时,工作流会变成什么样?YouTube 频道上,DOTS 团队工程师 Rennie Song 演示了一套相当完整的打法:他给自己的 DOT(一个可独立操作电脑的 AI 代理)起名 Benny,让它跨平台搜集反馈、做主题归类、开线程调查根因,甚至直接提 PR。整个过程没有脚本编排,全靠对话和页面里的 @ 提及来驱动。

在页面中评论并@数字分身指派任务

数字分身如何接管反馈收集

Rennie 的 DOT 自带一个专属空间,里面建了一个反馈页面。这个页面最大的价值是分屏视图:左侧是结构化数据,右侧是数字分身的工作现场,用户能自由定制自己想要的呈现方式。Rennie 的要求很具体——所有反馈都要分类、上色、以表格形式呈现。

他的操作方式极其简单,直接在页面里输入一句「用 Reddit 和 Twitter 上的最新反馈更新外部反馈追踪表」,剩下的交给 Benny。话说回来,分屏里可以看到 Benny 正在自己的「电脑」上操作浏览器,搜索当天包含 DOT 和 OpenAI 的推文。

这种设计把 AI 代理从「聊天窗口里的回答机器」变成了「有自己桌面的同事」。你能看到它在点哪里、搜什么,这种可观察性对建立信任很关键。

DOT(Digital Operator Twin) 是 DOTS 团队对“可独立操作电脑的 AI 代理”的称呼,本质是一个运行在隔离桌面环境中的智能体:它拥有自己的浏览器、文件系统和操作权限,可以像真人一样点击、输入、滚动页面,而不是仅仅在聊天窗口里生成文本。与常见的 RPA(机器人流程自动化)不同,DOT 不依赖预先写死的脚本,而是通过自然语言指令和页面中的 @ 提及来驱动,由大模型实时规划下一步动作。这种架构让代理能应对网页结构变化和临时性任务,但也意味着它的行为需要被持续观察和审计——这也是演示中强调“分屏可观察性”的原因。

语音指挥:让 AI 自己总结问题主题

除了页面指派,Rennie 还演示了通过语音通话直接向 Benny 布置分析任务——梳理过去两天的外部反馈,找出主要主题和问题最集中的类别。

通过语音让数字分身总结反馈主题

Benny 给出的结论分三个大桶:静默卡死(silent stalls)、连接问题、连续性故障。具体表现为:DOT 声称在工作但永远不完成、笔记本连接掉线、语音/聊天/代码切换时联系人丢失。

这里有个细节值得注意:Benny 明确表示连接与集成是最大的类别,但它坦承没有过去两天的干净统计,因此拒绝编造精确排名。这种「不知道就说不知道」的行为,在 AI 代理普遍爱编数字的当下反而显得难得。

优先级判断:用户信任比修复数量更重要

Rennie 追问哪个问题最紧急,Benny 的答案不是按数量排序,而是按信任成本:静默卡死排第一,理由是「如果它突然安静下来,人们就不会信任它」。

静默卡死被判定为最紧急的问题

这个判断标准来自对用户心理的理解,而非单纯的缺陷计数。随后 Rennie 布置了两条并行任务:一条开云端线程深挖静默卡死的根因,能找到几个具体成因就算成功;另一条挑一个当下最容易修的问题直接出 PR。

Benny 选中的「最容易修复项」是问候模型失败:当新 DOT 请求一个用户无权访问的模型时,创建流程会被直接阻断,而合理做法是回退到用户可用的模型。这属于典型的低风险高收益修补。

静默卡死(silent stalls) 指代理或服务在运行中不再产生任何可见输出、也不报错,却始终不返回最终结果的状态。它比显式报错更难诊断:日志里没有异常栈,用户只看到“正在处理”的转圈,既不知道是否该等待,也不知道是否该重试。对 AI 代理类产品而言,这种失败模式直接侵蚀信任——用户会逐渐怀疑代理是否真的在工作,进而放弃使用。因此 Rennie 的团队把它排在连接问题之前,判断依据不是出现次数,而是每次发生对用户信心的破坏程度。

调查过程透明化与闭环交付

整个演示里最有信息量的部分,是 Benny 把调查过程完整摊开在页面上:它逐步记录推理和验证步骤,最后报告只确认了一个后端问候失败——恰好就是电话里讨论过的同一个问题,并且发现团队已经在推进修复 PR。

数字分身汇报调查进展与反馈更新结果

反馈追踪表这边,Benny 新增了 15 条条目,总数达到 210 条。静默卡死调查找到一个确定的失败模式,并附上了调查时间线供人工复核。

Rennie 的总结是,一个上午的工作被大量卸载给了数字分身,任务入口只有两个:在页面里 @ 它,或者打电话跟它说。这种「双通道指派 + 过程可审计」的组合,是这套工作流能真正落地的原因。

问候模型(greeting model) 指新用户首次创建 DOT 时,系统自动调用的一次轻量模型请求,用于生成欢迎语或完成初始化问候流程。演示中发现的缺陷是:该请求默认使用某个特定模型,若当前用户无权访问该模型,整个创建流程会被直接阻断,而不是回退到用户权限范围内的可用模型。这是一种典型的“权限边界未做降级处理”问题,修复成本低、影响面明确,因此被 Benny 选为最容易出 PR 的切入项。

对 AI 代理工作流的启示

这段演示透露出几个可复用的经验。其一是把代理放进有明确产物的容器里——表格、追踪器、PR,而不是让它只输出一段文字。其二是保留人工复核节点,Benny 附上时间线而不是直接下结论。其三是允许代理承认数据不完整,这比给出漂亮但虚构的统计更有工程价值。

需要提醒的是,这是团队成员对自己产品的演示,效果呈现带有一定理想化色彩,跨平台抓取的实际覆盖率和误判率在视频中并未量化。但作为一套「AI 代理参与缺陷分诊」的工作流样例,它已经给出了足够具体的参考。

#AI数字分身#AI代理工作流#Bug追踪#用户反馈分析#DOTS#AI编程助手#缺陷分诊
分享:

相关推荐