[控场AI]
· 7 分钟阅读· 3,588 字

前华为小艺大模型负责人创业,押注主动式物理AI

前华为小艺大模型负责人创业,押注主动式物理AI

前华为小艺大模型负责人唐都钰创办观行数智,提出主动式物理AI,让机器自主判断需求与介入时机。

文章讲述了前华为AI首席专家、小艺多模态大模型研发负责人唐都钰的创业动向。他创办观行数智,提出「主动式物理AI」概念,主张补足现有物理AI行动链路中缺失的前半段——从持续事件流中判断该不该做、何时做、做什么,而非仅被动执行人类指令。团队设计了ProAgent双模型协同架构,由轻量哨兵StreamingJev负责前置判断,Response Model负责规划回应与设备调用,并建立ProactiveXBench评测体系,从Timing、Progress、Outcome三维度评估介入轨迹。文章同时梳理了唐都钰从哈工大、微软亚研到华为的履历,以及主动式AI面临的数据难题与路线未收敛的赛道格局。

前华为小艺大模型负责人创业,押注主动式物理AI

物理AI的叙事正在发生一次关键转向。过去几年,无论是VLA还是世界模型,核心命题都是「如何让机器更好地执行人类指令」——机器人走得更稳、抓得更准、规划得更久,但一切行动仍以人类发出明确命令为起点。

前华为AI首席专家、小艺多模态大模型研发负责人唐都钰,决定押注另一个方向:让AI主动发现需求,而非被动等待指令。他创办观行数智,提出「主动式物理AI」概念,试图补齐行动链路中缺失的前半段——判断该不该做、何时做、做什么。

主动式物理AI:把行动链路的起点向前推一步

在唐都钰的框架里,现有物理AI面对的是「任务链」:人类给出「把苹果放进篮子」这类指令,机器人识别环境、规划路径、执行动作。整个系统解决的是How(如何完成),而非What(需要做什么)和When(何时行动)。

主动式物理AI面对的是持续展开的「事件流」。系统需要不断接收现实环境信息,理解正在发生的事件,判断某种变化是否已经构成「需要」。这种流式判断(StreamingJev)完成后,才决定是否介入、以什么方式介入、调用何种设备以及何时介入。

这不是一个全新设想。1998年微软研究院的LookOut原型就尝试过:读到邮件中约见面,会判断你是否需要查日历。2000年,微软进一步让摄像头追踪人的位置,实现界面随人移动切换。但这些探索都停留在软件交互层面,而唐都钰要面对的是物理世界中更复杂的边界问题。

提醒早一步就变成打扰,出手晚一步帮助又失去意义。同一个人突然倒坐在地,可能只是休息,也可能是昏厥;孩子伸手靠近水杯,可能只是观察,也可能即将碰倒。唐都钰强调,「主动做事」的能力不会随智能增长而自然涌现,它涉及风险判断、职责边界和行动时机,需要单独攻克。

VLA(Vision-Language-Action) 是当前机器人学习的主流范式之一,核心思路是把视觉感知、语言指令和动作输出端到端地串联起来,让模型直接从「看到什么、听到什么」映射到「做什么动作」。代表性工作如RT-2、OpenVLA等,通常以大规模视觉-语言预训练模型为底座,再在机器人轨迹数据上微调。VLA的强项是泛化性与指令跟随,但其隐含前提是「指令已经给定」,模型解决的是如何执行的How问题,而非是否该执行的What与When问题,这也是观行数智试图补足的环节。

世界模型(World Model) 则是另一条路线,主张让AI学习环境的动态演化规律,在内部模拟「如果我这样做,接下来会发生什么」。从早期的Ha和Schmidhuber,到近年的Dreamer、Genie等,世界模型强调预测与规划能力。它同样偏重「给定目标后的推演」,与主动式物理AI所强调的「先判断是否形成需求」形成对照,两者在能力层面互补而非替代。

从哈工大到微软亚研,一条通向物理AI的路径

唐都钰的履历为这次创业提供了不寻常的底气。

2015年,他在哈尔滨工业大学攻读博士,师从SCIR研究中心主任秦兵教授,研究机器如何理解人类情感,同年入选IBM全球博士英才计划。哈工大SCIR是国内NLP领域的重要力量,培养了一批活跃于学术界和工业界的AI人才。

2016年博士毕业后,他进入微软亚洲研究院,将研究拓展至代码智能,主导了CodeBERT、CodeGPT等相关研究。期间他带领的年轻研究者中,包括后来成为DeepSeek广告-V3、DeepSeek-R1核心贡献者之一的郭达雅。目前唐都钰论文累计引用超过3万次,入选全球前2%顶尖科学家榜单终身科学影响力名单。

在华为期间,他从0到1开发小艺多模态大模型并落地数亿台终端,打通了数据工程、推理部署、端云协同与终端适配的整条链路。这段经历让他具备了物理AI所要求的关键能力:把模型能力落到具体硬件,在真实环境与用户反馈中持续迭代。

他判断主动式物理AI的价值将显著放大。当身边出现大量智能终端,如果每台设备都需要逐一唤醒——「Hi小蓝拉开窗帘」「Hi小红播放音乐」——它们本质上仍是需要用户主动判断能力边界的复杂工具。更自然的人机交互,可能不再需要一句以「Hi」开头的唤醒词。

ProAgent架构:哨兵与指挥员的分工

现实世界不是一段剪辑好的视频。在线性时间流里,给出回应是偶尔,保持沉默才是常态。

观行数智设计了双模型协同架构ProAgent。第一部分StreamingJev持续读取环境事件流,进行轻量化判断,给出「是否需要介入」的信号,角色如同哨兵。第二部分Response Model更像指挥员,当StreamingJev识别出需求后,进一步判断事件性质、规划回应方式、决定调用何种设备。

这种分工有现实考量:让一个大模型持续处理所有环境信息,推理成本高且反应速度会大幅变慢。轻量模型完成前置判断,Response Model处理真正需要介入的事件,把计算资源留给关键时刻。

长期目标则是训练一个面向物理世界的原生主动智能模型。数据是核心难题——普通互联网视频只记录发生内容,不会标注AI应该介入的时点。观行数智的解法是建立自动化数据流程,从公开视频中提取场景变化,转化为带有推理过程的决策序列,其中既包含应该提醒或行动的正向样本,也包含应该继续观察的监督信号,让模型学会区分「出现了变化」与「形成了需要」。

团队还建立了评测体系ProactiveXBench,从Timing(反应时机)、Progress(介入时长和任务状态)、Outcome(最终结果)三个维度评估AI从发现需求到完成介入的完整轨迹。这三个维度对应主动式物理AI最容易出错的环节:没赶上趟、撂挑子、白忙活。据团队透露,在介入时效等特定指标上,ProAgent已优于GPT-6等通用模型。

目前该能力首先部署在Reachy Mini机器人上,在60个案例中验证导引、警示与互动。观行数智已与具身公司合作,让系统进入具体设备,补充推理过程、动作空间与执行反馈,形成数据闭环。

双模型协同(级联/路由架构) 在工程上是一种常见的成本-时延折中。核心思想是用一个轻量模型做高频、低成本的持续推理,只在触发条件满足时再调用大模型处理。这与推荐系统里的粗排-精排两阶段、语音助手中的唤醒词检测-ASR级联逻辑同构。放到物理AI的持续事件流场景中,哨兵模型需要以接近实时的频率扫描环境,任何一次全量大模型推理都会造成算力浪费与响应延迟,因此分层几乎成为必选项。

ProactiveXBench 这类评测体系的意义在于,主动式AI的失败模式与传统任务型AI截然不同。任务链AI的错误集中在「做错」,而主动式AI更常见的是「时机不对」——过早介入是打扰,过晚介入是失效,干脆不介入则是缺位。Timing、Progress、Outcome三维度恰好对应这三类失败,使评测能够刻画一条完整的介入轨迹,而非只看单步动作是否正确。目前业界尚缺乏公认的主动式AI基准,这也是团队自建评测的原因之一。

未收敛的赛道与提前下注的逻辑

物理AI世界群雄并起,从VLA到世界模型再到WAM各有拥趸,技术路线远未像LLM那样收敛。路线转换成本极高,但创业者必须提前下注。

唐都钰的判断是,这场下注并不难——AI从数据世界走向物理世界是趋势,从被动走向主动也是大趋势。顺应趋势,所谓的豪赌不过是顺势而为。

团队建设沿着产学协同展开,与哈工大实验室保持深度合作。唐都钰最近多了一个新身份:中关村学院的「AI模型杰出技术专家」。这所2024年成立的国家级高等教育科研机构,鼓励科研人员将技术带出实验室尝试创业,恰好契合他当下的状态。

主动式物理AI没有成熟的数据体系,也缺少统一的模型架构和评测标准,需要从需求定义开始重新建立训练数据、决策模型与硬件之间的关系。这或许正是唐都钰所说的「先把我认为最难、最有意义的事情做好」。

从家庭到汽车,千万种形态的主动式AI终端都在这个愿景的延长线上。命令的语言不再流行,因为机器已经学会了理解,以及理解之后的适时行动。

WAM(World Action Model,世界-动作模型) 是近年在具身智能讨论中出现的术语,强调在预测世界演化的同时直接输出动作,可视为世界模型与VLA思路的融合尝试。它与VLA、世界模型并列为当前物理AI的几条主要技术路线,各自对「感知-决策-执行」链路的切分方式不同。之所以说路线尚未收敛,是因为不同方案在数据需求、推理成本、泛化边界上各有权衡,尚无一种范式像Transformer之于LLM那样形成压倒性共识。创业者在此阶段下注,实质是在押注某条路线会率先跑通真实场景。

#主动式物理AI#唐都钰#观行数智#物理AI#ProAgent#具身智能#小艺大模型
分享:

相关推荐