[控场AI]
· 7 分钟阅读· 3,678 字

QwenPaw Creator:统一Data Model如何连接Agent与人工共创视频

QwenPaw Creator:统一Data Model如何连接Agent与人工共创视频

Creator以统一Data Model打通Agent、前端与人工审阅,重构AI视频创作协作流程。

Creator是CreamPort(QwenPaw)社区开发者轩瑞推出的AI视频创作框架,其核心创新在于用一套统一的Data Model将Agent自动创作、多模态理解、人工审阅干预与前端渲染四个环节串联为连贯闭环,解决了传统AI工具链中"人、模型、前端三方数据不一致"的根本痛点。基于这套架构,Creator覆盖了从日常Vlog剪辑、产品教学视频、短视频生成,到多集短剧和电商商业视频五大典型场景,并通过人物视觉保持、分镜构造和阵容图机制攻克了多片段拼接的一致性难题。人机协同方面,Creator提供人工审阅与自我审阅(Self Review)双轨机制,界面中任意元素均可直接注入Agent上下文,实现精准局部编辑。未来还将支持Skill复用、剪映/B站/抖音平台联动,以及互动短剧新形态。

从痛点出发:视频创作为何需要统一数据层

在最近的 CreamPort(QwenPaw)社区交流会上,开发者轩瑞详细分享了 Creator 新版本的设计理念与技术架构。这次分享的重点并非又一款视频生成工具,而是一种全新的创作范式。

轩瑞提到,Creator 的诞生源于一个真实的开发者痛点。他曾尝试用 Codex 结合 Hyperframes 制作视频,结果整个过程花了两天,消耗了大量 Credits。问题的关键在于:当他向模型提出修改需求时,Agent 需要很长时间去重新生成和验证,人、模型、前端展示三者之间缺乏一致的连接。

"有没有这么样的一个东西,它能够把 Agent、模型、人,还有前端的展示能够共同地连接起来?"

这个问题正是 Creator 要解答的核心命题。它参考了社区中大量流行实践——Codex 配合 Chat、Hyperframes、Remotion,以及 CDance、MiniMax 等各家能力——最终提炼出了自己的技术主线。

核心理念:Data-driven的三方共感知架构

Creator 的核心思想是以 Data-driven(数据驱动) 的方式做连接。后端统一定义了一套 Data Model,无论是 Agent 所"看到"的内容、前端渲染出来的画面,还是人工进行干预、审阅、审批的对象,全都对应到同一套数据模型。

这种设计带来的直接价值是:整个视频创作流程更加一致、连贯,Agent、人、前端三方都能对同一份数据形成共同感知。这也是 Creator 区别于"零散拼接工具链"的关键所在。

Data Model 具体定义了哪些结构

在视频创作流程中,无论是剪辑还是生成,都有几个核心元素:

  • Timeline(时间线):串起整部片子的逻辑梗概;
  • Element(元素):每一时刻画面上的组成部分;
  • Assets(素材):既包含用户手动上传的已拍摄素材,也包含 AI 实时生成的素材。

Creator 对这些结构以及背后的具体格式(如动效是 HTML 还是 CSS 格式、视频音频是 MP4 还是 MP3)都做了明确定义。最终的成片渲染正是基于这套结构进行扩展和拼装。

Data Model驱动最终成片渲染

五大创作场景:Data Model的实战应用

为了展示这套架构的实际能力,轩瑞列举了五个典型创作场景。

场景一:素材剪辑——从几十小时素材到 Vlog 高光

第一个场景对应日常剪辑需求,比如把一整天拍摄的 Vlog 片段、甚至猫咪第一人称视角的几十小时视频,凝练成一段高光精华。

这背后不仅依赖 Data Model,还充分激发了多模态能力——VLM 模型负责画面理解,ASR 模型负责语音识别。更关键的是,Creator 原生集成了 VLM 模型与 MN Plugins 插件,具备长程记忆能力:无论上传多长的素材,它都能以 Embedding 的方式组成一个 Memory 图,方便 Agent 进行检索(Retrieval)和重新组织。

整个流程遵循"理解内容 → 保存 Memory 结构 → 检索复用 → 重组成片"的逻辑。

场景二:教学视频——让 Agent 自己操作软件

第二个场景直击开发者痛点:产品做完了,如何做一段演示视频推广出去?很多开发者并不擅长剪辑或视频制作。

Creator 利用 QwenPaw 本身的 Browser Use 和 Computer Use 基建,让 Agent 能够自动操作软件,对关键步骤进行截图或录屏,再结合剪辑、动效与特效技能组成成片。轩瑞特别提到,随着 GPT-6 Astra 等模型对 Computer Use 能力的大幅优化,这类需求的实现效果会越来越好。

场景三:短视频生成——解决多片段拼接一致性难题

第三个场景是几十秒到一分多钟的短视频生成。这里的最大难点在于,当前主流视频生成模型——CDance 2.5、MiniMax、万相3、可灵等——都有最大生成时长限制(如 15 秒或 30 秒)。因此成片必然是多次生成单元拼接的结果。

如何保证拼接单元的一致性、人物主体的一致性、环境不穿帮?Creator 通过人物视觉保持和分镜图构造来实现。以"小雪豹"这个案例为例,系统会先创建人物角色的身份外观说明、确定整片的风格色彩方向,再对每个生成单元做单独分镜,最后调用所选视频模型生成并组成成片。

Creator实现多片段拼接的一致性成片

场景四:多集短剧——资产库与"阵容图"保障角色一致性

第四个场景将上述流程扩展到几十分钟、上百集的短剧生成。每一集可能出现共同人物,而这些人物又会有不同形象(初始形象、变身、变体等),需要一个整体资产库来统一管理和引用。

值得关注的是 Creator 提出的"阵容图"机制。实测中团队发现一个典型问题:人物 A、B、C 各自有身份版,但组合到同一视频时,会出现"某片段 A 比 B 高、另一片段 B 又比 A 高"的不一致。阵容图正是针对这种多人物组合的一致性问题做了专门优化,Reference Image 与 Prompt 会一起进入分镜和视频生成流程。

场景五:商业视频——围绕商品卖点的高效制作

第五个场景是电商平台(淘宝、抖音、拼多多等)的商业视频。相比多人物短剧,它的对齐维度更简单——核心是围绕商品特性的一致性,整片都服务于商品卖点,因此实现难度相对更低。

人机协同:审阅机制如何提升视频质量

创意生成本质上是高度主观的过程,Agent 不可能一次生成完美视频。因此,如何把人工审阅、修改的流程也纳入 Data Model,是 Creator 的重要设计考量。

Creator 提供了两类审阅机制:

  • 人工审阅:当你向 Agent 提出修改建议后,系统会把具体修改位置直接展示出来,点击即可跳转到对应位置。你可以选择保留或撤销,并提供进一步修改意见,Agent 会实时响应。
  • 自我审阅(Self Review):内置了大量算子,如一致性算子、音频跳变算子、背景声混音算子等。你可以按需启用,系统会同步或异步地修改内容,并把修改意见反馈给 Agent,形成优化闭环——不过开启后耗时会相应增加。

Creator审阅机制支持逐条修改意见

在前端界面上,Creator 做了一个巧妙的设计:界面中的每一个部分都能变成 Agent 的上下文。无论是选中轨道中的某一段,还是选择视频概览栏的某段文字,都可以直接添加到 Agent 的上下文中,实现精准的局部编辑。

生态展望:Skill复用、平台联动与互动短剧

面对社区中大量开发者把经验沉淀为 Skill 的趋势,Creator 也计划将这些 Skill 接入进来,复用各行业的 know-how。对开发者而言,这意味着在不熟悉的领域也能借助现有 Skill,让 Creator 变身该行业的专业创作工具。

Creator支持对接B站或抖音发布流程

在平台联动方面,团队也提出了开放的共创方向:比如将项目从 Creator 导出到剪映做进一步精细编辑,或直接对接 B站、抖音的发布流程。这些都欢迎社区通过 PR 或 Issue 的方式参与二次开发。

预热:互动短剧——AI视频创作的新形态

分享的最后,轩瑞预告了一个新的视频形式——互动短剧。它的形态更接近游戏:观众可以在关键节点选择角色的下一步动作(A 或 B),走向不同支线和结局,并解锁完整的剧情地图。

轩瑞认为,这类场景对 Agent 而言非常合适,一个简单的 Prompt 就能生成互动视频。该功能将在 AgentScope 平台上发布。

总结:Creator用统一数据模型重新定义AI视频创作

从技术视角看,Creator 真正的创新点并不在于"能生成视频",而在于用一套统一的 Data Model,把 Agent 自动创作、多模态理解、人工审阅干预、前端渲染这四个环节缝合成一个连贯闭环。它试图回答的是 AI 视频创作领域一个更本质的问题:如何让人与 Agent 在同一份数据上高效协作。

目前团队正在招募"深度体验官",提供一定额度的免费 API Key(限百炼广告平台模型,推荐万相、通义千问 image3、Qwen3.8 Max 等),欢迎开发者带着真实任务参与测评与共创。

#QwenPaw Creator#AI视频创作#Data Model#Agent视频生成#人机协同创作#视频生成模型#互动短剧#多模态视频制作
分享:

相关推荐