大模型能当好电影剧组吗？一场创意控制力的基准测试

当你用AI视频工具制作短片时，真正让人崩溃的往往不是单个镜头不够漂亮，而是**连贯性（continuity）**崩塌。你刚敲定一个角色、一处场景、一件道具，几步之后模型就悄悄把其中一个忘得干干净净。

一位长期从事AI视频工具的开发者，为Kaggle基准测试挑战设计了一套别出心裁的评测：不再问「哪个LLM写的故事最好」，而是问一个真正的电影制作在意的问题——

当导演不停改主意时，LLM能否从创意到分镜表，始终握住整部电影的创意控制权？

基准测试：LLM作为完整电影剧组

测试设计：让一个模型演完整个剧组

每个模型拿到一句话的故事前提和几条硬性规则，然后在同一段对话里扮演整个剧组：

编剧：写出三幕式故事梗概（角色数量精确为N个、场景数量有限、禁用词列表、必须包含某个指定故事元素）
选角导演：每个角色一条记录
美术指导：布景、道具、色彩方案
摄影指导：一份分镜表，每个镜头都要标明使用的布景、角色和道具

随后，导演接连抛出三条修改意见，而且都不说明后果：

时代迁移：「把整个故事搬到1890年代的伦敦。」所有手机、笔记本、荧光灯都必须在任何地方消失。
预算削减：「我们砍掉布景X。」每一场在这里的戏都要搬走，最终布景要少一个。
角色合并：「角色A和B合并成一个角色C。」两个旧名字都不能留下。

关键在于：每条意见之后，模型只需返回发生变化的镜头，就像真实的修改需求那样。没提到的镜头原样保留。这意味着模型得自己判断哪些镜头受影响——漏掉一个，旧道具或旧角色名就还赖在镜头里。

整套测试包含12个电影创意（药房黑色片、来自未来的灯塔航海日志、退休博物馆保安策划的盗窃案等等），分成Creative Control A和B两个Kaggle任务，各6个，总分取两半的平均。

评分：大部分交给代码，不靠AI打分

评分体系刻意把主观性压到最低。约束条件（阵容规模、布景数量、禁用词、必含元素）、一致性（分镜表里出现的每个角色、布景、道具都真实存在于选角和美术设定中）、导演意见的落实，全部由代码检查。只有「故事质量」这一项交给裁判模型回答五个是非题。

一条只执行了一半的意见直接算没执行。正如作者所说：「1890年代维也纳出现一台笔记本电脑，不是5%的小问题，而是要重拍。」

三幕式结构（three-act structure）是好莱坞剧本写作的基础框架：第一幕建立世界与角色、引发冲突，第二幕发展矛盾并推向高潮，第三幕解决冲突并收尾。这套框架由编剧理论家悉德·菲尔德（Syd Field）在1979年系统整理后成为行业标准。将其作为基准测试的约束条件，意味着模型不只是自由生成故事，而是要在一个有明确结构要求的框架内进行创作——这更接近真实的专业制作环境，也让生成结果具备可比性。

测试结果：旗舰未必买得到创意控制权

作者从多家实验室各挑了大、小两个模型，再加上开源模型，核心疑问是：为旗舰模型多掏钱，到底能不能换来创意控制力？

模型	总分	A / B	导演意见	故事质量
GPT-5.5	0.94	0.96 / 0.92	0.94	0.85
Gemini 3.7 Flash	0.90	0.89 / 0.90	0.85	0.73
DeepSeek^广告 R1	0.88	0.87 / 0.90	0.83	0.70
Gemma 4 31B	0.84	0.85 / 0.82	0.71	0.65
Claude Sonnet 5	0.80	0.91 / 0.69	0.75	0.82
GPT-5.4 nano	0.76	0.74 / 0.77	0.40	0.70
Claude Haiku 4.5	0.69	0.64 / 0.73	0.50	0.62
GLM-5	0.64	0.55 / 0.74	0.75	0.69
Claude Opus 5	仅半场A	0.43 / –	0.67	1.00

值得关注的是，Claude Opus 5虽然在它完成的每一部片子里都拿到满分的故事质量，却因为「想得太久」——推理加作答常常撞上16000 token的上限，在改写每个镜头的时代迁移任务里直接超时丢分。再加上一次完整运行约19美元，超过Kaggle每天10美元的单模型预算，它只跑完了半场A。

两个半场的分数对大多数模型高度吻合（差距在0.03以内），说明分数反映的是模型本身，而非拿到哪些题目的运气。

六大发现：模型以各自的方式失控

听话比写作更能拉开差距

除了三个旗舰，所有模型的故事质量都挤在0.62到0.73之间。而导演意见的得分却从0.40一路拉到0.94。换句话说，如果你只读故事，这些模型看上去都差不多；一旦交给它们一份修改单，差距立刻暴露。

每个模型都有自己的失控方式

GPT-5.4 nano忘了世界已经变了：12部片子里有7部，「搬到1890年代」之后现代物品依然存活——1890年代维也纳的笔记本、电脑和手机，1890年代挪威的GPS，1890年代俄亥俄的冰箱。
Gemini 3.7 Flash是榜上最可靠的模型，它唯一反复出现的「失败」后来证明是作者自己的锅（见下文）。
Gemma 4时代处理干净、阵容处理笨拙：从不留下现代物品，但4部片子的合并把阵容砍错了。
Claude Haiku 4.5只更新它碰过的镜头，忘了其余的：合并角色后，它没重写的镜头里旧名字还在（11部中有5部）。
GPT-5.5知道何时该全盘重做：时代迁移时它重写了每一个镜头（世界全变时最稳妥的做法），预算削减和合并时则只动需要动的镜头，而且动对了。这正是场记（script supervisor）的工作，也是它领跑的原因。

关于「旗舰是否值得」，答案取决于实验室。GPT-5.5对GPT-5.4 nano是榜上最大的跃升（导演意见0.94对0.40）；而便宜的Gemini 3.7 Flash和开源的DeepSeek R1在听话这件事上双双击败了两个Claude旗舰。

规则自相矛盾时，模型选边站

作者坦诚自己在设计中犯了错：开头规则写「布景数量在2到N之间」，预算削减意见却说「砍掉一个布景」。在恰好只有两个布景的片子里，这两条指令无法同时满足，于是模型清晰地分成了几派。

Gemini面对「砍掉餐厅」的回应是盖了一间主厨办公室，面对「砍掉灯塔室」则补了一个风暴门廊——原规则胜出，导演想省的钱根本没省下来。Haiku和DeepSeek则总是站队最新的那条意见。旗舰们大多在最初就设计了三个布景，巧妙避开了冲突。

作者的检查脚本原本只接受「降到一个布景」，这不公平地惩罚了坚守规则的模型。重新按两种选择都算对来评分后，Gemini从0.90升到0.93，Gemma从0.84升到0.87，其余变化在0.01以内，排名没有改变。

大家都有同一个写作软肋

除Claude Sonnet 5外，裁判模型最常见的抱怨惊人一致：「每个角色都想要不同的东西，这些欲望制造冲突」这一条，在6到9部故事里都没达成。LLM写的短片往往只有一个角色带着目标，其余角色纯粹为了反应而存在。如果你用这些模型做故事开发，这点值得记住。

选了角却不拍

一个常见的一致性错误是：某个角色被选中、被描述了外形，却从头到尾没出现在任何一个镜头里——模型把人招进来了，却忘了拍他。

第二项任务：模型会像摄影师那样思考吗？

第二项任务要求模型为八个戏剧性时刻给出摄影指导，每个时刻用三种方式提问：

明示型：「一个女人意识到晚宴上所有人都知道她的秘密。用一个推拉变焦（dolly zoom）。」——它懂这个技术吗？
意图型：「……让观众在拥挤的房间里感受到突如其来的孤立感。」——它能把一种感觉翻译成镜头选择吗？
隐含型：只给时刻本身。——它会不会想到用镜头语言？

结果显示，摄影词汇是一个已被解决的问题：每个模型都能规划出可拍摄、具体、有动机的镜头，总分都挤在0.91到0.96之间。作者用相同提示跑了两次，多数列数据在两次之间波动0.1–0.3，因此他拒绝用这项任务给模型排名。

两点结论在两次运行里都稳定成立：

放任不管时，模型会退回最俗套的做法：被告知该用什么技术时，93%的方案都避开了陈词滥调；只给时刻时，这个比例跌到75%（第一次）和82%（第二次）。
知道技术的名字不等于懂它怎么运作：Claude Haiku把「分离式近摄镜（split diopter）」描述成让一个演员清晰、另一个虚化——而它实际作用恰恰相反，是同时让两者都对焦。被要求「一个长镜头不间断的斯坦尼康拍摄」时，Haiku和DeepSeek R1却规划了中间还换镜头的四个独立镜头。

推拉变焦（dolly zoom，又称"希区柯克变焦"）是一种反向组合的摄影技术：摄影机向被摄体推进（或拉远）的同时，镜头焦距朝相反方向变化，使主体在画面中保持大小不变，但背景却被压缩或拉伸，产生强烈的空间扭曲感与心理震动。希区柯克在《迷魂记》（1958）中首次大规模使用，后来斯皮尔伯格在《大白鲨》中将其发扬光大。分离式近摄镜（split diopter）则是一块被切成半圆、安装在镜头前的近摄附加镜，让画面近端与远端的两个物体同时保持清晰对焦——与景深控制逻辑相反，是一种"欺骗眼睛"的光学技巧，Brian De Palma是其标志性使用者。这两者都属于有明确物理原理的镜头技术，模型对其描述是否准确，直接反映它对摄影知识的理解深度，而非仅仅是词汇记忆。

怎么看这份基准测试

作者诚恳地列出了几条注意事项：12个电影创意是个小样本，一条漏掉的意见就能让分数波动约2%，所以接近的分数应视为平手；裁判用的是Gemini 3.8 Flash，可能偏爱Gemini家族的故事，故事质量这一列要谨慎看待——但导演意见和一致性由代码检查，不受影响。

Kaggle官方总榜把三项任务平均，由于摄影任务对所有人都接近天花板，模型之间会被拉得更近一些，但顶部次序一致：GPT-5.5（0.94）、Gemini 3.7 Flash（0.92）、DeepSeek R1（0.90）。

这套测试最有价值的地方，或许不在于谁排第一，而在于它把一个长期被忽视的能力量化了：在反复修改中维持长程一致性，才是AI真正进入创意工作流的门槛。 单发一张漂亮镜头人人都会，但当导演第三次改主意时，还能记住每一件道具该消失、每一个旧名字该抹掉——这才是生产级可用的分水岭。

Kaggle是谷歌旗下的数据科学竞赛平台，以举办机器学习挑战赛著称。该平台为竞赛参与者提供有限的计算配额，本文提到的"每天10美元的单模型预算"即为Kaggle为该基准设置的API调用上限。这一限制在评测中产生了实质影响：Claude Opus 5因单次运行成本约19美元、远超配额，只能跑完一半测试。这也提示了一个在实际生产环境中同样真实的约束：一个在无限预算下表现最好的模型，不一定是成本效益最优的选择。