[控场AI]
· 5 分钟阅读· 2,925 字

Elorian Glimpse:会"回看"的视觉模型,推理中主动放大图像细节

Elorian Glimpse:会"回看"的视觉模型,推理中主动放大图像细节

Elorian 发布 Glimpse,让视觉模型在推理中途重新看图、测量并运行代码。

Elorian 由前 Google DeepMind CEO Andrew Dai 创立,以 research preview 形式发布首个模型 Glimpse,融资 5500 万美元、估值 3 亿美元。其核心是“视觉草稿空间”:模型在多模态推理中途可重新裁剪图像区域、从视频中按需抽帧、运行代码测量像素距离,从而把感知从一次性编码变为可反复调用的过程。官方声称在科学图表推理和短视频描述两项任务上领先,但尚无第三方基准。定价为输入每百万 token 0.60 美元、输出 3 美元,但图像与视频帧的 token 化计费方式未明确,延迟与 API 稳定性也是生产部署前需要验证的问题。

大多数视觉模型的工作方式如出一辙:扫一眼图片,把它压平成 token,然后所有推理都在纯文本空间里完成。问它一张密集的科学图表,它只能对着压缩后的"记忆快照"眯着眼猜。Elorian 新发布的 Glimpse 试图打破这个范式——推理到一半,它会主动折返回去再看一眼。

一次不同寻常的发布

据 TechCrunch 报道,Elorian 是一支位于帕洛阿尔托的新团队,创始人 Andrew Dai 曾任 Google DeepMind CEO。Glimpse 是该实验室的首个模型,以 research preview 形式发布,同时提供 API 和聊天界面。

资本层面的信号相当密集:5500 万美元种子轮,估值 3 亿美元,投资方包括 Striker、Menlo Ventures、Altimeter、Nvidia 和 Jeff Dean。对一个一周前还不在公众讨论中的实验室来说,这份股东名单足够说明问题。不过真正值得拆解的不是融资,而是架构。

视觉草稿纸:推理过程中重新看图

Glimpse 的核心机制被 Elorian 称为"visual scratch space"(视觉草稿空间)。在多模态推理中途,模型可以重新裁剪图像区域、从视频中抽取帧,甚至运行代码去测量它所看到的内容。

举个具体场景。给一个标准多模态模型一张包含十二条叠加曲线、图例用 6 号字印刷的图表,它往往看一眼就开始猜。而按 Glimpse 公布的设计,它会裁出图例认真读,裁出坐标轴标签,测量数据点之间的像素距离,再跑代码基于这些测量值算出答案。这不是更准的猜测,而是一套不同的流程:看、量、算、再看。

短视频描述是 Elorian 声称领先的另一项任务。行业默认做法是预先按固定网格采样帧,Glimpse 则随着问题的展开按需抽取帧。用原文的比喻:这就像描述一个房间时,不是凭记忆复述,而是走回去核对书架。

这个思路其实有先例可循。工具调用让语言模型在数学上变强了——它们不再幻觉算术结果,而是直接运行代码。Glimpse 把同样的教训套用到感知上:与其幻觉图表,不如去测量它。过去两年,业界一直在让模型更好地推理一张冻结的快照;接下来的方向,是让模型拒绝快照。

视觉 token 化与按需重感知的差异

传统多模态模型在处理图像时,会先由视觉编码器(如 ViT)把整张图切成固定数量的 patch,每个 patch 映射为一个视觉 token,再与文本 token 一起送入语言模型。这个过程不可逆:一旦图像被压成 token 序列,模型就无法回头查看原始像素中更细的细节。Glimpse 的“视觉草稿空间”本质上是把感知从“一次性预处理”改为“推理过程中的可调用工具”。模型在生成答案的每一步都可以决定:是否需要重新裁剪某个区域、以更高分辨率重新编码、或从视频中抽取新的帧。这在架构上要求模型具备两类能力:一是判断“当前信息是否足够”的元认知,二是将裁剪坐标、帧时间戳等操作转化为可执行指令的接口。代价是推理延迟和计算量显著上升,因为每次重感知都意味着额外的视觉编码前向传播。

几百块 GPU 训练出的前沿模型?

训练故事几乎和架构一样有意思。据 TechCrunch 报道,一支小团队用几百块 GPU 训练了 Glimpse,而前沿系统的成本要高上几个数量级。如果这些声称的结果能通过独立测试,那就是"架构仍然胜过暴力堆算力"这一非主流观点的有力数据点。

当然,重点在"如果"。所有性能声明都来自 Elorian 自己。"超越 GPT-6 Astra"只覆盖两个具体任务——科学图表推理和短视频描述——且出自实验室自己的公告,尚无第三方基准。不过 3 亿美元的估值不会凭空堆出来,Striker 和 Nvidia 都在开支票前看过模型。

“架构胜过算力”这一说法的背景

过去几年,前沿模型的能力提升在很大程度上依赖扩大预训练算力(Scaling Law),训练成本从数百万美元攀升至数亿美元。因此“几百块 GPU 训练出前沿模型”之所以引人注目,是因为它暗示存在一条不靠堆算力的替代路径:更高效的架构、更聪明的数据筛选、或更强的推理时计算(test-time compute)。需要区分的是,训练算力与推理算力是两回事。Glimpse 在推理阶段反复裁剪图像、运行代码,单次查询的推理成本可能远高于普通模型。所以“省训练算力”不等于“省总成本”,评估这类声称时需要同时看训练效率与推理经济性两个维度。

定价策略与隐藏成本

Glimpse 的定价明显带有进攻性:输入每百万 token 0.60 美元,输出每百万 token 3 美元。这个区间落在 Sonnet/So 级重量级模型和 Haiku/Luna 级预算模型之间——便宜到你可以跑真实实验,而不只是玩具 demo。

但公告没有讲清楚一件事:图像和视频帧如何 token 化、如何计费。对一个视觉模型来说,这个细节才是真正的价签。在搞清楚之前,不要把它接进生产系统。

图像 token 化计费为何是视觉模型的关键变量

当前主流多模态 API 的计费方式大致有两类:按图像分辨率折算固定 token 数(如一张图固定算 85 到 1000+ token),或按实际视觉编码器输出的 token 数计费。对于 Glimpse 这种会在推理中途多次裁剪、重新编码图像区域的模型,同一张输入图可能被编码多次,每次裁剪区域的大小和分辨率也不同。如果计费按“所有视觉编码 token 累计”计算,一次复杂图表推理的实际成本可能是标称输入价格的数倍。公告只给出文本 token 单价,未说明视觉 token 的折算规则,这直接决定了它在真实工作负载下是否仍然“便宜到可以跑实验”。

发布日该有的刹车

这是一份 research preview,实践中意味着 API 可能破坏性变更、有速率限制、有粗糙边缘。没有提及可下载权重,所以要按仅 API 可用来规划。延迟也是悬而未决的问题:一个在推理中途重新裁剪图像并运行代码的模型,每个答案做的功更多,而更多功意味着更多时间。

图表推理基准本身也出了名地容易被挑选。一套围绕"会裁剪自己图像的模型"构建的测试集,自然会讨好那个被造出来裁剪自己图像的模型,除非评测经过精心盲化。

值得先试的三个场景

即便这个具体模型没赢得你的采用,这个想法也值得关注。视觉草稿空间是一种技术,而技术会被复制。以下三件事值得优先尝试:

  • 截图调试:把坏掉的 UI 丢给它,让它找出错位之处。
  • PDF 图表提取:把"把这张图读成表格"这类当前模型每周都搞砸的任务交给它。
  • 视频问答:让它从屏幕录制中自行抽帧,而不是你预先采样。如果这条能跑通,视频 agent 的构建方式会被改写。

底线是:Glimpse 可能不是你最终会用的模型。但"思考时保持眼睛睁开",几乎肯定是未来两年所有视觉模型的形态。可以试它的 API,但记得留好收据——保留验证的余地。

#Elorian Glimpse#视觉模型#多模态推理#视觉草稿空间#AI模型定价#图像推理#Andrew Dai
分享:

相关推荐