Gemini 3 Flash实测CAPTCHA视觉谜题：多模态Agent能力边界在哪

当VLM遇上趣味视觉谜题:一场接地气的AI实测

近日,一位开发者在Reddit上分享了一组颇有看头的实验:用Google最新的Gemini 3 Flash视觉语言模型(VLM)去挑战neal.fun上的各类CAPTCHA式互动谜题。

**视觉语言模型(Vision-Language Model, VLM)是近年来多模态AI领域的重要突破。**与传统的单模态模型不同,VLM能够同时处理图像和文本信息,建立两者之间的语义关联。其核心技术路径包括:将图像通过视觉编码器(如ViT)转换为特征表示,再与文本token在统一的表示空间中进行融合,最终通过大型语言模型进行推理。代表性模型包括OpenAI的GPT-4V、Google的Gemini系列、Anthropic的Claude 3等。这类模型的能力边界正在从简单的图像描述扩展到复杂的视觉推理、空间理解和多步骤任务规划。

这些谜题以刁钻、脑洞大开著称,向来是考验人类逻辑和视觉理解能力的经典素材。**CAPTCHA(Completely Automated Public Turing test to tell Computers and Humans Apart)最初设计用于区分人类和机器。**neal.fun网站上的互动谜题则将这一概念推向了趣味化和复杂化,包含空间推理、物理模拟、逻辑排序等多维度挑战。这类谜题对AI评测具有独特价值:它们非标准化,难以通过记忆训练数据解决;需要多种能力的组合——视觉感知、逻辑推理、常识理解;任务目标明确但实现路径开放,能真实反映模型的泛化能力。相比ImageNet分类或VQA等传统基准,这类开放式互动任务更接近真实世界的应用场景。而现在,它们成了检验多模态大模型真实能力的绝佳试金石。

该开发者的技术方案值得关注:通过Playwright(浏览器自动化工具)驱动网页交互,再配合一套自定义的执行框架(harness),让Gemini 3 Flash能够"看到"页面内容、理解谜题目标,并输出对应的操作指令。

Playwright是微软开发的新一代浏览器自动化框架,支持Chromium、Firefox和WebKit三大浏览器引擎。与老牌工具Selenium相比,Playwright提供了更现代的API设计、更可靠的等待机制和更强大的调试能力。其核心优势包括自动等待元素可交互、内置的网络拦截和模拟、截图和视频录制、跨浏览器兼容性等。在AI Agent开发中,Playwright充当了"手和眼"的角色——通过截图获取视觉输入,通过模拟点击、输入、拖拽等操作执行AI的决策。

这种组合本质上构建了一个简易的视觉Agent(智能体)——它不仅要读懂图像,还要规划动作并与真实网页环境互动。

**视觉Agent是指能够感知视觉环境并自主执行任务的智能体系统。**其典型架构包含三个核心模块:感知模块(通过截图、OCR等获取环境状态)、决策模块(VLM理解任务目标并规划动作序列)、执行模块(将抽象动作转化为具体操作如坐标点击)。与传统的RPA脚本不同,视觉Agent不依赖预定义的DOM选择器或固定流程,而是通过视觉理解适应页面变化。当前的技术挑战包括坐标映射的精度、多步推理的误差累积、动态环境的状态跟踪等。

从"看懂"到