GPT-4V
GPT-4V（GPT-4 with Vision）是OpenAI开发的多模态大语言模型，是GPT-4系列的视觉增强版本。该模型能够同时处理文本与图像输入，支持图像内容识别、视觉推理、图文问答及场景描述等任务，将自然语言理解能力与视觉感知能力相结合，可应用于文档分析、图表解读、辅助诊断等多种场景。
Core Facts
Timeline (last 90 days)
视觉模型路线的代表工具包括Unstructured.io、LlamaParse、微软的LayoutLM系列模型以及GPT-4V/Claude等多模态大模型
基础模型指经过大规模数据预训练、能够支撑多种下游任务的通用模型，典型代表包括GPT系列及CLIP、GPT-4V等多模态模型
3000+页若全部调用GPT-4V这类闭源API成本高昂，更务实的做法是用开源模型完成80%常规页面，仅将低置信度或版面异常页面交由高性能通用VLM处理
真正理解创意意图需要同时处理视觉素材和对话语境并将两者关联，涉及多模态大模型（如GPT-4V或Gemini）的能力边界
Spotit 跨应用界面识别的技术路径很可能依赖苹果的 Accessibility API 与视觉大模型的结合
训练使用冻结的 flan-t5-base 作为文本编码器，数据构成为 Pexels 2.8M（60%）、FLUX-Reason-6M 切片 1.2M（25%）、带 GPT-4V caption 的 COCO（15%）
CLIP、DALL-E、GPT-4V是多模态AI模型
代表性多模态工作包括OpenAI的GPT-4V、Google的Gemini以及Meta的ImageBind，ImageBind将六种模态统一到同一嵌入空间
扣子海外版可同时使用DALL·E 3和GPT-4V多模态模型
OpenAI GPT-4V采用分块加缩略图策略，根据图像分辨率动态调整Token消耗，高分辨率图片可能被切成多个512×512区块分别处理
7 more timeline events
All Facts (20)
GPT-4V、Claude 3、Gemini是现代多模态大模型的代表，能够同时处理文本、图像等多种数据类型
90%VerifiedGemini系列从训练阶段就将多种模态联合建模，而非像GPT-4V等方案那样后接视觉编码器
90%Verified2024年发布的GPT-4o将图像生成能力直接整合进多模态大语言模型中
85%VerifiedVLM（视觉语言模型）通常由视觉编码器（如ViT）、语言模型和连接两者的投影层组成，代表性模型包括GPT-4V/4o、Claude 3.5、LLaVA系列和InternVL
80%VerifiedOpenAI的GPT-4V、Google的Gemini、Anthropic的Claude 3等模型都采用了跨模态对齐的技术路线
80%VerifiedGPT-4V和Claude 3系列等视觉语言模型能够同时处理图像和文本输入，支持多模态交互
80%Verified视觉-语言模型（VLM）的代表性工作包括OpenAI的GPT-4V、Google的Gemini以及开源社区的LLaVA
75%VerifiedGPT-4V、Gemini 1.5等多模态模型将AI Agent的感知能力从纯文本扩展至图像、音频、视频及结构化数据
65%VerifiedGPT-4V、Gemini Vision、Claude等多模态大模型的视觉理解建立在视觉编码器（通常为Vision Transformer）与大规模语言模型深度融合的架构之上
65%VerifiedGPT-4V（Vision）是OpenAI将视觉理解能力引入GPT系列的重要里程碑
65%VerifiedGPT-4V、Gemini、Claude 3等模型开始将视觉理解与语言推理统一到同一个参数空间中
65%UnverifiedMultimodal understanding has been a core competitive battleground since GPT-4V launched in 2023
85%UnverifiedLLaVA采用视觉指令微调方法，将预训练的CLIP视觉编码器与LLaMA语言模型桥接，以相对低廉的训练成本实现了接近GPT-4V的多模态理解能力
85%Unverified在OSWorld最初发布时，最强的GPT-4V模型仅达到约12.24%的成功率
85%Unverified微软于2024年初开源了UFO（UI-Focused Agent）项目，基于GPT-4V的多模态能力，采用双Agent架构（AppAgent和HostAgent）
85%Unverified多模态大模型（如GPT-4V、Gemini）的出现降低了农业图像识别的开发门槛，开发者可以通过API调用快速构建识别能力
85%Unverified2023年GPT-4V的发布标志着VLM进入了新的发展阶段
80%Unverified基于UI Automation API的方案相比截图+视觉模型方案具有精确性更高、响应速度更快、稳定性更好的优势
80%Unverified截图+视觉识别方法通常使用多模态模型（如GPT-4V）分析页面截图后生成近似的HTML/CSS代码，在处理复杂布局、CSS变量、伪元素等细节时容易出现偏差
80%Unverified此前的PokeAgent挑战证明，即使是GPT-4V、Gemini等顶级多模态模型，在没有专门设计的辅助框架时，几乎无法在宝可梦RPG中取得任何进展
80%