RefCraft
用于评估AI智能体在视觉参考条件化网页生成任务上能力的基准，包含300个多模态任务，结合自然语言指令和参考截图，采用关键点、程序化评判和VLM评判综合评估
时间轴 (近 90 天)
研究论文《RefCraft: Benchmarking Visual-Reference-Conditioned Agentic Generation through Web Development》提出了RefCraft基准。
RefCraft基准包含300个真实多模态网页开发任务。
RefCraft的每个任务融合了自然语言指令和1至5张参考网页截图。
RefCraft的评估采用了可独立验证的关键点（keypoints），以及互补的程序化评判和视觉语言模型（VLM）评判。
研究者对九个前沿的（多模态）大语言模型进行了测试，最强系统在100分制下仅获得52.12分。
现有模型往往在首轮生成后难以从视觉反馈中提取有效信号，导致迭代收益有限，这是RefCraft得分偏低的重要原因之一。
RefCraft的低分揭示了模型难以从多张参考截图中提取并融合相关信息，往往过度依赖文本指令或简单复制参考。
全部知识事实 (7)
研究论文《RefCraft: Benchmarking Visual-Reference-Conditioned Agentic Generation through Web Development》提出了RefCraft基准。
50%待验证RefCraft基准包含300个真实多模态网页开发任务。
50%待验证RefCraft的每个任务融合了自然语言指令和1至5张参考网页截图。
50%待验证RefCraft的评估采用了可独立验证的关键点（keypoints），以及互补的程序化评判和视觉语言模型（VLM）评判。
50%待验证研究者对九个前沿的（多模态）大语言模型进行了测试，最强系统在100分制下仅获得52.12分。
50%待验证现有模型往往在首轮生成后难以从视觉反馈中提取有效信号，导致迭代收益有限，这是RefCraft得分偏低的重要原因之一。
50%待验证RefCraft的低分揭示了模型难以从多张参考截图中提取并融合相关信息，往往过度依赖文本指令或简单复制参考。
50%