#视频理解

共 8 篇相关文章

VICE 提出双分支视频-语言蕴涵框架，利用大型多模态模型的单视频理解能力实现概念级视频相似度估计，在 ConViS-Bench 和 StepDiff 基准上超越同时处理两段视频的模型。

TwelveLabs Pegasus 1.5视频语言模型现已上线Amazon Bedrock，支持长达两小时视频的结构化处理，新增视频分割与多模态提示功能，助力开发者高效构建视频AI应用。

开发者利用Jev API筛选关键帧，再交给Claude推理，成功分析23分钟特斯拉活动视频，总成本仅几美分。本文详解这一长视频AI理解方案的技术原理、局限与意义。

P³IBench 是面向真实流式场景的主动视频理解基准，评测日常感知、风险预测与干预三类能力。12 个视频语言模型在响应决策上普遍表现不佳，4B 助手 P³I-Assistant-4B 虽有提升但收益不均，说明主动协助需要精确时机判断与适当克制。

FPV-CRASH 是面向无人机第一视角视频的坠机时刻定位数据集，含 1052 段 FPV 片段与单帧标注，参考模型将 MAE 从 1.12s 降至 0.56s，0.5s 内定位比例提升至 65.71%。

实测 Kimi K3 原生视频理解对比 Claude 抽帧方案：两者发现几乎一致，差异在时间戳精度与投入心力。K3 亚秒级定位但无法理解音频、速度更慢，附完整测试数据与分工建议。

FastBench 是面向高动态真实视频流的流式VLM评测基准，包含306个QA对与人工标注证据区间。最强模型 Gemini-3.5-Flash 仅得 50.7%，揭示稀疏采样下快速事件感知的严重短板，并提出免训练基线 ProactiveFrame。

CapMem 提出用文本字幕作为可复用情景记忆，解决可穿戴助手处理第一人称长视频的难题。基准含75段视频、33.7小时、1000道问答，实验证明字幕方案在长视频上超越直接VideoQA。