Gemini 3.7 Flash
Google Gemini系列Flash多模态语言模型，支持智能体视频理解能力，为Gemini Flash系列较新版本
核心事实
Gemini 2.5 Flash采用了混合专家（Mixture of Experts, MoE）架构，在推理时只激活部分参数
被测模型包括 Google 的 Gemini 3.7 Flash、Z.ai 的 GLM-5、阿里巴巴的 Qwen 3 235B A22B Instruct 以及 OpenAI 的 gpt-oss-120b，全部在 Kaggle 上运行
测试覆盖了四款视觉模型：Claude Sonnet 5（Anthropic）、Gemini 3 Flash（Google）、Gemini 3.1 Flash-Lite（Google）、GPT-5.4 nano（OpenAI）
时间轴 (近 90 天)
Tev-27B 在未见过 Terminal-Bench 训练数据的情况下，在 TB 3.0 和 4.0 子集上超过了 GLM 5.2 和 Gemini 3.7 Flash；在 TB 2.1 上达到了 Claude Opus 4.8 的表现。
Gemini 3.7 Flash的Nastaliq减Naskh配对CER差距为：自然条件+0.18个百分点，打乱条件+0.25个百分点，伪文本条件+8.75个百分点（95% bootstrap区间[4.05, 12.82]）。
研究者查询了Kaggle的46模型目录，但首轮扩展耗尽了每日AI配额，最终配对分析纳入完成全部90张图像提示的7个端点：Claude Haiku 4.5/5.5、Claude Sonnet 5/5.5、Gemini 3.5 Flash-Lite、Gemini 3.7 Flash、GPT-5.4 Mini。
在ring_push任务上，四个模型（Claude Haiku 4.5、Gemma 4 31B、GPT-5.4 mini、Gemini 3.7 Flash）在两个任务中都完成了要求的改动，却丢失了prompt未重申的旧行为，fail-to-pass通过但pass-to-pass失败，该失误在八次运行中稳定复现
GLM-5.3-Flash 目前仅 API 可用，权重采用 MIT 许可证但尚未发布；其视觉能力落后（BabyVision 和 MVbench 不及 Gemini 3.7 Flash）。
Bench-Corp测试中，护栏在520次运行中漏掉了两次，均发生在Gemini 3.7 Flash的同一任务上。
Gemini 3.7 Flash在充分性任务中对169个返回项全部回答正确，但23次调用在三次尝试后仍无结果，若计为失败则通过家族数从满分降至48中的28个
在两步推理问题上，Claude Haiku 4.5得分6/30，GPT-5.4 mini得分3/30，而Claude Sonnet 5.5、Gemini 3.8 Flash、Gemma 4均为30/30
恢复刷新后的Claude候选完成加速比2.75×、首字节加速比2.80×，而Gemini完成加速比3.44×、首字节加速比3.54×，GPT-5.4完成加速比2.16×、首字节加速比2.19×
九次修订版执行中Gemini完成加速比中位数5.35×、Claude 3.69×、GPT-5.4为1.00×，三者均通过自动检查
还有 35 条时间轴事件
全部知识事实 (20)
Gemini 2.5 Flash采用了混合专家（Mixture of Experts, MoE）架构，在推理时只激活部分参数
65%部分验证被测模型包括 Google 的 Gemini 3.7 Flash、Z.ai 的 GLM-5、阿里巴巴的 Qwen 3 235B A22B Instruct 以及 OpenAI 的 gpt-oss-120b，全部在 Kaggle 上运行
65%部分验证测试覆盖了四款视觉模型：Claude Sonnet 5（Anthropic）、Gemini 3 Flash（Google）、Gemini 3.1 Flash-Lite（Google）、GPT-5.4 nano（OpenAI）
65%待验证Tev-27B 在未见过 Terminal-Bench 训练数据的情况下，在 TB 3.0 和 4.0 子集上超过了 GLM 5.2 和 Gemini 3.7 Flash；在 TB 2.1 上达到了 Claude Opus 4.8 的表现。
50%待验证Gemini 3.7 Flash的Nastaliq减Naskh配对CER差距为：自然条件+0.18个百分点，打乱条件+0.25个百分点，伪文本条件+8.75个百分点（95% bootstrap区间[4.05, 12.82]）。
50%待验证研究者查询了Kaggle的46模型目录，但首轮扩展耗尽了每日AI配额，最终配对分析纳入完成全部90张图像提示的7个端点：Claude Haiku 4.5/5.5、Claude Sonnet 5/5.5、Gemini 3.5 Flash-Lite、Gemini 3.7 Flash、GPT-5.4 Mini。
50%待验证在ring_push任务上，四个模型（Claude Haiku 4.5、Gemma 4 31B、GPT-5.4 mini、Gemini 3.7 Flash）在两个任务中都完成了要求的改动，却丢失了prompt未重申的旧行为，fail-to-pass通过但pass-to-pass失败，该失误在八次运行中稳定复现
50%待验证GLM-5.3-Flash 目前仅 API 可用，权重采用 MIT 许可证但尚未发布；其视觉能力落后（BabyVision 和 MVbench 不及 Gemini 3.7 Flash）。
50%待验证Bench-Corp测试中，护栏在520次运行中漏掉了两次，均发生在Gemini 3.7 Flash的同一任务上。
50%待验证Gemini 3.7 Flash在充分性任务中对169个返回项全部回答正确，但23次调用在三次尝试后仍无结果，若计为失败则通过家族数从满分降至48中的28个
50%待验证在两步推理问题上，Claude Haiku 4.5得分6/30，GPT-5.4 mini得分3/30，而Claude Sonnet 5.5、Gemini 3.8 Flash、Gemma 4均为30/30
50%待验证修订版实验使用Gemini 3.7 Flash、Claude Sonnet 5.5和GPT-5.4，每个模型独立执行三次优化尝试，提示使用temperature 0和seed 0
50%待验证恢复刷新后的Claude候选完成加速比2.75×、首字节加速比2.80×，而Gemini完成加速比3.44×、首字节加速比3.54×，GPT-5.4完成加速比2.16×、首字节加速比2.19×
50%待验证九次修订版执行中Gemini完成加速比中位数5.35×、Claude 3.69×、GPT-5.4为1.00×，三者均通过自动检查
50%待验证Qwen3 235B 运行的是Kaggle目录中的2506版本而非原规格的2507版本，Gemini 3.7 Flash 是Kaggle模板的默认占位模型
50%待验证Qwen3-235B 在注入测试中 8 次攻击里 5 次失守，表现最差；Gemini 3.7 Flash、Claude Haiku 5.5 和 Claude Opus 4.5 在 8 次注入攻击中做到零失守
50%待验证修正评分器后，四个模型在全部五个理智门任务上都拿了100%
50%待验证在 ng-hard 压力测试中，Gemini 3.7 Flash、GLM-5 和 Qwen 3 235B 都拿了100%，gpt-oss-120b 得80%（10行对8行）
50%待验证两个模型对PNR或IFSC代码中隐藏的数字每次都会遮罩（0/25编造），但对UMBRELLA或KITCHEN等单词中的缺失字母过半数会直接补全
50%待验证Gemma 4是Kaggle上最便宜的视觉模型，跑完全部239项仅花费$0.34，而Gemini 3.7 Flash花费$2.70
50%