[控场AI]
基准护照管控基准

Passport Control

发布在Kaggle上的AI智能体记忆写入基准测试,包含661项检查,专门考察大模型在记忆写入环节的能力,涵盖保留、拒绝、时间标注和变更四大类检查

时间轴 (近 90 天)

10月11日

Passport Control 是一个发布在 Kaggle 上的基准测试,专门考察AI智能体记忆的写入(write)环节,共包含661项检查

待验证50%
10月11日

Passport Control 把661项检查归为四个家族:Keep(保留)、Refuse(拒绝)、Date(标注时间)、Change(变更)

待验证50%
10月11日

Passport Control 使用的所有测试日期从2026年末延伸到2027年,超出所有被测模型的训练截止时间,以避免记忆作弊

待验证50%
10月11日

该基准一次性测试了来自六个实验室的18款模型,涵盖Anthropic、OpenAI、Google、DeepSeek、Qwen、GLM等

待验证50%
10月11日

整轮18个模型的完整写入运行成本仅为15.11美元,评分完全由代码判定

待验证50%
10月11日

18个模型中有11个能正确回答至少96%的记忆读取问题,但在记忆写入(维护护照)任务上差距显著拉大

待验证50%
10月11日

智能体记忆的瓶颈在于写入路径,而大多数记忆基准(如LongBench、Needle-in-a-Haystack)只测试长上下文检索与推理,隐式假设记忆已被正确写入

待验证50%
10月11日

给每类事实设置默认保质期是一种低成本的工程补丁,可修复记忆不过期问题,无需模型具备更强推理能力

待验证50%

全部知识事实 (8)

来源文章