Passport Control
发布在Kaggle上的AI智能体记忆写入基准测试,包含661项检查,专门考察大模型在记忆写入环节的能力,涵盖保留、拒绝、时间标注和变更四大类检查
时间轴 (近 90 天)
Passport Control 是一个发布在 Kaggle 上的基准测试,专门考察AI智能体记忆的写入(write)环节,共包含661项检查
Passport Control 把661项检查归为四个家族:Keep(保留)、Refuse(拒绝)、Date(标注时间)、Change(变更)
Passport Control 使用的所有测试日期从2026年末延伸到2027年,超出所有被测模型的训练截止时间,以避免记忆作弊
该基准一次性测试了来自六个实验室的18款模型,涵盖Anthropic、OpenAI、Google、DeepSeek、Qwen、GLM等
整轮18个模型的完整写入运行成本仅为15.11美元,评分完全由代码判定
18个模型中有11个能正确回答至少96%的记忆读取问题,但在记忆写入(维护护照)任务上差距显著拉大
智能体记忆的瓶颈在于写入路径,而大多数记忆基准(如LongBench、Needle-in-a-Haystack)只测试长上下文检索与推理,隐式假设记忆已被正确写入
给每类事实设置默认保质期是一种低成本的工程补丁,可修复记忆不过期问题,无需模型具备更强推理能力
全部知识事实 (8)
Passport Control 是一个发布在 Kaggle 上的基准测试,专门考察AI智能体记忆的写入(write)环节,共包含661项检查
50%待验证Passport Control 把661项检查归为四个家族:Keep(保留)、Refuse(拒绝)、Date(标注时间)、Change(变更)
50%待验证Passport Control 使用的所有测试日期从2026年末延伸到2027年,超出所有被测模型的训练截止时间,以避免记忆作弊
50%待验证该基准一次性测试了来自六个实验室的18款模型,涵盖Anthropic、OpenAI、Google、DeepSeek、Qwen、GLM等
50%待验证整轮18个模型的完整写入运行成本仅为15.11美元,评分完全由代码判定
50%待验证18个模型中有11个能正确回答至少96%的记忆读取问题,但在记忆写入(维护护照)任务上差距显著拉大
50%待验证智能体记忆的瓶颈在于写入路径,而大多数记忆基准(如LongBench、Needle-in-a-Haystack)只测试长上下文检索与推理,隐式假设记忆已被正确写入
50%待验证给每类事实设置默认保质期是一种低成本的工程补丁,可修复记忆不过期问题,无需模型具备更强推理能力
50%