[控场AI]
基准

CSR

引用存活率,衡量MCP边界后正确来源的引用是否存活,结合支持性检查和溯源检查

时间轴 (近 90 天)

10月18日

CSR(压缩稀疏行)是一种只存储非零元素及其列索引的矩阵格式,用数值、列号、行偏移三个数组表示,空间开销与边数成正比。

待验证50%
10月18日

GitBlast 在浏览器内使用 AST 词法分词器将代码结构解析成低层级的压缩稀疏行(CSR)内存矩阵。

待验证50%
10月17日

AI爬虫在严格的时间预算内处理页面,对客户端渲染(CSR)单页应用不友好,纯CSR架构若没有SSR或预渲染,爬虫可能只拿到空的挂载节点。

待验证50%
10月17日

在 127 道 FastAPI 文档评测题(82 道单页可答、29 道跨页、16 道文档未覆盖)上,OpenAI Agents SDK 构建的 Agent 默认 API 下首轮 CSR 仅为 0.323,而 LangGraph Agent 为 0.614、单次 RAG 为 0.618。

待验证50%
10月17日

首轮 OpenAI Agents SDK 的 127 条回答中 66 条未使用要求的 [url] 格式,但逐条阅读发现其中 51 条以 Markdown 链接形式引用了来源、7 条用其他括号格式,仅 8 条完全没给 URL;修正评分定义后 SDK Agent 的 CSR 从 0.323 升至 0.470。

待验证50%
10月17日

三组重复实验表明,OpenAI Agents SDK 与单次 RAG 的 CSR 差距约六成来自引用格式不匹配,四成是真实的引用损失;原始评分器下差距为 −0.12,gpt-4o 评判下为 −0.09,只认指定格式时约为 −0.30。

待验证50%
10月17日

评测中 gpt-4o 评判与作者本人 115 条盲判的一致度最高(κ 0.86),CSR 判定在 30 个盲测案例上与人工判断一致 25 到 27 个。

待验证50%
10月17日

只跑一次实验不够,剩余差距的单次结果可能落在 −0.05 到 −0.16 之间,需要多轮重复实验才能稳定评估引用损失。

待验证50%
10月17日

给每个检索块打上短来源 ID(如 [S3fa21c])并要求 Agent 以 [ID] 引用、生成后再映射回 URL,在自托管镜像上使格式错误回答从每轮约 50 降到约 5,SDK Agent 的 CSR 提升 0.10 到 0.13,与单次 RAG 的差距消失。

待验证50%
10月17日

CSR(Citation Survival Rate)要求每个引用通过支持性检查和溯源检查两道验证:支持性检查用 FActScore 式原子断言拆分加 ALCE 式蕴含模型验证被引块是否支撑断言;溯源检查依赖工具调用日志确认 URL 确实出现在 Agent 检索到的内容里。

待验证50%

还有 2 条时间轴事件

全部知识事实 (12)

待验证

CSR(压缩稀疏行)是一种只存储非零元素及其列索引的矩阵格式,用数值、列号、行偏移三个数组表示,空间开销与边数成正比。

50%
待验证

GitBlast 在浏览器内使用 AST 词法分词器将代码结构解析成低层级的压缩稀疏行(CSR)内存矩阵。

50%
待验证

AI爬虫在严格的时间预算内处理页面,对客户端渲染(CSR)单页应用不友好,纯CSR架构若没有SSR或预渲染,爬虫可能只拿到空的挂载节点。

50%
待验证

在 127 道 FastAPI 文档评测题(82 道单页可答、29 道跨页、16 道文档未覆盖)上,OpenAI Agents SDK 构建的 Agent 默认 API 下首轮 CSR 仅为 0.323,而 LangGraph Agent 为 0.614、单次 RAG 为 0.618。

50%
待验证

首轮 OpenAI Agents SDK 的 127 条回答中 66 条未使用要求的 [url] 格式,但逐条阅读发现其中 51 条以 Markdown 链接形式引用了来源、7 条用其他括号格式,仅 8 条完全没给 URL;修正评分定义后 SDK Agent 的 CSR 从 0.323 升至 0.470。

50%
待验证

三组重复实验表明,OpenAI Agents SDK 与单次 RAG 的 CSR 差距约六成来自引用格式不匹配,四成是真实的引用损失;原始评分器下差距为 −0.12,gpt-4o 评判下为 −0.09,只认指定格式时约为 −0.30。

50%
待验证

评测中 gpt-4o 评判与作者本人 115 条盲判的一致度最高(κ 0.86),CSR 判定在 30 个盲测案例上与人工判断一致 25 到 27 个。

50%
待验证

只跑一次实验不够,剩余差距的单次结果可能落在 −0.05 到 −0.16 之间,需要多轮重复实验才能稳定评估引用损失。

50%
待验证

给每个检索块打上短来源 ID(如 [S3fa21c])并要求 Agent 以 [ID] 引用、生成后再映射回 URL,在自托管镜像上使格式错误回答从每轮约 50 降到约 5,SDK Agent 的 CSR 提升 0.10 到 0.13,与单次 RAG 的差距消失。

50%
待验证

CSR(Citation Survival Rate)要求每个引用通过支持性检查和溯源检查两道验证:支持性检查用 FActScore 式原子断言拆分加 ALCE 式蕴含模型验证被引块是否支撑断言;溯源检查依赖工具调用日志确认 URL 确实出现在 Agent 检索到的内容里。

50%
待验证

CSR 的分母只统计 Agent 实际检索到的正确来源,检索失败不计入 CSR,CSR 只衡量正确来源跨越 MCP 边界后发生了什么。

50%
待验证

query_start_loc数组采用前缀和编码方式,是压缩稀疏行(CSR)格式的变体,用于让attention kernel区分不同请求的边界

50%

来源文章