CSR
引用存活率,衡量MCP边界后正确来源的引用是否存活,结合支持性检查和溯源检查
时间轴 (近 90 天)
CSR(压缩稀疏行)是一种只存储非零元素及其列索引的矩阵格式,用数值、列号、行偏移三个数组表示,空间开销与边数成正比。
GitBlast 在浏览器内使用 AST 词法分词器将代码结构解析成低层级的压缩稀疏行(CSR)内存矩阵。
AI爬虫在严格的时间预算内处理页面,对客户端渲染(CSR)单页应用不友好,纯CSR架构若没有SSR或预渲染,爬虫可能只拿到空的挂载节点。
在 127 道 FastAPI 文档评测题(82 道单页可答、29 道跨页、16 道文档未覆盖)上,OpenAI Agents SDK 构建的 Agent 默认 API 下首轮 CSR 仅为 0.323,而 LangGraph Agent 为 0.614、单次 RAG 为 0.618。
首轮 OpenAI Agents SDK 的 127 条回答中 66 条未使用要求的 [url] 格式,但逐条阅读发现其中 51 条以 Markdown 链接形式引用了来源、7 条用其他括号格式,仅 8 条完全没给 URL;修正评分定义后 SDK Agent 的 CSR 从 0.323 升至 0.470。
三组重复实验表明,OpenAI Agents SDK 与单次 RAG 的 CSR 差距约六成来自引用格式不匹配,四成是真实的引用损失;原始评分器下差距为 −0.12,gpt-4o 评判下为 −0.09,只认指定格式时约为 −0.30。
评测中 gpt-4o 评判与作者本人 115 条盲判的一致度最高(κ 0.86),CSR 判定在 30 个盲测案例上与人工判断一致 25 到 27 个。
只跑一次实验不够,剩余差距的单次结果可能落在 −0.05 到 −0.16 之间,需要多轮重复实验才能稳定评估引用损失。
给每个检索块打上短来源 ID(如 [S3fa21c])并要求 Agent 以 [ID] 引用、生成后再映射回 URL,在自托管镜像上使格式错误回答从每轮约 50 降到约 5,SDK Agent 的 CSR 提升 0.10 到 0.13,与单次 RAG 的差距消失。
CSR(Citation Survival Rate)要求每个引用通过支持性检查和溯源检查两道验证:支持性检查用 FActScore 式原子断言拆分加 ALCE 式蕴含模型验证被引块是否支撑断言;溯源检查依赖工具调用日志确认 URL 确实出现在 Agent 检索到的内容里。
还有 2 条时间轴事件
全部知识事实 (12)
CSR(压缩稀疏行)是一种只存储非零元素及其列索引的矩阵格式,用数值、列号、行偏移三个数组表示,空间开销与边数成正比。
50%待验证GitBlast 在浏览器内使用 AST 词法分词器将代码结构解析成低层级的压缩稀疏行(CSR)内存矩阵。
50%待验证AI爬虫在严格的时间预算内处理页面,对客户端渲染(CSR)单页应用不友好,纯CSR架构若没有SSR或预渲染,爬虫可能只拿到空的挂载节点。
50%待验证在 127 道 FastAPI 文档评测题(82 道单页可答、29 道跨页、16 道文档未覆盖)上,OpenAI Agents SDK 构建的 Agent 默认 API 下首轮 CSR 仅为 0.323,而 LangGraph Agent 为 0.614、单次 RAG 为 0.618。
50%待验证首轮 OpenAI Agents SDK 的 127 条回答中 66 条未使用要求的 [url] 格式,但逐条阅读发现其中 51 条以 Markdown 链接形式引用了来源、7 条用其他括号格式,仅 8 条完全没给 URL;修正评分定义后 SDK Agent 的 CSR 从 0.323 升至 0.470。
50%待验证三组重复实验表明,OpenAI Agents SDK 与单次 RAG 的 CSR 差距约六成来自引用格式不匹配,四成是真实的引用损失;原始评分器下差距为 −0.12,gpt-4o 评判下为 −0.09,只认指定格式时约为 −0.30。
50%待验证评测中 gpt-4o 评判与作者本人 115 条盲判的一致度最高(κ 0.86),CSR 判定在 30 个盲测案例上与人工判断一致 25 到 27 个。
50%待验证只跑一次实验不够,剩余差距的单次结果可能落在 −0.05 到 −0.16 之间,需要多轮重复实验才能稳定评估引用损失。
50%待验证给每个检索块打上短来源 ID(如 [S3fa21c])并要求 Agent 以 [ID] 引用、生成后再映射回 URL,在自托管镜像上使格式错误回答从每轮约 50 降到约 5,SDK Agent 的 CSR 提升 0.10 到 0.13,与单次 RAG 的差距消失。
50%待验证CSR(Citation Survival Rate)要求每个引用通过支持性检查和溯源检查两道验证:支持性检查用 FActScore 式原子断言拆分加 ALCE 式蕴含模型验证被引块是否支撑断言;溯源检查依赖工具调用日志确认 URL 确实出现在 Agent 检索到的内容里。
50%待验证CSR 的分母只统计 Agent 实际检索到的正确来源,检索失败不计入 CSR,CSR 只衡量正确来源跨越 MCP 边界后发生了什么。
50%待验证query_start_loc数组采用前缀和编码方式,是压缩稀疏行(CSR)格式的变体,用于让attention kernel区分不同请求的边界
50%