Ratified
基于图数据库构建的可溯源问答项目,用确定性图遍历和手写Cypher查询替代生成式推断,每个答案都附带可点击的源链接。
时间轴 (近 90 天)
Ratified项目旨在验证图数据库能否自动串联邮件线索并保证每一步可查证,选择公开邮件列表作为试验场。
Ratified的硬规则是每个答案都必须以一个陌生人能打开的链接收尾。
Ratified的答案来自图遍历而非模型记忆;没有模型负责写Cypher,一个确定性路由器为每个问题挑选一条手写查询;如果遍历返回空,卡片就明说「图不知道」。
Ratified与主流RAG方案形成对比:RAG把检索到的文本块交给模型自由组织答案,而Ratified用结构化的图路径替代生成式推断,把可验证性放在首位。
团队从TLS列表抓取了3,078封邮件(其中1,324封含全文)、633个线程和403位参与者,每封邮件都连向作者和线程。
团队从IETF datatracker加载了113份草案及其839个修订版,用SUPERSEDED连成链,再接上它们最终演化成的66份RFC。
ALIGNS_SECTION边将每个修订版的每一节映射到它变成的RFC章节,匹配依据是标题文本,并记录文本是否仍在变化(与最终发布版本相似度低于98%)。
对§4.2.1,Cypher查询返回的链条是:邮件→线程→draft -24→-25→-26→-27→-28→RFC 8446→§4.2.1。
第一版缺陷:一个叫「RFC Errata System」的名字被列为在§4.2.10发布前「讨论」过它的人,实际上勘误报告是数年之后才提交的。
修复规则:一封邮件只有写于它所指向的修订版仍然现行的期间(早于下一修订版或RFC发布月)才算数。
还有 8 条时间轴事件
全部知识事实 (18)
修订列表和计数这类问题的答案不在任何文本里,而在图结构里,这构成使用图数据库的理由,但严格说并不算检索的失败。
50%待验证Ratified的硬规则是每个答案都必须以一个陌生人能打开的链接收尾。
50%待验证Ratified的答案来自图遍历而非模型记忆;没有模型负责写Cypher,一个确定性路由器为每个问题挑选一条手写查询;如果遍历返回空,卡片就明说「图不知道」。
50%待验证Ratified与主流RAG方案形成对比:RAG把检索到的文本块交给模型自由组织答案,而Ratified用结构化的图路径替代生成式推断,把可验证性放在首位。
50%待验证团队从TLS列表抓取了3,078封邮件(其中1,324封含全文)、633个线程和403位参与者,每封邮件都连向作者和线程。
50%待验证团队从IETF datatracker加载了113份草案及其839个修订版,用SUPERSEDED连成链,再接上它们最终演化成的66份RFC。
50%待验证ALIGNS_SECTION边将每个修订版的每一节映射到它变成的RFC章节,匹配依据是标题文本,并记录文本是否仍在变化(与最终发布版本相似度低于98%)。
50%待验证对§4.2.1,Cypher查询返回的链条是:邮件→线程→draft -24→-25→-26→-27→-28→RFC 8446→§4.2.1。
50%待验证Ratified项目旨在验证图数据库能否自动串联邮件线索并保证每一步可查证,选择公开邮件列表作为试验场。
50%待验证修复规则:一封邮件只有写于它所指向的修订版仍然现行的期间(早于下一修订版或RFC发布月)才算数。
50%待验证修正后,§4.2.1给出6封邮件、5个人、2018年3月的答案,且写于该条款仍与最终版本不同的时期。
50%待验证在「谁懂什么」排名中,草案编辑在两个指标(PageRank和Betweenness)上都排第一,一位主席排第二。
50%待验证对章节标题建全文索引可将自然语言问题解析到章节,但索引章节正文反而让结果变差,因为宽泛的概览章节会压过精确标题,最终只索引标题。
50%待验证每张答案卡片有一个面板,列出FalkorDB实际执行的Cypher、参数、行数以及数据库自报的run_time_ms;以§4.2.1的问题为例,共4条查询,在笔记本上总耗时不到1毫秒。
50%待验证问从未摄入的内容(如IESG投票或会议纪要)时,Ratified返回灰色卡片「图不知道」,作者认为这是他们最信任的功能。
50%待验证在13个问题上,图方案(Ratified)答对13/13;同样文本上的BM25加bge-small检索器确切命中1/10,前十名内3/10,还有三个计数问题无法打分。
50%待验证作者承认对比对自己有利,公平版:在证据确实存在于检索器可见文本的三个问题上,图3/3、检索1/3。
50%待验证第一版缺陷:一个叫「RFC Errata System」的名字被列为在§4.2.10发布前「讨论」过它的人,实际上勘误报告是数年之后才提交的。
50%