HandbookBrain
一个基于图数据库的公司规则知识图谱系统,将文档、会议、决策和实施变更建模为可追溯、可版本化的图谱,支持智能体查询规则原因和影响分析。
时间轴 (近 90 天)
HandbookBrain 在 FalkorDB 上维护一张版本化知识图谱,容纳公司文档、会议与聊天、实施决策的合并请求,以及文档触及的系统、CRM 字段、指标和仪表盘。
HandbookBrain 以章节(Section)而非文档为版本单位,每次变更创建一个新的 Section 节点,通过 SUPERSEDES 指向旧版本,并带有 valid_from/valid_to 时间戳。
在 HandbookBrain 中,一个 Answer 节点通过 CITES 边引用它使用的确切章节版本,使得后续变更可以找到它破坏的答案。
HandbookBrain 将决策从会议、聊天或工单中提取,带发言人和逐字引用,链接到相关章节,并通过读取 diff 与实施提交对账。
HandbookBrain 实现混合检索,全部在 FalkorDB 内完成:章节嵌入的向量索引加上标题与正文的全文本索引,用倒数排名融合(RRF),并过滤到当前版本。
HandbookBrain 的智能体是一个工具调用循环,封装 10 个参数化只读 Cypher 工具;每条断言必须携带工具实际返回的引用,由代码检查。
HandbookBrain 的审查者运行在不同模型上,只看问题、证据和草稿,可以打回重写。
在演示中,5 月 21 日真实 MR !19600 在 Marketo 页面添加“Trial Threshold Scoring”,HandbookBrain 将其链接到 13 天前的一场合成市场运营会议。
7 月 23 日,真实 MR !20534 将试用阈值从 25 改为 31,导致 6 月 1 日的答案被 diff 判定为过时,答案刷新为 31,并附上会议、决策人和 MR。
HandbookBrain 的审计将变更日期、MR 编号、版本链对照 git log,2562/2562 通过。
还有 6 条时间轴事件
全部知识事实 (16)
HandbookBrain 在 FalkorDB 上维护一张版本化知识图谱,容纳公司文档、会议与聊天、实施决策的合并请求,以及文档触及的系统、CRM 字段、指标和仪表盘。
50%待验证HandbookBrain 以章节(Section)而非文档为版本单位,每次变更创建一个新的 Section 节点,通过 SUPERSEDES 指向旧版本,并带有 valid_from/valid_to 时间戳。
50%待验证在 HandbookBrain 中,一个 Answer 节点通过 CITES 边引用它使用的确切章节版本,使得后续变更可以找到它破坏的答案。
50%待验证HandbookBrain 将决策从会议、聊天或工单中提取,带发言人和逐字引用,链接到相关章节,并通过读取 diff 与实施提交对账。
50%待验证HandbookBrain 实现混合检索,全部在 FalkorDB 内完成:章节嵌入的向量索引加上标题与正文的全文本索引,用倒数排名融合(RRF),并过滤到当前版本。
50%待验证HandbookBrain 的智能体是一个工具调用循环,封装 10 个参数化只读 Cypher 工具;每条断言必须携带工具实际返回的引用,由代码检查。
50%待验证HandbookBrain 的审查者运行在不同模型上,只看问题、证据和草稿,可以打回重写。
50%待验证作者承认评估局限:问题来自单一数据集,且在看过这些问题失败后修过智能体,新问题上数字会更低。
50%待验证评估发现真实 bug:一个名为“Trial Threshold Scoring”的章节被埋在泛泛的“MQL and Lead Scoring”下,导致智能体回答 100 而不是 31,修复方式是搜索中加入标题匹配候选。
50%待验证HandbookBrain 的审计将变更日期、MR 编号、版本链对照 git log,2562/2562 通过。
50%待验证HandbookBrain 的审计将决策人、地点、引用对照会议记录,21/21 通过;将文档负责人对照 CODEOWNERS,122/122 通过;决策到实施 MR 的链接对照隐藏标签,0 个错误链接。
50%待验证在 29 个问题×3 次试验的评估中,HandbookBrain 总体得分 87%,RAG + git log 为 66%,普通 RAG 为 59%。
50%待验证在“说出实施决策的 MR”上,HandbookBrain 18/18 正确,RAG + git log 仅 4/18,普通 RAG 为 0/18。
50%待验证在“变更规则的旧/新值”上,HandbookBrain 15/15 正确,RAG + git log 为 9/15,普通 RAG 为 6/15;会议日期三者都是 18/18;普通查找三者都是 70%。
50%待验证在演示中,5 月 21 日真实 MR !19600 在 Marketo 页面添加“Trial Threshold Scoring”,HandbookBrain 将其链接到 13 天前的一场合成市场运营会议。
50%待验证7 月 23 日,真实 MR !20534 将试用阈值从 25 改为 31,导致 6 月 1 日的答案被 diff 判定为过时,答案刷新为 31,并附上会议、决策人和 MR。
50%