LangGraph 评测引擎对决人类面试官：AI 打分能否匹敌资深工程师？

当 AI 开始介入技术招聘，工程团队有理由保持警惕。一个被幻觉污染的评分、一次带有偏见的判断，可能意味着放走真正的 10 倍工程师，或者招进一个严重错配的人。

为了验证基于 LangGraph 的确定性架构是否真的能胜任评估工作，Kovi 团队做了一场严格的双盲基准测试：让 AI 评估引擎与三位资深 Staff Engineer 就同一批标准化面试记录进行打分。核心问题只有一个——一个自主状态机，能否像人类工程经理一样准确地评估后端工程人才？

据多源实测数据与现实案例交叉印证，AI 面试评测正在从“能不能用”进入“准不准”的阶段。

方法论：双盲、同题、独立打分

测试数据集由 25 份匿名技术面试记录构成，覆盖三个核心岗位：Python 后端工程师、DevOps/SRE 以及 AI/ML 工程师。

人类评审组由三位经验丰富的 Staff Engineer 组成，他们依据统一的 10 分制评分量表，从四个维度打分：技术深度、问题解决、沟通能力、系统设计。三人的平均分构成“人类基线”。

AI 评估器使用的是 Kovi 的隔离评估节点（Isolated Evaluator Node）。得益于 LangGraph 的 supervisor-worker 架构，评估模型与对话语音模型完全解耦，它的唯一任务是将面试记录中的证据映射到同一份评分量表上。

两组的评分过程互不知情，完全盲测。

LangGraph 的 supervisor-worker 架构是理解本文 AI 评估器设计的关键。LangGraph 是 LangChain 团队推出的一个用于构建有状态、多智能体应用的框架，它把工作流建模为一张有向图：节点（Node）代表具体的计算步骤或智能体，边（Edge）代表状态流转与条件分支，并支持循环、中断与人工介入。所谓 supervisor-worker（主管—工人）模式，是指由一个 supervisor 节点负责统筹、路由与结果聚合，多个 worker 节点各自承担隔离的子任务。本文中，对话语音模型负责与候选人实时交互，而评估模型被放进独立的 worker 节点，二者共享同一份图状态但不共享推理上下文，从而实现“评分与对话解耦”。这种设计让评估器的输入被严格限定为面试记录文本，避免了生成过程中的上下文污染，是后续“零评分幻觉”得以成立的结构性前提。

基准结果：94.2% 相关性

在全部 25 场面试中，Kovi 与人类基线的整体相关性达到 94.2%。具体到各维度：

评估维度	人类平均分	Kovi 平均分	平均偏差
技术深度	7.4	7.2	-0.2（更严格）
问题解决	6.8	6.9	+0.1（基本匹配）
系统设计	7.1	7.1	0.0（完全一致）
沟通能力	8.2	7.8	-0.4（更严格）
综合评分	7.37	7.25	-0.12

整体差距仅 0.12 分，AI 系统在四个维度上的表现已经非常接近人类资深评审。

偏差分析：AI 更客观，还是人类太宽松？

数据虽然有高度一致性，但细微偏差揭示了人机评分的本质差异。

1. Kovi 不受“光环效应”影响

在沟通维度，人类评审给出的平均分（8.2）明显高于 Kovi（7.8）。翻阅面试记录后发现，当候选人表达流畅、富有魅力时，人类评审往往会不自觉地抬高其技术评分，即使底层技术回答并不扎实。Kovi 的确定性引擎则完全忽略对话中的“魅力值”，只提取准确的架构术语和技术证据，因此沟通评分更严格，也更客观。

2. 系统设计维度完美对齐

系统设计历来是标准 LLM 最难评估的领域，因为答案开放、缺乏固定标准。但 Kovi 的 LangGraph 架构在面试过程中会动态注入高度具体的追问，用来测试边界条件，例如“这个 FastAPI 端点如何处理 10000 个并发请求？”。由此产生的面试记录包含扎实的推理证据，使得 AI 与人类评审在该维度上完全一致（7.1 对 7.1）。

3. 零评分幻觉

在全部 25 次评估中，Kovi 从未引用候选人没有明确提及的技术或框架。隔离评估节点成功阻止了 AI“脑补未说出口的内容”，而这正是标准 LLM 封装器常见的失败点。

光环效应（Halo Effect）是心理学中的经典认知偏差：当一个人在某一个突出特质上给人留下良好印象时，观察者会不自觉地推断他在其他不相关的维度上同样优秀。在教育与招聘评分中，这一效应表现为“表达流利、气场强”的候选人被整体拔高，即便技术回答存在漏洞。本文中人类评审在沟通维度给出 8.2 分、并把这种好感迁移到技术评分上，正是光环效应的典型体现。与之相对的是确定性引擎：在 LangGraph 这类状态机框架下，评估节点的输入、评分量表、输出结构与流转条件都是预定义的，模型只被允许依据记录中出现的显式证据做映射，不引入自由裁量的整体印象。因此 AI 在沟通维度更严格（-0.4），并非“更懂沟通”，而是它无法被魅力说服。理解这一点，才能正确解读 94.2% 相关性背后人机差异的真正来源：偏差结构不同，而非孰优孰劣。

评分幻觉指评估模型在缺乏证据时，凭语言先验“补全”出一个看起来合理但候选人从未提及的技术细节，例如把简历中的 Kubernetes 经验自动写进面试表现的评语里。标准 LLM 封装器之所以高发此类问题，是因为它们通常把整段对话与评分指令塞进同一个上下文窗口，模型在续写式生成中倾向于让叙述“更完整”。本文的隔离评估节点通过三条约束抑制了幻觉：其一，输入被裁剪为结构化面试记录，不混入简历等外部文本；其二，输出被强制映射到固定评分量表与维度字段，自由文本空间被压缩；其三，评估与对话在图上分离，评分时模型看不到生成过程中的中间推理，无法被自己的先前表述带偏。这正是“零评分幻觉”在 25 次评估中成立的原因，也说明抑制幻觉更多依赖架构约束，而非单纯依赖模型能力提升。

生产可行性：一致性取代疲劳与偏见

综合来看，数据说明：依靠严格的状态机进行候选人评估，可以在维持精英工程标准的同时，消除人类评审的疲劳与偏见。

将这套系统放大到整个招聘流水线，Kovi 提供的是“Staff Engineer 状态最好时”的评分一致性，可同时运行数千场评估而不退化，单次筛选成本为 150 卢比。

对于工程团队而言，AI 评测的意义不在于取代人类判断，而在于用确定性架构守住评分质量的底线——让每一份面试记录都得到同样严格、同样客观的审视。

单次筛选成本 150 卢比这一数字需要放到招聘漏斗中理解。按当前汇率，150 卢比约合人民币 13 元或 1.8 美元，明显低于一场 45—60 分钟技术面试的人力成本（资深工程师时薪通常可达数十至上百美元）。更关键的并非单价，而是边际成本的恒定性：人类评审随时间推移会疲劳、注意力下降，单位成本实际是递增的；而状态机评估器并行运行数千场时，每场的 token 消耗与延迟基本不变。CIO 与工程管理者在评估此类系统时，应把“一致性成本曲线是否水平”作为核心指标，而不是只看单次报价。同时需注意，低成本仅适用于初筛与标准化维度打分，涉及文化契合、职业动机等开放判断的环节，仍需要人类面试官兜底，这也印证了文末“AI 不取代人类判断，而是守住评分质量底线”的定位。