第一版评估使用GPT-4作为裁判读取对话轨迹并输出noticed: true/false，但在实际使用中崩溃，存在三个具体原因：长对话中的位置偏差、裁判模型倾向于善意解读、跨运行的非确定性。