概念context-blind评估
上下文盲评估
将每一段问答视为独立样本,只检查回复本身是否符合医学常识与安全规范,不考虑用户个人背景的评估方法。其局限在于可能遗漏对特定用户构成伤害的回复。
时间轴 (近 90 天)
10月14日
当把用户自己的历史背景喂给评估模型(用户上下文感知评估)时,高风险比例比上下文盲评估再上升 13 到 17 个百分点。
待验证50%
10月14日
大约四分之一在孤立评估(上下文盲)中被判为安全的对话,对具体的提问者而言其实是不安全的。
待验证50%
10月14日
上下文盲评估把每一段问答视为独立样本,只检查回复本身是否符合医学常识与安全规范;用户上下文感知评估则把该用户此前累积的年龄、性别、既往病史、用药情况等历史信息作为前提条件,再判断这条回复对这个具体的人是否安全。
待验证50%