概念Rationale Labeling / 带理由的标注
理由标注
一种专家反馈方式,要求标注者在为案例打标签时同时提供判断理由,融合了正确答案与推理路径,源自行为心理学的出声思维方法论,用于辅助大语言模型优化码本理解
时间轴 (近 90 天)
9月24日
理由标注要求专家直接为分歧案例打上标签并附上标注理由说明,该方法根植于行为心理学中的出声思维(think-aloud)方法论
待验证50%
9月24日
在数千份辅导课程转录文本的实验中,理由标注方式取得了最高的LLM标注准确率,达到64.9%
待验证50%
9月24日
理由标注方式领先传统专家修订码本方式约7个百分点
待验证50%
9月24日
让专家针对具体分歧案例给出带理由的标注,效果优于让专家直接改写整套码本
待验证50%