不测伤害测风险：LLM对话心理危害风险因子检测新框架

大语言模型的心理危害难以直接度量——它往往在多次交互后才显现，且高度依赖用户的主观语境。一篇最新研究提出了一条可操作的替代路径：测量风险，而非伤害。研究者不再试图判断用户是否已经受到心理伤害，而是检测AI回复中那些可观察的、构成心理危害风险因子的行为，并将这些信号聚合起来支持纵向监测。这一思路为AI心理安全提供了一种可扩展的测量层。

为什么“直接测伤害”行不通

心理危害不像事实错误那样可以在单条回复中被判定。它的产生具有延迟性和累积性：同一句话对不同用户的影响可能截然不同，伤害可能在重复交互中逐步累积，而非在某一轮对话中突然出现。这意味着任何依赖单轮输出判断“是否造成伤害”的方法，都不可避免地要把可观察的AI行为与用户潜在的、不可见的心理状态混为一谈。

研究者的核心主张是：与其猜测用户的内部状态，不如退一步，测量AI行为层面的风险因子。这些风险因子是客观可观察的、可在回复级别标注的，且不依赖模型内部状态，因此对所有模型通用。

八类可操作的风险行为与合成语料

研究者将风险因子操作化为八种可观察的AI行为，并据此构建了一个合成多标签语料库：包含47,062条AI回复和373,873个回复-因子标签，并辅以定向人工标注用于验证和评估。多标签意味着一条回复可能同时触发多种风险行为，这也更贴近真实对话的复杂性。

有意思的是，所有检测器都是模型无关的，只作用于LLM的输出文本，无需访问模型内部状态。这降低了部署门槛，也避免了针对特定模型架构的绑定。

合成多标签语料指并非从真实用户对话中直接采集，而是通过模板、规则或生成模型构造出的标注数据集；每条样本可同时携带多个标签，以刻画一条回复触发的多重风险行为。这种构造方式便于控制标签分布、覆盖稀有组合，但也需警惕合成分布与真实对话分布之间的偏差，因此原文辅以定向人工标注进行验证与校准。

三类检测方案的对比与级联设计

研究比较了三种技术路线：基于嵌入（embedding）训练的分类器、直接由LLM进行判断（LLM judging），以及分类器—判断器级联（classifier–judge cascade）。

在留出的人工标注数据上，最佳级联方案取得了macro precision 0.86、recall 0.76、F1 0.79的表现。级联设计的价值在效率上体现得尤为明显：在WildChat数据集上，它相对于直接LLM判断将判断器调用量减少了97.1%。这意味着在保持检测质量的同时，大规模监测的推理成本被大幅压缩。

另一项发现来自DelusionEval：风险因子检测结果在对话内部呈现聚集性。换句话说，风险行为并非随机散布，而是在特定对话中集中出现——这恰好支持了纵向、对话级别的监测思路。

macro precision / recall / F1 是先按每个风险因子标签分别计算 precision、recall 与 F1，再对这些标签取算术平均得到的指标。与 micro 平均（按样本或标签实例汇总后计算）不同，macro 平均对每个标签一视同仁，因此稀有风险因子与高频风险因子权重相同。这使得 macro F1 更能反映检测器在长尾风险行为上的均衡表现，而不是被高频标签主导。

分类器—判断器级联是一种成本分层架构：先用轻量、廉价的分类器对所有回复做初筛，仅将分类器置信度处于灰区或判定为高风险的样本送入昂贵的 LLM 判断器复核。原文中 97.1% 的调用削减正来自这一分流——绝大多数低风险回复在初筛阶段即被放行，无需触发大模型推理。

对AI安全监测的意义

这项工作的贡献不在于给出一个“心理危害判定器”，而在于建立了一套分层的测量逻辑：回复级的风险行为检测 → 对话级的信号聚合 → 纵向的心理安全监测。它明确区分了“可观察的AI行为”与“潜在的用户伤害”这两个概念，避免了将前者直接等同于后者的常见谬误。

对于部署对话式AI产品的团队而言，这一框架提供了一种务实的工程路径：无需侵入用户隐私或推测用户心理状态，仅基于输出文本即可构建风险信号层，并将有限的高成本判断资源集中在高风险对话上。研究者也指出，伤害的最终确认仍需依赖用户语境，风险检测只是监测链条的起点，而非终点。

WildChat 是一个公开的真实用户与 ChatGPT 交互的对话数据集，包含多语言、多场景的自然对话，常被用作检测器在真实分布上的外部验证集。DelusionEval 则是聚焦妄想相关内容的评测集，用于检验风险信号是否在特定对话中聚集。两者的作用不同：前者衡量方法在开放真实流量上的泛化与效率，后者用于观察风险因子在对话内部的时序与聚集结构。