LLM过滤训练数据：虚拟流量计精度提升24%

工业AI模型的效果往往受限于训练数据的质量。传感器故障、工艺波动、操作员误输入等异常，会掩盖数据背后的物理规律，拖累预测精度。传统规则过滤能剔除一部分脏数据，却无法利用工程师注释和操作日志中蕴含的上下文信息——而这些文本恰恰解释了数据是在什么条件下采集的。

一项新研究提出了文本信息驱动的数据过滤方法，用大语言模型（LLM）将非结构化操作文本与表格化传感器数据打通，为工业机器学习的数据清洗提供了可规模化的新思路。

传统过滤方法为何力不从心

在能源、水产养殖、化工等行业，机理模型和数据驱动模型都面临同一个瓶颈：训练数据质量差。异常数据的形式多种多样，从传感器故障到工艺扰动，再到操作员手动输入错误，都会污染数据集。

规则过滤的局限在于它只能识别预定义模式。比如设定一个温度阈值，超出范围就标记为异常。但很多异常是情境相关的——某个读数在正常工况下是合理的，在特殊操作阶段却可能是错误记录。这类判断需要理解数据采集时的背景，而这些背景信息通常以工程师注释、操作日志等非结构化文本形式存在，规则引擎对此无能为力。

两步走：从多模态异常检测到二值掩码

研究团队提出的方法包含两个步骤。第一步是上下文异常检测，LLM同时推理文本和传感器两种模态的数据，判断某条记录是否异常。第二步是生成二值掩码（binary mask），将判定结果转化为对训练数据集的过滤操作。

关键在于LLM的推理能力。它不只看数值是否偏离统计分布，还会结合操作员在日志中写下的评论——比如"因调试需要临时关闭了某阀门"——来综合判断这条数据是否应该保留。这种多模态推理让过滤决策有了更丰富的依据。

二值掩码（binary mask） 是数据处理中常见的操作形式：为数据集中的每条记录生成一个 0/1 标签，1 表示保留、0 表示剔除，最终形成与样本一一对应的掩码向量用以下游过滤。相比直接删除异常记录，掩码的优点是可追溯、可逆，便于消融实验对比不同过滤策略，也方便在数据版本管理中记录过滤决策。在工业场景中，掩码还可以按时间窗口聚合，用于分析异常发生的工况规律。

虚拟流量计实验：MAPE从7.1%降至5.4%

为了验证方法效果，团队选择虚拟流量计作为下游评估任务。虚拟流量计是一种稳态软测量回归模型，通过传感器数据估算油井流量，是典型的工业级应用场景。

实验在合成油气数据集上进行。对比结果显示，文本信息驱动的过滤方法优于传统规则过滤。消融实验进一步揭示了文本的独立价值：仅使用传感器数据进行过滤时，下游模型的MAPE为7.1%；加入操作员文本评论后，MAPE降至5.4%。文本提供了传感器数据之外的过滤信号，而非可有可无的补充。

MAPE（Mean Absolute Percentage Error，平均绝对百分比误差） 是回归任务中常用的精度指标，计算方式为预测值与真实值之差的绝对值除以真实值，再对所有样本取平均并乘以 100%，以百分比形式呈现。它直观反映了预测相对误差的平均水平，数值越低表示模型越准。MAPE 的局限在于当真实值接近零时会被放大甚至无定义，因此在流量、产量等恒为正且量级稳定的工业场景中较为适用。1.7 个百分点的下降对于软测量模型而言属于显著改进，通常对应可观的经济收益。

对工业AI数据治理的启示

这项工作最直接的意义在于，它证明了非结构化操作知识与传感器数据通过LLM融合后，能实质性地提升工业机器学习的数据质量。

手动数据策展（manual data curation）在工业场景中成本极高，需要领域专家逐条审查。LLM驱动的自动化方案提供了一种可扩展的替代路径。企业不需要推翻现有的数据管道，而是在过滤环节增加一个文本理解层，就能让下游模型受益。

当然，合成数据集上的结果需要真实工业数据的进一步验证。LLM推理的稳定性和成本也是工程落地时需要考虑的因素。但方向已经清晰：工业数据治理正在从纯数值规则走向多模态语义理解。

手动数据策展（manual data curation） 指由领域专家逐条检查、标注、剔除或修正训练数据的过程。它在工业界长期被视为保障数据质量最可靠的手段，但成本极高：一名资深工艺工程师可能需要数周才能完成一个小型数据集的人工清洗，且难以覆盖持续产生的新数据。这一瓶颈正是自动化过滤方法的现实动因——LLM 方案并非要完全取代专家，而是把专家的判断模式固化到可批量执行的推理流程中，让专家从重复劳动中解放出来，专注于规则难以覆盖的边界案例。