#数据质量

共 8 篇相关文章

Data Autopsy 是一个开源 AI 辅助的表格数据集取证工具，通过确定性检查发现缺失值、重复记录、离群值、类别不平衡与目标泄漏等风险，并用本地语言模型解释证据，帮助开发者在训练模型前理解数据问题。

AI智能体能写出流畅的开放式回答，传统问卷防欺诈手段失效。B2B市场研究专家分享5个仍有效的识别方法：服务端验证、回答模式分析、受众知识核查、元数据交叉验证，以及避免误伤真实用户的组合策略。

SEC Form N-PORT的IDENTIFIER_TICKER字段并非真正的股票代码：实测1720万行数据中，抵押贷款池前缀、债券发行人代码、期货合约代码混杂其中，直接连接股票代码列表会让AI代理的基金持仓数据静默出错。本文解析字段陷阱与防御性处理方案。

一个文档证据模型准确率 90%，却漏掉了唯一的关键阳性样本。本文探讨评估目标定义如何决定分数含义，涉及类别不均衡、数据独立性、基线测量和语义兼容性等 AI 评估中的核心陷阱。

一篇arXiv论文提出以表头为中心的可解释框架，用于仅依赖元数据的语义表解析与数据质量评估。框架将表头映射至39种可解释类型并支持词级溯源，在约12万列表头的多基准评测中验证了实用性，为知识图谱准备提供可复用工作流。

模型崩溃（Model Collapse）被视为生成式AI的重大威胁，但它既非新问题也非AI独有。本文从系统性反馈循环的视角，重新审视模型崩溃的本质及应对思路。

一个97%通过率的AI评估套件，竟掩盖了多语言切片仅61%的真实失败。本文剖析数据泄漏、聚合指标误导的根源，并探讨如何用队列级质量门（cohort-level gate）和回归数据集来守住小样本高价值切片。

探讨如何构建自主数据代理以在大规模实时场景下修复数据完整性问题，涵盖检测机制、修复策略、可观测性与规模化落地的关键设计思路。