Data Autopsy

Data Autopsy 是一个开源、AI 辅助的表格数据集取证调查工具，聚焦 CSV 数据集，工作流包括上传 CSV、分析结构与内容、运行确定性取证检查、审查结果、导出报告，并可选地用本地语言模型解释发现。

Data Autopsy 的核心架构决策是将检测与解释分离：Python 编写的统计与规则检查负责识别潜在问题并返回结构化发现，语言模型仅作为可选解释层，不决定检测器是否发现问题。

Data Autopsy 的取证引擎当前实现覆盖十类调查，包括缺失值、重复记录、常量列、标识符列、数值离群值、高基数分类特征、分类值不一致、类别不平衡、特征相关性和目标泄漏。

Data Autopsy 使用中位数绝对偏差（MAD）与修正 Z 分数进行离群值检测，修正 Z 分数定义为 0.6745 × (x − 中位数) / MAD，通常以 3.5 作为阈值，对应正态分布下约万分之三的尾部概率。

Data Autopsy 使用两种统计方法检测数值离群值：四分位距（IQR）法（使用 1.5 的可配置乘数）和基于 MAD 的修正 Z 分数（阈值 3.5）。

Data Autopsy 对缺失值发现使用可配置阈值进行分类，完全或大量缺失的列严重程度更高，报告可包含受影响列、缺失数量、缺失百分比和触发发现的阈值。

Data Autopsy 标记常量列以及单个值占据至少 99% 观测的列。

Data Autopsy 的类别不平衡检查使用可配置比率标记严重不平衡，当前规则包含 4:1 和 20:1 两个不同严重程度的阈值。

Data Autopsy 使用 Pearson 相关系数阈值识别高度相关的特征对，并将成对分析限制在高方差数值列的子集上，同时限制考虑的行数，以在有用性和计算成本之间取得折中。

Data Autopsy 的目标泄漏检查寻找几个可疑信号，包括与目标相同的特征、非常强的数值关系、异常强的分类类别纯度，以及适用情况下较高的 ROC-AUC 分数，但这些信号本身不能证明泄漏。

Data Autopsy 在修剪周围空白并规范化大小写后，寻找分类特征中冲突的字符串表示（如 'Mumbai' 和 'mumbai'），但工具仅识别不一致性，由用户决定如何处理。