概念Data Engineering
数据工程
数据工程是专注于数据基础设施建设与数据管道开发的工程学科，涵盖数据采集、存储、处理、转换和交付等环节，融合软件工程、数据库、分布式系统和云计算等多领域知识，是支撑机器学习、商业智能和大数据分析的核心基础
时间轴 (近 90 天)
10月28日
课程强调数据工程是微调中必不可少的环节，并将其描述为“怎么把这些数据变成有价值的序列数据集”。
待验证50%
10月28日
数据工程还包括样本去重（避免训练集泄漏）、难度分层（防止简单样本主导梯度）以及质量过滤（剔除低质或有害内容）。
待验证50%
10月17日
数据工程中有大量可被自动化的环节：SQL生成与审查、PySpark代码补全、数据管道文档撰写、异常检测与告警解释
待验证50%