#数据工程
共 15 篇相关文章
云数据仓库成本失控？用预算和告警机制主动管控
云数据仓库成本容易在无人察觉中失控。本文解析如何通过分层预算、分级告警和自动化动作，构建主动的成本治理体系，把被动买单转变为实时控制。
将 dbt ETL 管道迁移到 Databricks 的实践指南
详解如何将现有 dbt ETL 转换管道迁移并重新指向 Databricks Lakehouse，涵盖适配器配置、SQL 方言适配、物化策略调整及数据一致性验证等关键步骤与优化建议。
HF Buckets与Xet：只上传变化的数据，告别带宽浪费
Hugging Face Xet 技术让你只上传数据集中真正变化的部分，告别重复上传带来的带宽浪费。本文解析 HF Buckets 工作原理、Parquet 内容定义分块配置及生产环境注意事项。
AegisFlow：多智能体框架让数据管道自愈，MTTR降低98%
arXiv 新论文提出 AegisFlow——基于多智能体与大语言模型的自愈数据管道框架。通过 Watchdog 与 Repair 智能体及 Parallel Shadow Patching，将 MTTR 降低 98.1%，补丁成功率达 92%。
用GenAI在Databricks上迁移Power BI仪表板实战解析
本文解析了一个基于Databricks App与生成式AI的Power BI迁移工具，演示如何自动将DAX度量转换为SQL、映射可视化并部署AI/BI仪表板，揭示企业级AI数据栈迁移的实战方法论。
IFCO大型dbt项目在Databricks上的规模化运维实践
IFCO数据团队分享在Databricks上运维超大规模dbt项目的实战经验，涵盖性能优化、数据可见性和调试三大核心挑战，为数据工程团队的规模化实践提供参考。
破解数据锁定：用REGISTER与UNREGISTER API实现目录可移植性
湖仓架构下，开放表格式解决了存储可移植性，但目录锁定成为新难题。本文解析REGISTER与UNREGISTER API如何实现元数据松耦合，帮助企业避免厂商绑定、支持多目录协作并安全迁移数据。
DeepLearning.AI上线数据工程专业证书课程
DeepLearning.AI 联合 AWS 推出数据工程专业证书课程，由 Joe Reis 主讲，覆盖数据工程生命周期、批流管道、基础设施即代码、云上网络安全等实战内容，适合零基础入门者与转型从业者。
Databricks高级学习节：认证五折优惠与六大学习路径
Databricks高级学习节于9月16日至10月14日举办，覆盖数据工程、机器学习、生成式AI、Apache Spark等六大学习路径。完成任一路径可获认证五折及Academy Labs年度订阅八折优惠。
生产级AI Agent的安全写入、状态管理与可溯源设计
一场聚焦生产级AI Agent的4小时线上工作坊，深入讲解安全写入路径、状态管理、幂等性、可溯源设计与故障模式，由Databricks技术负责人主讲，面向中高级AI工程师。
SQL 行模式匹配：用 MATCH_RECOGNIZE 实现"行级正则"
MATCH_RECOGNIZE 让 SQL 拥有"行级正则"能力，用类正则语法匹配连续行序列，轻松检测暴力破解、交易异常、用户行为路径等顺序模式，告别繁琐的自连接与窗口函数。
构建自主数据代理：实时修复大规模数据完整性
探讨如何构建自主数据代理以在大规模实时场景下修复数据完整性问题，涵盖检测机制、修复策略、可观测性与规模化落地的关键设计思路。
教程攻略Agent平台基石：Session Event的抽象、传输与存储实战
深入解析生产级Agent平台中Session Event的工程设计：如何通过Universal Event统一多运行时事件格式，设计三方架构下的流式传输容错机制，以及存储方案从JSONB到表拆分的演进踩坑经验。涵盖APO、Skills抽取、模型微调等数据价值应用。
深度解读合成数据是解药还是毒药？AI训练数据枯竭的破局之道
互联网数据即将见顶，合成数据成为AI模型训练的必然选择。本文深入分析合成数据的模型崩溃风险、三条安全使用铁律，以及从资源依赖到数据工程能力竞争的范式转变。
产品体验Datus-agent：用Context Engineering重塑数据工程的AI原生CLI工具
深度解析开源项目Datus-agent，一款AI原生的CLI SQL客户端。了解它如何将Context Engineering引入数据工程，支持现代数据栈，为数据工程师提供自然语言查询、自动化SQL生成等全新工作方式。