概念微批 / Micro-Batch
Micro-Batch
Micro-Batch 是 Apache Spark Structured Streaming 默认的执行模型,将无界流数据切分为小的有界批次处理,复用 Spark 批处理引擎和容错机制,具备强一致性和高吞吐,但存在秒级延迟开销。
时间轴 (近 90 天)
11月16日
Structured Streaming 的微批(Micro-Batch)触发器按照固定间隔将流入数据切分成小批次处理,端到端延迟通常为秒级。
待验证50%
11月16日
微批模式适合吞吐优先、对延迟不敏感的 ETL 场景,而 Real-Time Mode 面向需要即时响应的业务(如实时风控、在线特征计算、实时监控告警)。
待验证50%
11月16日
微批模型每个批次都包含作业提交、任务调度、shuffle 读写和状态存储访问等固定开销,即使批次间隔调到 100 毫秒,端到端延迟通常仍在数百毫秒到秒级。
待验证50%
11月16日
微批的延迟下界受限于调度器的最小调度粒度和单批处理时间,无法通过单纯调小间隔无限压缩。
待验证50%
11月16日
对于日志聚合、离线入湖等场景,微批仍然是更经济的选择。
待验证50%
全部知识事实 (5)
待验证
Structured Streaming 的微批(Micro-Batch)触发器按照固定间隔将流入数据切分成小批次处理,端到端延迟通常为秒级。
50%待验证微批模式适合吞吐优先、对延迟不敏感的 ETL 场景,而 Real-Time Mode 面向需要即时响应的业务(如实时风控、在线特征计算、实时监控告警)。
50%待验证微批模型每个批次都包含作业提交、任务调度、shuffle 读写和状态存储访问等固定开销,即使批次间隔调到 100 毫秒,端到端延迟通常仍在数百毫秒到秒级。
50%待验证微批的延迟下界受限于调度器的最小调度粒度和单批处理时间,无法通过单纯调小间隔无限压缩。
50%待验证对于日志聚合、离线入湖等场景,微批仍然是更经济的选择。
50%