1. 概念
调度平台是管理和自动化 ETL 的任务执行工具,通过指定任务依赖关系和执行顺序实现任务的自动执行,一般需要代码开发,使用数仓需要有调度软件,来确保 ETL过程顺利执行。
FineDataLink 提供功能来管理和自动化任务,确保任务按照既定的计划和策略执行,提高工作效率、减少人工干预的需求、协调任务间的依赖关系。
2. 几种调度模式
调度类型 | 产品功能 | 常用的应用场景 | 优势 |
---|---|---|---|
周期性调度 | 定时调度 | 数据仓库周期性数据变化 每天交易数据的抽取加载 | 易于管理和维护、规则简单 |
事件驱动调度 | 接口:定时任务相关接口介绍 | 执行过程中需要基于外部事件或者触发器,比如数据库表中的变更数据,通过外部业务系统推送实时变更数据,实时响应的实时数据处理 | 高度灵活,实时响应用户系统数据的变化 |
基于条件的调度 | 当任务执行过程中某些数据符合特定条件,才会执行后续的任务 | ||
手动任务调度 | 手动运行 | 用户直接触发任务,通常在用户开发过程中,紧急数据的处理 | 灵活 |
混合调度 | -- | 以上策略基于实际的业务需要进行组合,满足数据处理需求 |
3. 如何设置调度
4. 工作日和节假日调度如何设置
引用调度日历:
5. 多任务依赖调度
对于数据仓库,除 ods 层外,为了避免任务被重复调起,定时任务只配置 事件调度,即设置任务 A、任务 B 执行成功后再执行任务 C 。
例如 DW 层的总调度任务,就可以设置事件调度,依赖 ODS 层的调度总任务,当 ODS 调度总任务执行后才会执行此任务,如下图所示: