1. 概述
数仓调度场景案例给出了整体的调度方案,本文将为你介绍如何设置总的数仓调度任务。
三个层级的数仓都已经设置完成,接下来就可以将 ODS、DW、DM 层的调度任务进行组合,通过调用任务的形式组合在一个任务中,方便后续的任务管理和触发。
2. 操作步骤
2.1 设置总调度任务并记录更新日志
创建一个任务「调度总任务」,同设置DW层任务一致,为了便于记录数据更新的日志,因此需要获取任务开始时间并将其设置为参数,当任务开始执行的时候就记录当前时间至更新日志中,如下图所示:
然后分别使用调用任务的形式将ODS层、DW层和DM层创建的三个数仓调度任务进行调用,如下图所示:
然后记录调度任务执行结束的时间,并设置为参数,如下图所示:
通过SQL脚本将时间写入准备好的日志数据表 logs 中,如下图所示:
2.2 设置消息通知
设置消息通知,若执行成功,则通知执行成功的步骤,如下图所示:
2.3 设置调度配置
为了便于任务的定时执行,可以设置调度任务每周执行一次,实现定时同步调度,如下图所示: