设置总调度任务

  • 文档创建者:Roxy
  • 历史版本:2
  • 最近更新:Roxy 于 2022-08-17
  • 1. 概述

    数仓调度场景案例给出了整体的调度方案,本文将为你介绍如何设置总的数仓调度任务。

    三个层级的数仓都已经设置完成,接下来就可以将 ODS、DW、DM 层的调度任务进行组合,通过调用任务的形式组合在一个任务中,方便后续的任务管理和触发。

    2. 操作步骤

    2.1 设置总调度任务并记录更新日志

    创建一个任务「调度总任务」,同设置DW层任务一致,为了便于记录数据更新的日志,因此需要获取任务开始时间并将其设置为参数,当任务开始执行的时候就记录当前时间至更新日志中,如下图所示:

    然后分别使用调用任务的形式将ODS层DW层DM层创建的三个数仓调度任务进行调用,如下图所示:

    然后记录调度任务执行结束的时间,并设置为参数,如下图所示:

    通过SQL脚本将时间写入准备好的日志数据表 logs 中,如下图所示:

    2.2 设置消息通知

    设置消息通知,若执行成功,则通知执行成功的步骤,如下图所示:

    2.3 设置调度配置

    为了便于任务的定时执行,可以设置调度任务每周执行一次,实现定时同步调度,如下图所示:

    附件列表


    主题: 最佳实践
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!