反馈已提交

网络繁忙

设置ODS层任务

  • 文档创建者:Roxy
  • 历史版本:7
  • 最近更新:Wendy123456 于 2023-02-21
  • 1. 概述

    数仓调度场景案例给出了整体的调度方案,本文将为你介绍如何设置 ODS 层任务。

    设置 ODS 层任务需要将来自接口数据的「财务数据」和存储在固定数据库的「销售数据」通过 FineDataLink 落库至指定数据库,并通过使用参数和调度任务,实现 ODS 层任务定时更新,并发送消息通知。

    2. 操作步骤

    2.1 创建文件夹

    首先创建「ODS」文件夹,存放ODS层任务,预计有两个ETL任务,分别对应「财务数据」和「销售数据」,如下图所示:

    2.2 设置财务数据同步任务

    由于财务数据包含了三个区「华北」、「华东」和「华南」,同时财务数据是需要通过接口取数,因此可以通过三个「数据转换」进行取数落库。

    新建 ETL 任务,命名任务为「ODS_财务数据」,在画布中拖入数据转换节点,命名为「华北财务数据」,如下图所示:

    进入数据转换界面后,使用 API 输入将接口数据取出,如下图所示:

    添加「JSON解析」并将 API 输入连接,点击「选择JSON节点」,选择需要进行解析的JSON,点击「确定」,如下图所示:

    在数据预览界面,即可看到解析完成的华北财务数据,如下图所示:

    取出数据后即可将数据同步至指定的数据库,由于我们需要实现定时更新,比如每周更新一次,让落库的 ODS 层数据保持时效性,因此需要通过设置自定义参数进行控制。

    点击「确定」保存华北财务数据做的设置,然后在数据转换节点界面设置参数,即 「date」参数显示任务执行时间前7天的时间,如下图所示:

    新增「Spark SQL」,连接上一个算子后,判断「订单生成时间」字段值是否晚于指定参数值,如果是,则说明接口数据中有新数据生成,需要同步至指定数据库,如下图所示:

    此时已经选好需要输出的数据,新增 DB 表输出算子,连接上一个节点,然后选择需要数据同步的目标数据表,如下图所示:

    其他两个地区「华东」和「华南」的财务数据同理。

    为了控制三个数据转换任务的执行,可以使用虚拟节点将其连接,如下图所示:

    2.3 设置销售数据同步任务

    销售数据也是包含三个区「华北」、「华东」和「华南」,并且存储在数据库 FRDemo 中,希望将该数据和 2.1.1 节中的接口数据存放到同一个数据库中,因此使用数据同步功能。

    以华北销售数据为例。

    新建 ETL 任务,命名任务为「ODS_销售数据」,在画布中拖入数据同步节点,命名为「华北财务数据」,如下图所示:

    由于我们需要实现定时更新,比如每周更新一次,让落库的 ODS 层数据保持时效性,因此需要通过设置自定义参数进行控制。

    设置参数 date,即 「date」参数显示任务执行时间前7天的时间,如下图所示:

    在数据同步节点的「数据来源」界面,选择来源的数据库,并查询需要同步的数据,判断「销售时间」值是否晚于指定参数值,如果是,则说明来源数据库中有新数据生成,需要同步至指定数据库,如下图所示:

    将需要输出数据同步至指定的目标数据库中即可,如下图所示:

    2.png

    其他两个地区「华东」和「华南」的销售数据同理。

    为了控制三个数据同步任务的执行,可以使用虚拟节点将其连接,如下图所示:

    2.4 设置 ODS 层调度任务

    ODS 层的数据同步任务已经完成,此时需要通过新建「ODS调度」任务,将财务数据和销售数据的两个任务组合起来同时执行,并发送执行后的结果通知。

    新建 ETL 任务命名为「ODS 调度」,添加调用任务节点,选择 2.2 节创建的财务数据任务,如下图所示:

    同理,销售数据也进行调用。

    然后新增消息通知节点,ODS 层执行成功则发消息通知,如下图所示:


    附件列表


    主题: 最佳实践
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持