反馈已提交

网络繁忙

数据分发-实时任务

  • 文档创建者:Roxy
  • 历史版本:4
  • 最近更新:Roxy 于 2024-11-15
  • 1. 概述

    1.1 版本

    FineDataLink 版本
    功能变动
    4.2.0.1

    -

    1.2 应用场景

    • 一条数据流中做不同数据处理,希望将数据落到数仓中的不同层,比如dwd、dws层;

    • 上游数据把不同的数据都放在一个数据库,需要区分不同数据入到不同数据库中。

    1.3 功能简介

    数据分发支持同时输出至多张表,用户可根据业务需要,将同一数据表中的不同字段处理后分别输出至多张表。如下图所示:

    2. 功能说明

    注:输出算子、维度表输入算子不支持数据分发。

    设置项备注
    输出节点

    获取该算子连接的下游节点名称

    支持输出节点为数据输出算子、数据关联、数据转换算子

    分发内容

    描述上游数据中的哪些列将被输出,点击可编辑:

    分发条件

    可配置分流条件

    注:产品内条件判断逻辑进行了统一,每个运算符的说明可参见:条件判断逻辑说明

    备注展示用户自定义描述,一般是针对复杂分流条件,点击可编辑,默认为空

    点击「数据预览」,可预览不同分支对应的数据。如下图所示:

    3. 示例

    示例表:客户购买信息.xls

    用户希望将「客户购买信息」表中的数据拆分成客户主题和商品主题。

    例如,将货主名称、货主地址、货主城市、货主地区、货主邮政编码、货主国家、货主省份、货主手机号入库到「客户」表,将商品ID、商品名称、商品单价入库到「商品」表。

    3.1 新建任务

    新建一个实时任务,如下图所示:

    3.2 设置数据输入

    使用「CDC输入」算子,设置数据输入。如下图所示:

    3.3 设置数据分流

    1)拖入一个「DB表输出」算子、一个「Kafka输出」算子,与「DB表输入」算子相连。如下图所示:

    2)将输出算子备注为「商品表」、「客户表」。

    3)右键点击「CDC输入」算子,点击「数据分发」。如下图所示:

    4)设置数据分发条件。将货主名称、货主地址、货主城市、货主地区、货主邮政编码、货主国家、货主省份、货主手机号入库到客户表,将商品ID、商品名称、商品单价入库到商品表。如下图所示:

    点击「数据预览」,可预览不同分支对应的数据。如下图所示:

    「商品表」设置如下图所示:

    「客户表」设置如下图所示:

    2.5 运行任务

    点击「运行」任务。即可看到两张表输出到指定的数据库中。





    附件列表


    主题: 数据开发-实时任务
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持