最新历史版本 :数据分发-实时任务 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:
icon提示:

产品注册版本为「v5.0」时,才能使用数据开发-实时任务:

1) 如需申请免费试用或增购功能点,请填写链接:实时任务意向使用申请表

2) 如需了解更多实时任务详细信息,可联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
5.0.0.1-

1.2 应用场景

  • 一条数据流中做不同数据处理,希望将数据落到数仓中的不同层,比如dwd、dws层;

  • 上游数据把不同的数据都放在一个数据库,需要区分不同数据入到不同数据库中。

1.3 功能简介

数据分发支持同时输出至多张表,用户可根据业务需要,将同一数据表中的不同字段处理后分别输出至多张表。如下图所示:

2. 功能说明编辑

注:输出算子、维度表输入算子不支持数据分发。

设置项备注
输出节点

获取该算子连接的下游节点名称

支持输出节点为数据输出算子、数据关联、数据转换算子

分发内容

描述上游数据中的哪些列将被输出,点击可编辑:

分发条件

可配置分流条件

注:产品内条件判断逻辑进行了统一,每个运算符的说明可参见:条件判断逻辑说明

备注展示用户自定义描述,一般是针对复杂分流条件,点击可编辑,默认为空

点击「数据预览」,可预览不同分支对应的数据。如下图所示:

3. 示例一编辑

示例表:客户购买信息.xls

用户希望将「客户购买信息」表中的数据拆分成客户主题和商品主题。

例如,将货主名称、货主地址、货主城市、货主地区、货主邮政编码、货主国家、货主省份、货主手机号入库到「客户」表,将商品ID、商品名称、商品单价入库到「商品」表。

3.1 新建任务

新建一个实时任务,如下图所示:

3.2 设置数据输入

使用「CDC输入」算子,设置数据输入。如下图所示:

3.3 设置数据分发

1)拖入一个「DB表输出」算子、一个「Kafka输出」算子,与「CDC输入」算子相连。如下图所示:

2)将输出算子备注为「商品表」、「客户表」。

3)右键点击「CDC输入」算子,点击「数据分发」。如下图所示:

4)设置数据分发条件。将货主名称、货主地址、货主城市、货主地区、货主邮政编码、货主国家、货主省份、货主手机号入库到客户表,将商品ID、商品名称、商品单价入库到商品表。如下图所示:

点击「数据预览」,可预览不同分支对应的数据。如下图所示:

「商品表」设置如下图所示:

「客户表」设置如下图所示:

3.4 运行任务

点击「运行」任务。即可看到两张表输出到指定的数据库中。

4. 示例二编辑

4.1 新建任务

新建一个实时任务,如下图所示:

4.2 设置数据输入

使用「CDC输入」算子,设置数据输入。如下图所示:

4.3 设置数据分发

1)拖入一个「字段设置」算子、一个「新增列」算子,与「CDC输入」算子相连。如下图所示:

右键选中「CDC输入」,点击「数据分发」,进行分发设置,如下图所示:

4.4 使用算子进行数据处理

对数据分发后的数据使用「字段设置」等算子进行数据的处理,此处不再赘述。

4.5 设置数据输出

不同的分发数据流去向不同的输出算子,如下图所示: