1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.2.0.1 | - |
1.2 应用场景
一条数据流中做不同数据处理,希望将数据落到数仓中的不同层,比如dwd、dws层;
上游数据把不同的数据都放在一个数据库,需要区分不同数据入到不同数据库中。
1.3 功能简介
数据分发支持同时输出至多张表,用户可根据业务需要,将同一数据表中的不同字段处理后分别输出至多张表。如下图所示:
2. 功能说明
注:输出算子、维度表输入算子不支持数据分发。
设置项 | 备注 |
---|---|
输出节点 | 获取该算子连接的下游节点名称 支持输出节点为数据输出算子、数据关联、数据转换算子 |
分发内容 | 描述上游数据中的哪些列将被输出,点击可编辑: |
分发条件 | 可配置分流条件 注:产品内条件判断逻辑进行了统一,每个运算符的说明可参见:条件判断逻辑说明 |
备注 | 展示用户自定义描述,一般是针对复杂分流条件,点击可编辑,默认为空 |
点击「数据预览」,可预览不同分支对应的数据。如下图所示:
3. 示例
示例表:客户购买信息.xls
用户希望将「客户购买信息」表中的数据拆分成客户主题和商品主题。
例如,将货主名称、货主地址、货主城市、货主地区、货主邮政编码、货主国家、货主省份、货主手机号入库到「客户」表,将商品ID、商品名称、商品单价入库到「商品」表。
3.1 新建任务
新建一个实时任务,如下图所示:
3.2 设置数据输入
使用「CDC输入」算子,设置数据输入。如下图所示:
3.3 设置数据分流
1)拖入一个「DB表输出」算子、一个「Kafka输出」算子,与「DB表输入」算子相连。如下图所示:
2)将输出算子备注为「商品表」、「客户表」。
3)右键点击「CDC输入」算子,点击「数据分发」。如下图所示:
4)设置数据分发条件。将货主名称、货主地址、货主城市、货主地区、货主邮政编码、货主国家、货主省份、货主手机号入库到客户表,将商品ID、商品名称、商品单价入库到商品表。如下图所示:
点击「数据预览」,可预览不同分支对应的数据。如下图所示:
「商品表」设置如下图所示:
「客户表」设置如下图所示:
2.5 运行任务
点击「运行」任务。即可看到两张表输出到指定的数据库中。