历史版本5 :数据分发-实时任务 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
1. 概述编辑
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 4.2.0.1 | - |
1.2 应用场景
一条数据流中做不同数据处理，希望将数据落到数仓中的不同层，比如dwd、dws层；
上游数据把不同的数据都放在一个数据库，需要区分不同数据入到不同数据库中。
1.3 功能简介
数据分发支持同时输出至多张表，用户可根据业务需要，将同一数据表中的不同字段处理后分别输出至多张表。如下图所示：
2. 功能说明编辑
注：输出算子、维度表输入算子不支持数据分发。
| 设置项 | 备注 |
|---|---|
| 输出节点 | 获取该算子连接的下游节点名称 支持输出节点为数据输出算子、数据关联、数据转换算子 |
| 分发内容 | 描述上游数据中的哪些列将被输出，点击可编辑：
|
| 分发条件 | 可配置分流条件 注：产品内条件判断逻辑进行了统一，每个运算符的说明可参见：条件判断逻辑说明 |
| 备注 | 展示用户自定义描述，一般是针对复杂分流条件，点击可编辑，默认为空 |
点击「数据预览」，可预览不同分支对应的数据。如下图所示：
3. 示例编辑
示例表：客户购买信息.xls
用户希望将「客户购买信息」表中的数据拆分成客户主题和商品主题。
例如，将货主名称、货主地址、货主城市、货主地区、货主邮政编码、货主国家、货主省份、货主手机号入库到「客户」表，将商品ID、商品名称、商品单价入库到「商品」表。
3.1 新建任务
新建一个实时任务，如下图所示：
3.2 设置数据输入
使用「CDC输入」算子，设置数据输入。如下图所示：
3.3 设置数据分流
1）拖入一个「DB表输出」算子、一个「Kafka输出」算子，与「DB表输入」算子相连。如下图所示：
2）将输出算子备注为「商品表」、「客户表」。
3）右键点击「CDC输入」算子，点击「数据分发」。如下图所示：
4）设置数据分发条件。将货主名称、货主地址、货主城市、货主地区、货主邮政编码、货主国家、货主省份、货主手机号入库到客户表，将商品ID、商品名称、商品单价入库到商品表。如下图所示：
点击「数据预览」，可预览不同分支对应的数据。如下图所示：
「商品表」设置如下图所示：
「客户表」设置如下图所示：
2.5 运行任务
点击「运行」任务。即可看到两张表输出到指定的数据库中。