历史版本15 :数据分发 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本
功能变动
4.0.20

支持对表中不同字段给予加工处理后再流向不同表

4.2.7.4

任意算子可以在下游接多个中间算子或者输出算子,但每条数据流都必须以输入(或者实验室)算子为开始节点,以输出算子为结束节点

详情参见文档:算子连线规则

1.2 应用场景

处理后的数据输出前,用户希望按照不同的过滤条件输出到多张表中,若做多个定时任务实现,比较麻烦,且多次读取源表,比较耗时,影响性能。

1.3 功能简介

「数据转换」节点数据支持同时输出至多张表,用户可根据业务需要,将同一数据表中的不同字段处理后分别输出至多张表。如下图所示:

11.png

demo 示例详情参见:https://demo.finedatalink.com/ 「数据转换-数据分发-副本」

2. 示例编辑

2.1 场景模拟

示例表:客户购买信息.xls

4.png

用户希望将「客户购买信息」表中的数据拆分成客户主题和商品主题:

  • 客户信息表:货主名称、货主地址、货主城市、货主地区、货主邮政编码、货主国家、货主省份、货主手机号;

  • 商品信息表:商品ID、商品名称、商品单价、商品总销量、商品总销售额。

2.2 新建定时任务

新建一个定时任务,并拖入「数据转换」节点。如下图所示:

1.png

2.3 设置数据输入

点击「数据转换」节点,拖入「DB表输入」算子,设置数据输入。如下图所示:

2.png

2.4 更改字段类型

拖入一个「字段设置」算子,将「商品数量」更改为 int 类型,将「商品数量」、「商品单价」更改为 double 类型,用于计算商品的总销量、总销售额。

3.png

2.5 设置数据分发

新增「分组汇总」、「DB表输出」算子,与「字段设置」相连。如下图所示:

4.png

注:已连接输出算子的算子,可以再连接其他输出算子;不支持多个输出算子的上游为不同算子。输出算子指:DB表输出参数输出API输出简道云输出

1)右键点击「字段设置」算子,点击「数据分发」。如下图所示:

5.png

2)设置数据分发条件。将货主名称、货主地址、货主城市、货主地区、货主邮政编码、货主国家、货主省份、货主手机号分发到「DB表输出1」算子,将商品ID、商品名称、商品单价、商品ID、总价分发到「分类汇总」算子。如下图所示:

注:若希望输出到多张表中的数据相同,不设置分发条件即可。

6.png

各设置项介绍如下表所示:

设置项备注
输出节点获取该算子连接的下游节点名称,直接引用,不可编辑
分发内容

描述上游数据中的哪些列将被输出,点击可编辑:

1679021497214516.png

分发条件

可配置分流条件

注:4.1.1 及之后版本,产品内条件判断逻辑进行了统一,每个运算符的说明可参见:条件判断逻辑说明

备注展示用户自定义描述,一般是针对复杂分流条件,点击可编辑,默认为空

点击「数据预览」,可预览不同分支对应的数据。如下图所示:

7.png

2.6 输出商品信息表

1)添加「分组汇总」算子,统计每个商品的总销量、总销售额。如下图所示:

8.png

2)添加「DB表输出」算子,输出「商品信息表」,设置如下图所示:

9.png

2.7 输出客户信息表

对「DB表输出1」设置,输出客户信息表。如下图所示:

10.png

2.8 运行任务

点击「运行」任务。任务执行成功如下图所示:

12.png

「商品信息表」信息如下图所示:

13.png

「客户信息表」信息如下图所示: