1. 概述编辑
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.0.20 | 支持对表中不同字段给予加工处理后再流向不同表 |
4.2.7.4 | 任意算子可以在下游接多个中间算子或者输出算子,但每条数据流都必须以输入(或者实验室)算子为开始节点,以输出算子为结束节点 |
1.2 应用场景
处理后的数据输出前,用户希望按照不同的过滤条件输出到多张表中,若做多个定时任务实现,比较麻烦,且多次读取源表,比较耗时,影响性能。
1.3 功能简介
1)「数据转换」节点数据支持同时输出至多张表,用户可根据业务需要,将同一数据表中的不同字段处理后分别输出至多张表。如下图所示:
2)4.2.7.4 及之后版本,「数据转换」节点里支持数据的分流处理和输出。如下图所示:
demo 示例详情参见:https://demo.finedatalink.com/ 「数据转换-数据分发-副本」
2. 示例编辑
2.1 场景模拟
示例表:客户购买信息.xls
用户希望将「客户购买信息」表中的数据拆分成客户主题和商品主题:
客户主题 | 将货主名称、货主地址、货主城市、货主地区、货主邮政编码、货主国家、货主省份、货主手机号分发到「客户信息表」 |
商品主题 | 使用「字段设置」算子对部分字段类型进行处理,使用「分类汇总」算子计算商品的总销量、总销售额 将商品ID、商品名称、商品单价、商品总销量、商品总销售额分发到「商品信息表」 |
2.2 新建定时任务
新建一个定时任务,并拖入「数据转换」节点。如下图所示:
2.3 设置数据输入
点击「数据转换」节点,拖入「DB表输入」算子,设置数据输入。如下图所示:
2.4 更改字段类型
拖入一个「字段设置」算子,将「商品数量」更改为 int 类型,将「总价」、「商品单价」更改为 double 类型,用于计算商品的总销量、总销售额。
2.5 设置数据分发
新增「分组汇总」、「DB表输出」算子,与「字段设置」相连。如下图所示:
注:已连接输出算子的算子,可以再连接其他输出算子;不支持多个输出算子的上游为不同算子。输出算子指:DB表输出、参数输出、API输出、简道云输出
1)右键点击「字段设置」算子,点击「数据分发」。如下图所示:
2)设置数据分发条件。将货主名称、货主地址、货主城市、货主地区、货主邮政编码、货主国家、货主省份、货主手机号分发到「DB表输出1」算子,将商品ID、商品名称、商品单价、商品数量、总价分发到「分类汇总」算子。如下图所示:
注:若希望输出到多张表中的数据相同,不设置分发条件即可。
各设置项介绍如下表所示:
设置项 | 备注 |
---|---|
输出节点 | 获取该算子连接的下游节点名称,直接引用,不可编辑 |
分发内容 | 描述上游数据中的哪些列将被输出,点击可编辑: |
分发条件 | 可配置分流条件 注:4.1.1 及之后版本,产品内条件判断逻辑进行了统一,每个运算符的说明可参见:条件判断逻辑说明 |
备注 | 展示用户自定义描述,一般是针对复杂分流条件,点击可编辑,默认为空 |
点击「数据预览」,可预览不同分支对应的数据。如下图所示:
2.6 输出商品信息表
1)添加「分组汇总」算子,统计每个商品的总销量、总销售额。如下图所示:
2)添加「DB表输出」算子,输出「商品信息表」,设置如下图所示:
2.7 输出客户信息表
对「DB表输出1」设置,输出客户信息表。如下图所示:
2.8 运行任务
点击「运行」任务。任务执行成功如下图所示:
「商品信息表」信息如下图所示:
「客户信息表」信息如下图所示: