反馈已提交

网络繁忙

上下合并

  • 文档创建者:Wendy123456
  • 历史版本:6
  • 最近更新:Roxy 于 2024-07-01
  • 1. 概述

    1.1 版本

    FineDataLink 版本
    功能变更
    4.1.0新增「上下合并」算子,可对多张表进行上下行合并,输出一张合并表
    4.1.6.1修改合并结果字段名称后,若再修改合并的数据表字段,不影响合并结果字段名,详情参见本文 3.1 节

    1.2 应用场景

    用户存在多个业务系统的表数据,这些表数据中存在相同字段或相同含义的字段,需要将不同的来源数据上下合并到一个表输出。用户目前使用「Spark SQL」算子实现,比较繁琐,希望能无代码实现。

    1.3 功能简介

    新增上下合并算子,可对多张表进行上下行合并,输出一张合并表。如下图所示:

    注:「上下合并」算子可手动匹配相同含义的字段进行拼接,并不要求匹配字段完全一致。

    1698027782844674.png

    2. 示例

    2.1 准备数据

    示例表数据下载:签约表示例数据.zip

    某公司存在两张签约数据表,希望能将数据合并到一张表中方便后续分析。

    1698028065216661.png

    2.2 读取要合并的数据

    1)新建定时任务,拖入「数据转换」节点,进入数据转换节点。

    10.png

    2)拖入DB表输入算子,读取签约表-北京数据。如下图所示:

    11.png

    2)再拖入一个DB表输入算子,读取签约表-上海数据。如下图所示:

    12.png

    2.3 上下合并表数据

    1)拖入上下合并算子,与两个DB表输入」连接。如下图所示:

    15.png

    2)此时上下合并算子设置界面如下图所示:

    16.png

    合并方式选择合并去重,不保留不同合并表中的重复记录。

    FDL 会自动匹配一致的字段,字段若不一致,需要将相同含义的字段进行手动匹配。第三行中,合同总价列,选择合同总价(人民币)字段;销售地区列,选择签约地区。最后效果如下图所示:

    17.png

    3)点击数据预览,如下图所示:

    18.png

    2.4 输出数据

    1)拖入DB表输出算子,将合并后的数据输出。如下图所示:

    19.png

    2)点击右上角保存按钮。

    2.5 效果查看

    点击保存并运行按钮,运行成功后,如下图所示:

    20.png

    数据库表数据如下图所示:

    3. 功能说明

    3.1 详细说明

    上下合并算子设置界面如下图所示:

    22.png

    设置项

    说明
    合并方式

    可选择合并去重、合并不去重

    合并去重:不同合并表有重复记录,仅保留一条记录,其余不保留

    合并不去重:在合并表时,保留两张表的所有记录

    字段映射
    映射方式

    同名映射:字段名相同字段进行匹配,支持模糊匹配;逻辑与「数据同步」节点字段映射(同名映射)逻辑相同

    顺序映射:按照合并表的字段顺序进行映射,逻辑与数据同」节点字段映射(同行映射)逻辑相同

    自动映射
    • 字段映射中,若有表无对应字段映射,则默认为空

    • 数据预览对应表数据为 null 值

    23.png

    合并结果行中,可修改合并后字段名称

    4.1.6.1 版本开始,修改合并结果字段名称后,若再修改合并的数据表字段,不影响合并结果字段名。

    注:字段映射中不支持显示、修改字段类型,用户可在上下合并算子后接一个字段设置算子,修改字段类型

    手动修改映射
    • 字段下拉框可选择字段,手动匹配字段映射;字段下拉框可选择

    • 修改映射后,将自动刷新映射结果

    1698031627859666.png

    重新获取按钮

    点击即可刷新,还原到原始配置

    「数据预览」Tab 页中,默认预览前 1000 条数据,每页默认 20 条数据。


    3.2 特殊场景说明

    用户若希望两个相同名称的字段在上下合并时不合并,手动修改映射,将某张合并表的字段改为空即可。如下图所示:

    1698031520917263.png




    附件列表


    主题: 数据开发-定时任务
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持