反馈已提交

网络繁忙

生成数据转换

  • 文档创建者:Roxy
  • 历史版本:8
  • 最近更新:Marlon.Zhao 于 2024-06-17
  • 1. 概述

    1.1 版本说明

    FineDataLink 版本功能变动
    4.0.13

    -

    1.2 应用场景

    数据同步与数据转换的区别 已经说明了两个功能的应用区别。

    • 「数据同步」:数据获取—简单处理—输出

    • 「数据转换」:数据获取—复杂处理—输出

    然而用户在进行数据处理时,可能预估使用「数据同步」即可完成跨数据库数据迁移,但在实际使用时发现需要进行一些复杂的操作;

    或者认为使用「参数赋值」即可直接取出指定数据作为参数值,却发现取出数据作为参数之前需要进行一些复杂的数据处理。

    此时即可使用「生成数据转换」功能,实现快速切换,让用户的使用更流畅。

    1.3 功能说明

    FineDataLink 提供「生成数据转换」功能。

    支持将「数据同步」、「参数赋值」一键生成「数据转换」。

    注1:当「循环容器」内的「数据同步」「参数赋值」快速转「数据转换」时,生成的「数据转换」限制在循环容器内。

    注2:若「数据同步」、「参数赋值」前后有节点连线,转「数据转换」时,生成的「数据转换」不影响原先节点连线关系。

    2. 数据同步生成数据转换

    用户有一个接口数据 http://fine-doc.oss-cn-shanghai.aliyuncs.com/book.json,希望将满足  category 为 fiction 的数据取到指定数据库中。

    首先使用了「数据同步」功能,选择数据源类型为 API ,同时进行 API 配置,然后在返回值处理中的 JSON 路径写入$.store.book,取出 book 数组下的所有数据,如下图所示:

    点击数据预览,如下图所示:

    此时发现,没有办法取到 category 只有 fiction 的数据。

    这时可以使用「生成数据转换」,即新增一个「数据转换」节点,在编辑界面默认生成输入和输出两个节点,如下图所示:

    生成的内容会默认保留之前的配置,如下图所示:

    此时可以新增一个「Spark SQL」,过滤出满足条件的数据,如下图所示:

    然后设置输出数据库信息即可,如下图所示:

    3. 参数赋值生成数据转换

    用户希望 API 数据进行解析处理后,将满足条件的数据设置为参数,并将数据库表中满足参数条件的数据取出至指定数据库。

    • http://fine-doc.oss-cn-shanghai.aliyuncs.com/book.json 数据需要进行解析并取出 isbin 不为空的数据;

    • 将这些数据中的 author 作为参数输出,并输入给 book 数据表中;

    • 从中取出满足参数条件的数据,输出至 book_out 数据表中。

    此时首先使用了参数赋值功能,如下图所示:

    然后发现 参数赋值 未提供复杂解析和处理的功能,因此只能先在「数据转换」里做处理数据并取至数据库后,再使用「参数赋值」输出为参数,使用成本较高。

    用户期望能够对数据进行处理后直接输出参数,不需要将处理结果输出数据库在从数据库取值作为参数。因此可以点击生成数据转换,即新增一个「数据转换」节点,在编辑界面默认生成输入和输出两个节点,可以进行一些数据复杂处理,如下图所示:

    后续操作步骤详情参见:参数输出

    附件列表


    主题: 数据开发-定时任务
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持