2024-11产品月报

  • 产品级协助
  • 文档创建者:Wendy123456
  • 历史版本:4
  • 最近更新:Wendy123456 于 2024-12-02
  • 副本_二十四节气寒露扁平风宣传横板海报__2024-12-02+15_03_46.png

    产品新功能

    定时任务

    支持修改ETL结果表的结构

    优化前:

    ETL 结果表的字段不支持调整(新增、删除),若要调整只能删表重建,成本和影响比较大。

    优化后:

    • 支持对目标表新建、删除字段、重命名字段。

    • 支持修改目标表字段类型、长度精度。

    • 支持为目标表配置非空、主键、注释。

    如下图所示:

    详情请参见:定时任务DDL同步数据集输出数据同步-数据去向与映射

    1732863041904296.png

    简道云输出算子优化

    优化前:

    • 「简道云输出」算子中,逻辑主键仅支持一个主表_id,无法实现简道云子表单数据增删改的增量更新。

    • 简道云表单数据发生全面更新,不仅仅是部分更新或增量更新时,需要将数据迁移到某张简道云表单,此时需要清空写入 ,但目前「简道云输出」算子不支持该写入方式。

    • 用户使用「简道云输出」算子后,简道云的数据日志会默认显示是超级管理员做的,但是这个数据的申请人是具体的员工,需要申请人和数据日志中的人员一致。

    优化后:

    1)「简道云输出」算子中:

    • 字段映射中可选子表单完整字段。

    多个简道云子表单增删改输出方案请参见:多个简道云子表单增删改输出

    1732863131199944.png

    • 支持「清空目标表,再写入数据」的写入方式。

    • 写入方式-更多配置中,支持设置数据提交人:data_creator。

    1732863163303662.png

    2)「JSON 生成」算子中,支持设置分组字段,可按照分组字段合并JSON字段。如下图所示:

    1732863186529856.png

    批量导入导出定时任务、调度计划

    应用场景:

    • 资源复用场景:将标准化场景任务进行资源打包,提供给 IT 人员后,IT 人员导入即可使用,无须再重新配置依赖资源。

    • 测试环境发布至生产环境场景:用户部署两套工程,需要将开发完成的任务从测试环境工程批量导入进开发环境工程。

    进入 FDL 工程后,点击用户账号右侧的下拉按钮,可选择资源导出(支持导出定时任务、调度计划)、资源导入。如下图所示:

    详情请参见:批量导入导出定时任务、调度计划

    52.png

    数据服务

    数据发布API支持指定排序字段

    返回值配置中点击获取按钮后,支持指定排序字段和排序规则。如下图所示:

    详情请参见:发布API概述

    51.png

    其他优化

    1)FineDataLink 支持连接 OceanBase(Oracle模式)数据源,适配功能:

    • 定时任务的读取和写入。

    • 管道任务写入。

    • 库表管理功能。

    • 数据服务功能。

    详情请参见:配置OceanBase(Oracle模式)数据源

    2)Impala数据源扩展支持kudu表。详情请参见:配置Apache Impala数据源

    3)定时任务支持读取 Elasticsearch 数据。详情请参见:Elasticsearch输入

    4)FineDataLink 支持连接 openGauss,进行定时任务读写功能、库表管理功能。详情请参见:配置openGauss数据源

    更多详情请参见:4.2.0更新日志4.1.14更新日志

    文档上新

    客户案例

    使用偏移量从XML接口取数

    应用场景:

    用户有一接口返回 XML 格式数据(数据量较多),希望从该接口中取出所有数据。

    存在问题如下:

    • 需要循环取数,但接口没有分页结束标识。

    • API输入-分页取数 功能目前不支持 xpath 路径。

    参考文档:

    Ø 详情请参见:使用偏移量从XML接口取数

    解析多层嵌套JSON并实现1:n关系

    应用场景:

    用户的 JSON 数据结构是多层数组嵌套,如下图所示:

    62.png

    现需要解析上层数组元素和下层数组元素,实现 1:n 的关系。

    例如:希望 titles 数组中的字段,能与 items 数组中(items 数组又包含 drivers 数组的字段关联起来。如下图所示:

    titles 中的字段,与 items 中 drivers 包含的元素是 1:n 关系。

    63.png

    参考文档:

    Ø 详情请参见:解析多层嵌套JSON并实现1:n关系

    加密函数实现摘要签名认证方式

    应用场景:

    Java代码实现摘要签名认证方式 文档使用 Java 代码实现摘要签名认证方式,但存在一定操作难度。

    本方案将 Java代码实现摘要签名认证方式 文档中的 Java 代码函数化,FDL 中调用函数就能生成签名。

    参考文档:

    Ø 详情请参见:加密函数实现摘要签名认证方式

    SAP RFC:日期+偏移量双重循环取数

    应用场景:

    SAP RFC 一次性取数过大时,驱动可能会崩溃,FDL 也可能会宕机。部分 RFC 函数提供了 ROWCOUNT、ROWSKIPS 和 date 参数,分别用于控制每次取多少行、从第几行开始取,以及按日期过滤数据。这些参数的逻辑与 API 获取数据时的偏移量类似。

    然而,「SAP ERP输入」 并没有像「API 输入」算子那样提供高级设置来自动实现偏移量。

    参考文档:

    Ø 详情请参见:SAP RFC:日期+偏移量双重循环取数

    功能使用指导

    新增计算列获取当月天数

    应用场景:

    用户想使用 新增计算列 算子,获取当月天数。

    注:SQL 语句获取当月天数方案请自行百度。

    参考文档:

    Ø 详情请参见:新增计算列获取当月天数

    FDL工程运维说明

    应用场景:

    部署好 FDL 后,我们还需配置项目,让平台完成自动运维。

    对于关键项目要定期手动检查,平台出现异常项时,及时进行处理,保证工程的健康运行。

    参考文档:

    Ø 详情请参见:FDL工程运维说明




    附件列表


    主题: 更新动态
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持

    反馈已提交

    网络繁忙