产品新功能
定时任务
支持修改ETL结果表的结构
优化前:
ETL 结果表的字段不支持调整(新增、删除),若要调整只能删表重建,成本和影响比较大。
优化后:
支持对目标表新建、删除字段、重命名字段。
支持修改目标表字段类型、长度精度。
支持为目标表配置非空、主键、注释。
如下图所示:
详情请参见:定时任务DDL同步、数据集输出、数据同步-数据去向与映射
简道云输出算子优化
优化前:
「简道云输出」算子中,逻辑主键仅支持一个主表_id,无法实现简道云子表单数据增删改的增量更新。
简道云表单数据发生全面更新,不仅仅是部分更新或增量更新时,需要将数据迁移到某张简道云表单,此时需要清空写入 ,但目前「简道云输出」算子不支持该写入方式。
用户使用「简道云输出」算子后,简道云的数据日志会默认显示是超级管理员做的,但是这个数据的申请人是具体的员工,需要申请人和数据日志中的人员一致。
优化后:
1)「简道云输出」算子中:
字段映射中可选子表单完整字段。
多个简道云子表单增删改输出方案请参见:多个简道云子表单增删改输出
支持「清空目标表,再写入数据」的写入方式。
写入方式-更多配置中,支持设置数据提交人:data_creator。
2)「JSON 生成」算子中,支持设置分组字段,可按照分组字段合并JSON字段。如下图所示:
批量导入导出定时任务、调度计划
应用场景:
资源复用场景:将标准化场景任务进行资源打包,提供给 IT 人员后,IT 人员导入即可使用,无须再重新配置依赖资源。
测试环境发布至生产环境场景:用户部署两套工程,需要将开发完成的任务从测试环境工程批量导入进开发环境工程。
进入 FDL 工程后,点击用户账号右侧的下拉按钮,可选择资源导出(支持导出定时任务、调度计划)、资源导入。如下图所示:
详情请参见:批量导入导出定时任务、调度计划
数据服务
数据发布API支持指定排序字段
返回值配置中点击「获取」按钮后,支持指定排序字段和排序规则。如下图所示:
详情请参见:发布API概述
其他优化
1)FineDataLink 支持连接 OceanBase(Oracle模式)数据源,适配功能:
定时任务的读取和写入。
管道任务写入。
库表管理功能。
数据服务功能。
详情请参见:配置OceanBase(Oracle模式)数据源
2)Impala数据源扩展支持kudu表。详情请参见:配置Apache Impala数据源
3)定时任务支持读取 Elasticsearch 数据。详情请参见:Elasticsearch输入
4)FineDataLink 支持连接 openGauss,进行定时任务读写功能、库表管理功能。详情请参见:配置openGauss数据源
更多详情请参见:4.2.0更新日志、4.1.14更新日志
文档上新
客户案例
使用偏移量从XML接口取数
应用场景:
用户有一接口返回 XML 格式数据(数据量较多),希望从该接口中取出所有数据。
存在问题如下:
需要循环取数,但接口没有分页结束标识。
API输入-分页取数 功能目前不支持 xpath 路径。
参考文档:
Ø 详情请参见:使用偏移量从XML接口取数
解析多层嵌套JSON并实现1:n关系
应用场景:
用户的 JSON 数据结构是多层数组嵌套,如下图所示:
现需要解析上层数组元素和下层数组元素,实现 1:n 的关系。
例如:希望 titles 数组中的字段,能与 items 数组中(items 数组又包含 drivers 数组)的字段关联起来。如下图所示:
titles 中的字段,与 items 中 drivers 包含的元素是 1:n 关系。
参考文档:
Ø 详情请参见:解析多层嵌套JSON并实现1:n关系
加密函数实现摘要签名认证方式
应用场景:
Java代码实现摘要签名认证方式 文档使用 Java 代码实现摘要签名认证方式,但存在一定操作难度。
本方案将 Java代码实现摘要签名认证方式 文档中的 Java 代码函数化,FDL 中调用函数就能生成签名。
参考文档:
Ø 详情请参见:加密函数实现摘要签名认证方式
SAP RFC:日期+偏移量双重循环取数
应用场景:
SAP RFC 一次性取数过大时,驱动可能会崩溃,FDL 也可能会宕机。部分 RFC 函数提供了 ROWCOUNT、ROWSKIPS 和 date 参数,分别用于控制每次取多少行、从第几行开始取,以及按日期过滤数据。这些参数的逻辑与 API 获取数据时的偏移量类似。
然而,「SAP ERP输入」 并没有像「API 输入」算子那样提供高级设置来自动实现偏移量。
参考文档:
Ø 详情请参见:SAP RFC:日期+偏移量双重循环取数
功能使用指导
新增计算列获取当月天数
应用场景:
用户想使用 新增计算列 算子,获取当月天数。
注:SQL 语句获取当月天数方案请自行百度。
参考文档:
Ø 详情请参见:新增计算列获取当月天数
FDL工程运维说明
应用场景:
部署好 FDL 后,我们还需配置项目,让平台完成自动运维。
对于关键项目要定期手动检查,平台出现异常项时,及时进行处理,保证工程的健康运行。
参考文档:
Ø 详情请参见:FDL工程运维说明