历史版本5 :4.0.30更新日志 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

兼容说明编辑

独立部署的 FineDataLink 工程,4.0.27 及之后版本升级到 4.0.30 版本后,独立部署下定时任务结果输出至FineBI 的定时任务将时效。

新增功能编辑

数据支持输出为 Excel 形式

数据同步节点中:数据去向 Tab 中可选择 FTP/SFTP 和服务器本地目录,可将数据输出为 Excel 形式。若数据不需要进行复杂处理加工,可在数据同步节点中实现。

数据转换节点中:文件输出」算子支持将数据输出为 Excel 形式,若数据需要进行复杂处理加工后再输出,可在数据转换节点中实现。

如下图所示:

955.png

定时任务中支持设置全局参数

当多个定时任务需要使用相同的参数时,如果参数需要修改,每个定时任务都需要进行修改,实现过程比较麻烦。支持设置全局参数,该参数可在多个定时任务中使用。如下图所示:

详情请参见:全局参数

96.png

97.png

支持设置定时任务的调度依赖和优先级

1)支持为定时任务设置事件调度。

例如:数仓构建过程中 ODS 层有 a、b、c 任务互不影响、DW 层有 d 、f 任务,需要 a、b 任务执行完触发 d 任务,来减少 DW 层对 ODS 层完全更新完等待的时间;若 a、b 执行失败则不触发,来避免数据准确性的问题。

详情请参见:定时任务调度配置 2.2 节内容。

1697007964224625.png

2)支持设置定时任务的执行优先级。当线程数不足时,优先执行队列中级别高的流,相同优先级的任务按照先进先出的顺序执行。

详情请参见:定时任务调度配置 第五章内容。

1697008057974590.png

支持可视化展示定时任务的调用关系/依赖关系

  • 可视化展示父子任务层级调用关系,用户可查看该定时任务被哪些任务调用,以及该任务调用了哪些任务。

  • 可视化展示任务间调度依赖关系,辅助事件调度决策。

详情请参见:任务间调用/依赖关系展示

101.png

定时任务&管道任务&API支持导入导出

FineDataLink 工程上做好的定时任务&管道任务&API希望能够被复用到其他工程中。

1)FineDataLink 支持将定时任务从 A 系统中导出并导入至 B 系统。

详情请参见:定时任务导入导出

2)FineDataLink 支持将管道任务从 A 系统中导出并导入至 B 系统。

详情请参见:管道任务导入导出

3)FineDataLink 支持将 API 任务从 A 系统中导出并导入至 B 系统。

详情请参见:API任务导入导出

管道任务支持仅增量同步

数据管道任务初次运行时,采取全量+增量同步策略:

  • 全量阶段:查询任务运行时刻数据来源表的所有数据,输出至数据目标表。

  • 增量阶段:全量同步完成后,通过监听数据管道来源端的数据库日志变化,获取数据来源表的增量数据,将增量数据变化同步至数据目标表。

以下场景中,用户希望进增量同步:

  • 用户源库删除留存数据后,目标库仍保留完整数据。

  • 希望仅增量同步源表中近期有效数据。

  • 历史数据量很大的用户,为满足数据导入时间窗和导入成功率,历史数据往往要通过特定的高速装载方式或者分多次多批导入。

新版本的管道任务支持从指定的起点开始,持续同步新增的变化数据(增删改)。如下图所示:

详情请参见:配置管道任务 3.3 节内容。

107.png

数据管道和数据服务适配集群

数据管道和数据服务适配集群。详情请参见:集群部署概述

数据服务支持按照应用维度查看调用记录

支持按照应用维度查看调用记录。如下图所示:

详情请参见:服务运维 4.2 节内容。

106.png

暂时屏蔽功能编辑

4.0.30 版本,暂时屏蔽 独立部署下定时任务结果输出至FineBI 功能。

优化功能编辑

定时任务交互体验优化

  • 「数据开发」中打开一个定时任务,将该定时任务删除后,任务标签页同时关闭。

  • 定时任务打开过程中新增加载动画,避免白屏。

  • 「数据转换」节点中修改配置后,未保存直接关闭任务,FDL 工程、浏览器中新增保存提示。

  • 虚拟节点」与其他节点交互统一,鼠标左键点击节点,可配置节点名称和备注。

  • 自动建表批量设置大小写的体验优化。

  • 字段映射中支持搜索字段。

  • 「列转行」算子中,「转换字段设置」处,支持同类型字段全选。

  • JSON生成算子的JSON设置项中,键名输入框支持联想

定时任务运维界面优化

详情请参见:定时任务运维

  • 「调度计划」中新增「事件调度」,可为多个定时任务配置统一事件调度。

  • 「调度计划」中定时调度 Tab 下新增列「调度类型」。

  • 「运行记录」中,触发方式筛选条件新增「事件」。

  • 「任务管理」处,不显示具体的调度信息(不显示子表格)。

  • 调度计划、运行计划页面:取消调度计划名的蓝色文字链接。

FineDataLink 适配高版本 Kafka

安全检测中测出性能漏洞,涉及 Kafka 版本 2.3.0~3.3.2 。

目前已适配 Kafka 3.5.1 版本,原有 2.x 也可以正常使用,对于一些稳定性敏感,且不需要响应安全问题的用户,可以采取稳定性优先的策略,在其他用户广泛验证后,再升级高版本 Kafka。

详情请参见:部署Kafka

循环容器视觉优化

优化前
优化后

不容易区分循环容器内外节点

容器内节点图标缩小
1)容器内节点文字会超出容器外

2)由于不支持容器外节点拖入容器,导致容器外节点会叠加到容器上

3)节点会重叠

1)容器内节点不允许超出容器展示,展示不全可以使用滚动条

2)「循环容器」外的节点允许拖到容器内;其中有连线连接的节点不能单独拖入容器内,需要整组选中,一起拖入容器内

3)节点不能完全重叠,可以区分出两个节点

修复BUG编辑

本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

1)FDL-7650  集成部署工程中,表字段通过字段设置算子,将中文1字段改成了字母+中文2,发布到公共数据之后,FDL读出来是中文2。BI 6.0.14 版本已修复。

2)FDL-7697 数据过滤算子预览报错:com.fr.dp.exception.FineDPException: Spark执行错误 org.apache.spark.sql.execution.joins.exception.N2NInterruptException - null 为 JDBC 驱动的 BUG,本版本已修复。

3)FDL-7528 JSON 解析报错:Http request error。此版本已修复。

4)FDL-8120 「Spark SQL」算子报错空指针。此版本已修复。

5)FDL-8241 数据同步到 Oracle 数据库时,提示null数据无法写入,kettle可以,使用 SQL 语句查询,发现没有空值。原因是数据中存在空格,此版本已修复。

6)FDL-8279 使用 api 取数,预览的 json 数据和实际的 json 数据不一致,执行结果正确,前端显示有问题。此版本已修复。

7)FDL-7882 数据转换中两个json解析节点,上游勾选"解析后保留所有上游输出字段",下游节点选字段无法选中default。此版本已修复。

8)FDL-8264 fdl设置了通用配置,全部转小写。在创建管道任务的时候,直接自动建表源表存在的大小不会触发转换,需要手动修改表名之后前端才会变更。此版本已修复。

9)FDL-7945 FDL任务取数失败,加了响应超时的参数还是报错。此版本已修复。

10)FDL-8051 4.0.29版本,设计为sql脚本+数据转换任务卡住。此版本已修复。

11)FDL-8009 4.0.28版本,资源迁移导入的任务列表全选后导入,提示0个成功0个失败。如果选择部分可成功导入。原因是导出的主任务中缺失部分子任务。此版本直接报错。

12)FDL-5606 管道任务异常终止。此版本已修复。

13)FDL-7875 调度计划中生成一个调度计划名为「调度1-任务100」,选取了任务名为「任务101」的任务;将任务名为「任务100」的任务,添加一个任务调度,会默认生成这个「调度1-任务100」,但是不会触发重名校验。此版本已修复。

14)FDL-7618 数据服务预览卡住。原因是用户环境的SQL包含concat关键字,被防火墙拦截了。此版本已修复。

15)FDL-8128 sql脚本中merge写法识别不到 ; (分号)。此版本已修复。

16)FDL-946 调度配置设定后,两次运行成功后就一直处在运行状态。此版本已修复。

17)FDL-8263 数据管道适配seabox异常,在全量阶段会报错 Datasource"s writer step must be available此版本已修复。

18)FDL-8284 用户 oracle 数据库里面存了 61W 张表,在管道设计的时候点击数据库查询表页面直接空白了。此版本已修复。

19)FDL-8299 源表仅一个字段,无主键,实时同步到gauss,管道任务异常中止。此版本已修复。

20)FDL-7788 选择文件输入数据时,文件路径无法直接编辑增加参数,只能手动选择。此版本已修复。