兼容说明编辑
独立部署的 FineDataLink 工程,4.0.27 及之后版本升级到 4.0.30 版本后,独立部署下定时任务结果输出至FineBI 的定时任务将时效。
新增功能编辑
数据支持输出为 Excel 形式
数据同步节点中:数据去向 Tab 中可选择 FTP/SFTP 和服务器本地目录,可将数据输出为 Excel 形式。若数据不需要进行复杂处理加工,可在数据同步节点中实现。
数据转换节点中:「文件输出」算子支持将数据输出为 Excel 形式,若数据需要进行复杂处理加工后再输出,可在数据转换节点中实现。
如下图所示:

定时任务中支持设置全局参数
当多个定时任务需要使用相同的参数时,如果参数需要修改,每个定时任务都需要进行修改,实现过程比较麻烦。支持设置全局参数,该参数可在多个定时任务中使用。如下图所示:
详情请参见:全局参数


支持设置定时任务的调度依赖和优先级
1)支持为定时任务设置事件调度。
例如:数仓构建过程中 ODS 层有 a、b、c 任务互不影响、DW 层有 d 、f 任务,需要 a、b 任务执行完触发 d 任务,来减少 DW 层对 ODS 层完全更新完等待的时间;若 a、b 执行失败则不触发,来避免数据准确性的问题。
详情请参见:定时任务调度配置 2.2 节内容。

2)支持设置定时任务的执行优先级。当线程数不足时,优先执行队列中级别高的流,相同优先级的任务按照先进先出的顺序执行。
详情请参见:定时任务调度配置 第五章内容。

支持可视化展示定时任务的调用关系/依赖关系
可视化展示父子任务层级调用关系,用户可查看该定时任务被哪些任务调用,以及该任务调用了哪些任务。
可视化展示任务间调度依赖关系,辅助事件调度决策。
详情请参见:任务间调用/依赖关系展示

定时任务&管道任务&API支持导入导出
FineDataLink 工程上做好的定时任务&管道任务&API希望能够被复用到其他工程中。
1)FineDataLink 支持将定时任务从 A 系统中导出并导入至 B 系统。
详情请参见:定时任务导入导出
2)FineDataLink 支持将管道任务从 A 系统中导出并导入至 B 系统。
详情请参见:管道任务导入导出
3)FineDataLink 支持将 API 任务从 A 系统中导出并导入至 B 系统。
详情请参见:API任务导入导出
管道任务支持仅增量同步
数据管道任务初次运行时,采取全量+增量同步策略:
全量阶段:查询任务运行时刻数据来源表的所有数据,输出至数据目标表。
增量阶段:全量同步完成后,通过监听数据管道来源端的数据库日志变化,获取数据来源表的增量数据,将增量数据变化同步至数据目标表。
当以下场景中,用户希望进增量同步:
用户源库删除留存数据后,目标库仍保留完整数据。
希望仅增量同步源表中近期有效数据。
历史数据量很大的用户,为满足数据导入时间窗和导入成功率,历史数据往往要通过特定的高速装载方式或者分多次多批导入。
新版本的管道任务支持从指定的起点开始,持续同步新增的变化数据(增删改)。如下图所示:
详情请参见:配置管道任务 3.3 节内容。

数据管道和数据服务适配集群
数据管道和数据服务适配集群。详情请参见:集群部署概述
数据服务支持按照应用维度查看调用记录
支持按照应用维度查看调用记录。如下图所示:
详情请参见:服务运维 4.2 节内容。

暂时屏蔽功能编辑
4.0.30 版本,暂时屏蔽 独立部署下定时任务结果输出至FineBI 功能。
优化功能编辑
定时任务交互体验优化
「数据开发」中打开一个定时任务,将该定时任务删除后,任务标签页同时关闭。
定时任务打开过程中新增加载动画,避免白屏。
「数据转换」节点中修改配置后,未保存直接关闭任务,FDL 工程、浏览器中新增保存提示。
「虚拟节点」与其他节点交互统一,鼠标左键点击节点,可配置节点名称和备注。
自动建表批量设置大小写的体验优化。
字段映射中支持搜索字段。
「列转行」算子中,「转换字段设置」处,支持同类型字段全选。
JSON生成算子的JSON设置项中,键名输入框支持联想
定时任务运维界面优化
详情请参见:定时任务运维
「调度计划」中新增「事件调度」,可为多个定时任务配置统一事件调度。
「调度计划」中定时调度 Tab 下新增列「调度类型」。
「运行记录」中,触发方式筛选条件新增「事件」。
「任务管理」处,不显示具体的调度信息(不显示子表格)。
调度计划、运行计划页面:取消调度计划名的蓝色文字链接。
FineDataLink 适配高版本 Kafka
安全检测中测出性能漏洞,涉及 Kafka 版本 2.3.0~3.3.2 。
目前已适配 Kafka 3.5.1 版本,原有 2.x 也可以正常使用,对于一些稳定性敏感,且不需要响应安全问题的用户,可以采取稳定性优先的策略,在其他用户广泛验证后,再升级高版本 Kafka。
详情请参见:部署Kafka
循环容器视觉优化
| 优化前 | 优化后 |
|---|---|
不容易区分循环容器内外节点 | 容器内节点图标缩小 |
| 1)容器内节点文字会超出容器外 2)由于不支持容器外节点拖入容器,导致容器外节点会叠加到容器上 3)节点会重叠 | 1)容器内节点不允许超出容器展示,展示不全可以使用滚动条 2)「循环容器」外的节点允许拖到容器内;其中有连线连接的节点不能单独拖入容器内,需要整组选中,一起拖入容器内 3)节点不能完全重叠,可以区分出两个节点 |

