兼容说明
1)推出 v5.0共创版 ,用户可联系技术支持获取并体验。
2)小于等于 3.9.0 的 Kafka 版本,检测出编号为CVE-2025-27817、CVE-2025-27818、CVE-2025-27819 的非高危漏洞,需要参考 部署Kafka:KRaft模式 进行解决。
4.2.7.4
数据转换支持分流处理数据
优化前:
数据分发时,仅有一个输出环节且仅在输出时分流;用户想对同一数据来源进行不同处理(如拆分主子表、分组汇总等)分别输出时,需要借用中间表且拆成两个数据转换任务重新写相同的前置处理逻辑,实现过程较麻烦。
日志信息不显示存在多流,统计信息分别显示多个输出。
优化后:
1)在一个「数据转换」节点里支持数据的分流处理和输出。如下图所示:
详情请参见:算子连线规则
2)支持查看「数据转换」节点内的日志和统计。如下图所示:
详情请参见:任务日志
DB表事务输出做成标准功能
DB输出(事务) 算子功能合并至「DB表输出」、「数据同步-写入方式」中。如下图所示:
清空目标表再写入数据逻辑优化
优化前:
「清空目标表,再写入数据」在写入时,默认是覆盖策略且无提示,用户发现写入数据与读取数据条数不一致,需要花费较多时间排查。
「清空目标表,再写入数据」在清表时,用的 TRUNCATE 清表方式,清表时,若有其他系统读写或者占用这张表,会导致数据库锁表。
优化后:
写入方式选择「清空目标表,再写入数据」时,新增清表方式和主键冲突策略。如下图所示:
详情请参见:数据同步-写入方式
适配SelectDB 3.0版本
FineDataLink 适配 SelectDB 3.0 版本。
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-18052 Doris 2.1.6 及之后版本,获取建表语句失败后会自动转到尝试获取物化视图建表语句。此版本已修复。
2)FDL-19073 用户使用「新增计算列+行转列」算子处理数据,预览时数据正常,落库后映射到了相邻的列。此版本已修复。
3)FDL-19079 用户数据管道任务来源端为 Oracle 数据库,目标端为 YMtrix 数据库,管道任务正常启动后,抽取数据经常会出现延迟。此版本已修复。
4)FDL-19378 工程升级到 4.2.7.2 版本后,存在表读取消息出现变动,但是写入消息滞后的情况,未把数据同步到目标表。此版本已修复。
4.2.7.3
血缘分析适配更多数据源&体验优化
详情请参见:血缘分析
1)来源端为「SQL」配置项时,血缘分析新增适配数据源:db2、sqlite、Hsql、Informix、达梦、KingBase、TiDB、ClickHouse、PolarDB PostgreSQL、Presto、Gaussdb 200、Gbase8a、阿里云MaxCompute(odps)。
2)管道任务血缘优化:
优化前:
表 A 为管道任务的来源端,点击表 A 的血缘查看,管道任务的所有目标表都展示出来。
优化后:
只会展示表 A 对应的目标表(仅会展示一一对应的表关系,是否开启「旁系血缘」按钮都为该逻辑)。
3)INSERT 语法解析优化:
优化前:
暂不支持解析来源目标端,仅解析为引用关系。
优化后:
支持解析来源目标端。
数据服务、定时任务读写、实时管道写支持Doris&StarRocks分区表
详情请参见:Doris数据源特性说明、StarRocks数据源特性说明
1)定时任务、数据服务支持读取 Doris&StarRocks 分区表。
2)定时任务、管道任务支持写入 Doris、StarRocks 数据库的分区表。如下图所示:
3)定时任务、管道任务目标表为自动建表时,支持指定分区键。如下图所示:
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-18385 FineDataLink 连接简道云私有化版本,报错 net error。此版本已修复。
2)FDL-19255 用户仅有管道任务的权限,没有共享中心的权限,查看管道任务时报错无权限。此版本已修复。
3)FDL-19030 集群环境启动两个管道任务,对应采集任务在一个节点运行。此版本已修复。
4)FDL-19264 FineDataLink 工程为双节点集群,从 4.2.6.1 升级到 4.2.7.2,启动失败。此版本已修复。
4.2.7.2
适配 GaussDB 100/GaussDB T 数据源
FineDataLink 支持连接 GaussDB 100/GaussDB T 数据源,适配功能:
定时任务读取和写入
实时任务写入
数据管道任务写入
数据服务功能
库表管理功能
详情请参见:配置 GaussDB 100/GaussDB T 数据源
支持飞书消息卡片通知
飞书应用推送、飞书群机器人渠道中,支持消息卡片通知,丰富了通知形式。
此外,优化了 Markdown 格式消息的显示效果,提升通知内容的可读性。
详情参见文档:消息通知
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-17451 使用「JSON生成」算子构建的数值型字段,使用「简道云输出」算子输出到简道云表单时,转换为字符串类型,导入写入出现问题。此版本已修复。
2)FDL-18719 一次启动多个相同源端的管道任务,产生多个采集任务。此版本已修复。
3)FDL-18760 管道暂停重新启动后,断点 lsn 看起来正常,但是启动后 wal 日志和 lsn 不一致。此版本已修复。
4)FDL-18765 管道任务中,源端为 Kafka,目标端为 Tidb,管道每次暂停重启才会有数据被消费进入到目标表。此版本已修复。
5)FDL-18786 FDL4.2.4.2 版本 ODATA 取数,XML 节点可以解析 LINK 下的数据;4.2.6.1版本解析 LINK 节点失败,且选择 XML 节点中只可选择 LINK 数组,无法选择具体节点。此版本已修复。
6)FDL-18802 数据服务使用 appcode 鉴权导出 api 异常,不鉴权是正常的。此版本已修复。
7)FDL-18809 应用数据源抽取数据异常时,任务会无限等待。此版本已修复。
8)FDL-18821 管道任务配置了重试,但 1 次都没重试就暂停了。此版本已修复。
9)FDL-18824 一个实时采集任务包含 5 个管道任务,5 个管道都设置从 9 小时前开始同步;任务1启动后, 创建了采集任务.,很快采集到了当前时间;任务 2 再启动,因为表不一致,会需要补数据,此时初始化失败了, 采集任务会一致卡着出不来,后续的任务3、4、5也都排队中。此版本已修复。
10)FDL-18825 所有采集任务中进行筛选时,报错:获取实时采集任务列表失败。此版本已修复。
11)FDL-18829 管道任务中,表的同步阶段已经变为「增量同步中」,但实际并未进行增量同步,无增量数据。此版本已修复。
12)FDL-18863 数据连接管理模块没有数据连接时,新版本会报错:用户无权限。此版本已修复。
13)FDL-18945 数据服务导出 API 文档失败,大小为 0kb。此版本已修复。
14)FDL-18948 Kafka 检查出安全漏洞,详情请参见:部署Kafka:KRaft模式
15)FDL-18994 部分管道部分表有最新读取消息时间, 但没有最新写入消息时间。此版本已修复。
4.2.7.1
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-18708 源端子表单存在 null 值,使用「简道云输出」算子输出到子表单时,报错空指针。此版本已修复。
2)FDL-18692 Amazon Redshift数据连接中,凭证读取方式选择「手动指定凭证」,定时任务的写入方式中无法配置高速装载。此版本已修复。