4.2.17.2
定时任务加入批量调度路径优化
1)用户想在定时开发界面,快速加入或移除批量调度。详情请参见:定时调度
本次迭代,定时任务发布后,在「调度计划」界面,可将发布的定时任务加入到已有批量调度中。如下图所示:

2)加入批量调度后,支持从批量调度中移除,或者查看批量调度详情。

3)「运维中心>定时任务>调度计划」中,可在搜索框中输入定时任务名称,搜索对应的批量调度;可点击「计划任务数」列的值,查看具体定时任务。

新增适配 VastbaseG100(MySQL模式) 数据源
FineDataLink 支持连接 VastbaseG100(MySQL模式) 数据源,适配功能:
定时任务读取和写入
数据服务-数据查询API
库表管理
实时管道写入
详情请参见:配置VastbaseG100(MySQL模式)数据源
实时管道支持写入 VastbaseG100(Oracle模式)
实时管道任务支持写入 VastbaseG100(Oracle模式) 数据源。详情请参见:配置VastbaseG100(Oracle模式)数据源
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-23911 采集任务 expiring records 后, 未能正常走到管道任务的重试而自动恢复。此版本已修复。
2)FDL-23871 从 4.1 升级到 4.2.16.4 版本,实时管道数据没有同步,补数线程一直在排队,没有合并到主采集任务中。此版本已修复。
3)FDL-23900 实时管道任务运行报错,无法重新启动,排查原因是查询会话 redo 文件列表卡死,此版本已修复。
4)FDL-23891 用户 4.2.13.4 版本升级到 4.2.16.4 版本后,库表管理无法查询出数据,查询请求返回 200,但前端一直显示执行中,且无法中止。此版本已修复。
5)FDL-23903 4.2.13.2升级到4.2.17.1日志打印异常,报错No enum constant
com.fr.dp.event.valueobject.OperationType.DEFINITION_UPDATE。此版本已修复。
6)FDL-23801 实时管道任务中,scn gap无法正常推进,原因是 gap 发生在归档日志边界时会产生死循环。此版本已修复。
7)FDL-23877 用户定时任务中使用 Kettle 调用节点,运行时报错:存在未被禁用的未知节点:[Kettle调用]。此版本已修复。
8)FDL-23894 DB表输入算子中,读取 Oracle 数据库的 blob 字段,会把 blob 转成字符串,转换之后会乱码。此版本已修复。
9)FDL-23835 使用调度计划,同时执行任务时,获取全局参数出现死锁情况。此版本已修复。
10)FDL-23880 HANA 抽数到 Hive,数据连接使用参数,组件显示正常,但是执行就报错,原因是去向模式使用参数导致的。此版本已修复。
11)FDL-23867 来源端选择选表的配置方式,配置了大小写转换,目标表手动建表处表名的填写框小写表名,没有自动转换成大写,但实际建表语句转换成大写了。此版本已修复。
4.2.17.1
清表写入支持INSERT OVERWRITE方式
优化前:定时任务使用清表写入的方式时,若无事务控制,会出现写入失败或目标表不可用的情况。
优化后:
原「清表方式」更名为「执行方式」;
写入 Doris、SelectDB 、StarRocks 时,清空写入新增支持 INSERT OVERWRITE 执行方式。目标表始终有完整数据可用,不会出现清表后写入失败导致的数据丢失或不可用状态。

定时管道任务支持写入 Doris&SelectDB
定时管道任务新增支持写入 Doris&SelectDB 数据库,满足数据写入需求。
详情请参见:Doris数据源特性说明、SelectDB数据源特性说明

JSON 解析算子优化
新增搜索框,支持对解析后的字段名称进行模糊搜索。
详情请参见:JSON解析算子功能说明

修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-23826 Mysql 实时管道任务启动报错。此版本已修复。
2)FDL-23803 实时采集任务补数导致资源占用过高,引起挂到任务的表写入延迟,单个Topic存储到达上限,引发管道任务的表自动中止。此版本已修复。
3)FDL-23811 Elasticsearch输入算子中,「选索引」读取数据报错。此版本已修复。
4)FDL-23846 定时管道来源端表名修改之后,报错表不存在。此版本已修复。
5)FDL-23840 定时管道前端日志打印断点更新时间异常。此版本已修复。
6)FDL-23854 集群环境重启后,实时管道任务启动失败。
7)FDL-23845 运维概览页面,折线图数据错误。此版本已修复。
8)FDL-23852 实时任务中,saphana 同步到 mysql ,来源表与目标表写入量不一致,且增量同步很慢,并带有写入延迟。此版本已修复。
9)FDL-23851 实时管道任务启动失败,无报错。此版本已修复。
10)FDL-23858 定时管道字段映射报错,前端不提示脏数据。此版本已修复。
