4.2.23.3
采集任务运维优化
实时采集任务入口调整
实时采集任务入口调整至「运维中心」中,方便运维人员查看。
详情请参见:实时采集任务运维

补数记录新增运维信息
补数记录新增:创建时间、开始时间、结束时间、耗时、所属任务信息,便于运维排查。
详情请参见:实时采集任务运维

实时管道界面增加「采集任务」入口
实时管道详情页新增「采集任务」入口,点击后直接进入对应采集任务详情。
详情请参见:管理实时管道任务

其他优化点
1)实时管道任务、实时任务管理界面,新增支持按采集任务筛选相关任务。

2)实时管道界面、实时采集任务界面新增表数量信息。

实时管道脏数据支持自动重试
实时管道任务新增支持「脏数据重试」配置,针对目标库短暂不可用等临时故障引发的写入失败数据,支持按配置自动重试,配置后脏数据按指定频次自动重试,降低人工运维成本。
详情请参见:配置实时管道任务-任务控制

实时管道任务支持新增计算字段
实时管道任务支持「新增计算字段」,可基于来源表字段生成新的计算列作为业务字段,直接写入目标表中,无需在源端逐个增加表字段。
详情请参见:配置实时管道任务-同步配置

实时管道任务支持新增分组表标识符
新增「标识符」配置,支持为分组来源表配置业务标识参数,再通过「新增计算列字段」功能将业务字段写入目标表,简化数据开发维护链路。
详情请参见:配置实时管道任务-同步配置

数据服务优化
1)新增支持解析字符串为 JSON 数组或对象,如需使用请先联系技术支持获取插件。
2)历史版本中,部分数据源若开启了分页取数,必须配置返回值排序。此版本支持更改 FineDB 配置来取消「返回值排序」必填的限制,如需取消限制,请联系技术支持。
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-25313 4.2 版本数据连接中不展示飞书数据源。此版本已修复。
2)FDL-25266 实时管道任务从 Mysql 同步至 SelectDB,注释中存在反引号导致运行报错。此版本已修复。
3)FDL-25203 定时任务运行记录报错:获取运行记录异常。此版本已修复。
4)FDL-25219 Oracle19c(LogMiner)快照备库 启动报错。此版本已修复。
5)FDL-25180 DB表输入算子中,Doris、Selectdb 数据源未适配 show 语句。此版本已修复。
6)FDL-25249 API 查询模块,GsussDB 等数据源无精度小数被截断。此版本已修复。
7)FDL-25218 运维概览界面,失败率排行、平均耗时排行加载慢。此版本已修复。
8)FDL-25285 库表管理中止 SQL 导致全平台调度状态停滞。此版本已修复。
4.2.23.2
定时任务新增「统一终止」按钮
新增「统一终止」按钮,当任务大量堆积处于构建排队状态时,可一键快速终止,省去繁琐的批量操作,降低运维成本。
详情请参见:任务控制-运行管理

定时任务实例预警支持十分钟级
定时任务运行监控预警检测频率支持最短 10 分钟,适配高频分钟调度场景,可及时感知任务排队堆积并触发预警。
详情参见文档:定时任务运维-运行监控

定时任务全局设置新增「实例执行策略默认值」
定时任务全局设置新增「实例执行策略默认值」,可针对未发布任务的实例执行策略设置默认值。
详情请参见:任务控制-运行管理

Greenplum支持并行装载方式
实时管道任务中,若使用 Greenplum 作为目标端,支持并行装载,提升写入速度。
详情请参见:Greenplum数据源特性说明

最大活动连接数上限1000
为防止最大活动连接数过大引发宕机问题,新增上限为1000。

实时管道目标端屏蔽部分模型
优化前:实时管道目标端不支持明细模型,但实际可以选择,会导致执行任务时报错。
优化后:
当目标端为 StarRocks、Doris、SelectDB,且选择「已存在表」时,仅支持主键模型类型的表,其余类型表置灰无法选择;
当目标端为 Argodb,且选择「已存在表」时,支持选择存储格式为 HOLODESK 的表,其余类型表置灰无法选择。
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-25201 保存负载分配的时候,定时管道如果分配并发为 0,保存报错:资源控制参数保存失败,调成1 则可以正常保存。此版本已修复。
2)FDL-25220 从 4.2.19.4 升级至 4.2.22.4 后全量同步报数组越界。此版本已修复。
3)FDL-25202 Oracle 实时管道独立日志解析,超内存池上线。此版本已修复。
4)FDL-25206 恢复管道任务时报错:PipelineTargetHandle 未找到。此版本已修复。
5)FDL-25240 升级至 4.2.23.1 版本,数据平台启动未成功。此版本已修复。
6)FDL-25242 定时任务报错后无法自动终止运行状态。此版本已修复。
7)FDL-25253 Kafka-ogg写入 SeaboxMPP 并行装载,默认开启了 ORCA 导致报错。此版本已修复。
8)FDL-24711 Oracle 实时管道某个表启动报错异常中止,错误信息:null 采集任务重试次数已达上限。此版本已修复。
4.2.23.1
新增CloudberryDB数据连接
新增 CloudberryDB 数据源,适配:定时任务的读取和写入、实时管道写入、实时任务写入。
详情请参见:配置CloudberryDB数据源

支持使用密钥连接 Snowflake 数据库
新增支持使用密钥连接 Snowflake 数据库。
详情请参见:配置Snowflake数据源

Oracle数据库支持US7ASCII编码
Oracle 数据库新增支持 US7ASCII 编码,使用于使用 US7ASCII 字符集存储中文的场景,解决中文数据在查询与写入时出现乱码或数据不可用的问题。
详情请参见:配置Oracle数据源

支持设置通知生效范围
新增「通知生效范围」配置项,选择「开发模式和生产模式」时,开发模式触发的通知会标注「开发模式通知提醒」,方便接收方区分测试通知。
详情请参见:任务控制-结果通知

修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-25165 文件传输写入 Server Message Block 失败,超时时间配置不生效。此版本已修复。
2)FDL-25148 实时管道任务中,Oracle 写入 SeaboxMPP 全量同步慢。此版本已修复。
3)FDL-25173 实时管道状态异常且脏数据为负数。此版本已修复。
4)FDL-25129 DDL 同步时,实时管道目标端没有按照通用字段映射规则扩大。此版本已修复。
5)FDL-25182 集群环境下,定时任务写入 SelectDB 明细表数据重复。此版本已修复。
6)FDL-25032 定时任务,同一任务有多个正在运行中的实例。此版本已修复。
7)FDL-25151 实时管道任务写入 SeaboxMPP 无法执行并行装载全量。此版本已修复。
8)FDL-25200 SQL 自动语法校验线程持续占用 CPU,任务执行结束后线程未退出,导致服务器 CPU 长时间 100%。此版本已修复。
9)FDL-25153 实时管道先选 Oracle-ogg 同步模式再选表,去向为 SeaboxMPP 不显示并行装载模块。此版本已修复。
10)FDL-20318 公式编辑器原有语法解析器仅支持双引号字符串,未识别单引号字符串边界。此版本已修复。
11)FDL-25021 实时管道 obcdc 增量解析把 null 解析成空字符串。此版本已修复。
12)FDL-25127 DB 表输入中,对 Gauss T 并行取数时连接异常关闭。此版本已修复。
13)FDL-25089 定时任务-数据同步写入 SelectDB 任务报错找不到临时表。此版本已修复。
14)FDL-25103 FDL 升级慢。此版本已修复。
