4.1.2更新日志

Tomcat独立部署FDL安装包版本提升至 Tomcat 8.5.96。

数据管道- GaussDB 200 装载方式 copy 写入，部分场景脏数据记录异常，此时直接重试脏数据即可。

定时任务重试支持设置指定业务日期

当定时任务失败后，用户可以指定业务日期手动进行任务重试，重新触发任务运行，任务运行记录重试时，默认获取「任务运维>运行记录」中当次运行记录任务中原本的调度时间，并且支持修改调度时间的值。

详情参见：定时任务运维

同时也可在任务运行记录「查看详情」中进行重试处理。

数据转换新增分组汇总算子

FineDataLink 提供可视化算子，用户可实现对原始数据根据条件将相同的数据先合并到一组，然后按照分组后的数据进行汇总计算，避免写大量 SQL ，提升数据处理效率。

详情请参见：分组汇总算子

新增「字段拆行」/「字段拆列」算子 

FineDataLink 提供可视化算子，用户可用可视化的配置方式实现按分隔符对数据的行列拆分，避免写大量 SQL ，提升数据处理效率。

详情请参见：字段拆行、字段拆列

字段拆行：

字段拆列：

新增通用JDBC取数插件

当用户想要使用FineDataLink支持的数据源以外的其他的 JDBC 类型数据库作为 FineDataLink 中的定时任务数据源进行SQL 取数和执行 SQL等操作，可以使用该插件。

详情参见：通用JDBC取数插件

定时任务支持筛选脏数据、支持显示脏数据错误堆栈

点击定时任务产生的脏数据，可显示具体错误堆栈，并按照错误类型筛选，便于用户进行脏数据处理。

详情参见：定时任务运维 2.1.3 节

数据服务API支持发布Starrocks、GaussDB、MaxCompute数据源

详情请参见：发布API概述

数据管道支持多租户架构的Oracle作为数据来源

支持使用 PDB 可插拔 Oracle 数据库作为管道任务数据来源。

数据库准备配置详情参见：Oracle环境准备(LogMiner) 第四章、Oracle环境准备(XStream) 第四章

管道任务支持查看和筛选脏数据

支持查看脏数据、并筛选有脏数据的任务。

优化内置参数${cyctime}的取值逻辑

优化前：${cyctime}由定时任务调度时任务开始构建的时间，时间有一定的滞后性，不够精确。

优化后：${cyctime}参数时间更精确

详情参见：内置参数 2.1 节

优化定时任务重试的逻辑

详情参见：定时任务运维 2.2节

1）运行中的实例，不支持重试操作

目前运行中的实例，依然可以支持重试，不符合逻辑。

2）在重试>参数设置中，支持查看全局参数

如果任务用到了全局参数里的时间参数，在指定业务日期后，基于指定的业务日期替换时间格式参数的值进行后续的重试。

3）在重试>参数设置中，不再支持「添加参数」。

优化 Greenplum 数据源写入

优化前：并行装载不支持写入二进制类型和 JSON 类型的数据，部分字段无法通过并行装载完成同步；且使用JDBC可以写入的二进制类型数据和JSON类型数据速度比较慢。

优化后：

• 定时任务中，Greenplum 数据源支持 COPY 方式写入数据，支持写入二进制字段和 JSON 字段

• 并行装载方式支持写入 JSON 类型字段

• 并行装载方式，支持插入/更新/删除数据写入方式；主键冲突策略可选择：主键相同，忽略输入源的数据、主键相同，记录为脏数据

详情参见：配置Greenplum数据源 第四章

优化 GaussDB 200数据源写入

优化前：不支持 COPY 装载，导致写入速度较慢。

优化后：定时任务和数据管道任务中，装载方式新增COPY装载，写入数据较多时提升写入速度。

详情参见：配置GaussDB 200数据源 第四章

优化单个管道任务管理

优化前：只能按照指定时间区间，例如近3天，进行统计情况的筛选查看，不够灵活。

优化后：支持自定义历史统计周期查看同步情况，用户可自由查看管道任务活动历史情况。

详情参见：单个管道任务管理 3.1 节

优化前：运行中的任务不能查看任务配置情况，用户无法看到任务是否开启了 DDL、表映射关系等配置项

优化后：可查看运行中任务的配置情况。

详情参见：单个管道任务管理 第二章

优化前：不能查看待同步数据延迟情况。

优化后：新增显示待同步写入延迟时间，并能查看同步数据表「读取消息时间」和「写入消息时间」，更清晰的了解同步

详情参见 单个管道任务管理 3.1.1 节

优化前：无法对单条脏数据进行处理，同时对脏数据的分类查看不便。

优化后：可对脏数据进行单条和批量处理，同时交互上更舒适，按照错误分类进行脏数据筛选。

详情参见：单个管道任务管理 3.2 3.3 节

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-9336 开启内存计算配置后报错Memory compute process error - Index: 0, Size: 0。此版本已修复。

2）FDL-9310 调度计划侧搜索只能搜索小写的。此版本已修复。

3）FDL-9297 调度计划的下次运行时间排序无效。此版本已修复。

4）FDL-9275 前端页面反映慢。此版本已修复。

5）FDL-9274 达梦数据库表输入数据预览报错空指针。此版本已修复。

6）FDL-9261 更新后运行数据过滤报错条件属性存在空值【内部问题】。此版本已修复。 

7）FDL-9258 已运行过的管道任务暂停添加新的同步表。此版本已修复。 

8）FDL-9234 管道待同步量为负数。此版本已修复。 

9）FDL-9229 入库的值和预览不一致。此版本已修复。 

10）FDL-9228 FDL重启后，其中一个管道任务：报错任务不存在或已被删除。此版本已修复。 

11）FDL-9227 参数赋值异常。此版本已修复。 

12）FDL-9219 参数赋值处页面截断。此版本已修复。 

13）FDL-9215 数据转换无法写入，复制任务一个报错空指针。报错：com.fr.dp.exception.FineDPException: 任务执行失败 - Runtime internal error. - 抽数引擎内部异常 - Spark执行错误 - java.lang.NullPointerException - null

此版本已修复。 

14）FDL-8984 集群环境任务保存卡主了 此版本已修复。 

15）FDL-8636 数据管道报错：get max scn in disk error - update MaxScn in disk of 2 获取磁盘中的最大scn错误-更新第2个磁盘中的MaxScn 。此版本已修复。