4.2.14更新日志

若是由旧版本升级到的 4.2.14.3 及之后版本：

• dpworks下会保留未升级成功的定时任务配置信息；所以备份定时任务时，需要同时备份「平台配置」和「FDL任务」。

• 定时任务节点设置项中（比如备注、消息通知-内容），这些配置信息保存在外接数据库中。如果包含emoji，若外接数据库为MySQL且数据库编码为utf8(即utf8mb3)，将不支持emoji保存，会报错；如果是其他数据库，可以保存emoji。

写入 SQL Server 支持 COPY 装载

为解决数据量较大时，写入 SQL Sever 的性能问题。定时任务、实时管道写入 SQL Sever 时，支持配置 COPY 装载。

详情请参见：配置Microsoft SQL Server数据源

实时管道任务优化

当实时管道写入延迟过大时，或者待同步量过大时，希望直接提醒 IT 人员。

本版本的结果通知中，通知内容新增「同步延迟」。

详情请参见：配置实时管道任务-任务控制

在实时管道的「历史统计」的单表读写统计中，新增「写入延迟」指标，支持查看对应时间周期内单表的「写入延迟」指标的变化。

详情请参见：实时管道任务运行详情

实时采集任务优化

在采集任务的「历史统计」中，新增「日志解析延迟」指标，支持查看对应时间周期内采集任务的「日志解析延迟」指标的变化。

详情请参见：实时采集任务运维

修复 BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-23420 简道云输出报错请求超出限制。此版本已修复。

2）FDL-23360 新增计算列设置了内置参数 cyctime 类型为 date，但是 DB 表输入字段映射仍为 timestamp。此版本已修复。

3）FDL-23472 FDL 前端卡死，保存任务没有反应，部分页面无响应。此版本已修复。

4）FDL-23456 服务重启后，解析延迟的时间变长。此版本已修复。

5）FDL-23458 调用定时任务节点中，子任务异常中断，显示「暂无运行日志」。此版本已修复。

6）FDL-23513 定时任务导入后 SQL脚本未解密。此版本已修复。

7）FDL-23521 FDL 侧表中有新增数据，传输到 FineBI 的 ETL 表中未新增数据。此版本已修复。

定时任务配置信息保存位置变更

此版本后，定时任务配置信息不再保存在dpworks文件夹下，而是保存在 FineDB 数据库中。

若是全新下载的 4.2.14.3 及之后版本 FDL 工程，dpworks 下不会保存信息，为空文件夹；备份定时任务时，只需备份「平台配置」 即可。

详情请参见：备份还原

修复BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-23391 4.2.4.2升级到最新版4.2.14.1后，数据过滤功能异常。此版本已修复。

2）FDL-23393 采集任务部分任务输出两份心跳日志。此版本已修复。

3）FDL-23399 数据检测两表数据明细对比，大表检测运行时造成环境内存溢出宕机。此版本已修复。

4）FDL-23329 管道任务中有一张表启动报错，异常终止。此版本已修复。

5）FDL-23435 doris 开启事务，在前置语句中引用参数没有生效。此版本已修复。

6）FDL-23419 采集任务报错-get mysql gtid error.-null。此版本已修复。

7）FDL-23405 采集任务起点异常此版本已修复。此版本已修复。

8）FDL-23343 输出 Doris 时，手动建表语句中，写时合并和读时合并的语句反了。此版本已修复。

9）FDL-23400 字段顺序在输出的时候更改。此版本已修复。

事件调度优化

详情请参见：事件调度

新增超时策略

新增「超时策略」，若上游任务运行超时，但在设定的超时等待时长内成功运行，当前任务组仍可继续执行。

新增异常警告配置

新增「异常告警」配置，若任务未运行成功，将通知运维人员去处理，避免因任务持续处于未运行状态而影响下游任务执行。

修复BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-23304 死锁导致 FineDB 连接池沾满，频繁宕机。此版本已修复。

2）FDL-23365 文件传输数据来源为 Windows 环境的 FTP，文件筛选失效。此版本已修复。

3）FDL-23382 DB输出 Doris 数据库，开启事务控制后，若字段映射字段数小于目标表字段数，同步报错。此版本已修复。

4）FDL-23356 FDL服务器更新后挂机。此版本已修复。

5）FDL-23355 jvm 内存宕机，任务恢复启动报错 Duplicate key。此版本已修复。

6）FDL-23340 更新至 5.0.7.1 版本重启服务器后，管道任务启动异常。此版本已修复。

7）FDL-23339 sqlserver 补数据，如果一次性多个表进入补数据，并且有数据变更的话，会导致断点异常。同一个采集器下，同时启动多个任务，也会导致采集任务异常。此版本已修复。

8）FDL-23334 采集任务补数据完成后, 表的开始采集起点没变。此版本已修复。

9）FDL-23368 采集任务子线程不合并。此版本已修复。

10）FDL-22177 父任务调用子任务字符型参数传递后为 null。此版本已修复。

11）FDL-23328 手动更新目标表的语句不生效。此版本已修复。

实时采集任务优化

详情请参见：实时采集任务、实时采集任务运维

实时采集任务与数据连接关系优化

优化前：采集连接任务根据「数据连接URL」来区分，导致数据连接的 URL 添加参数后，就会新建采集任务。

优化后：采集任务以「数据连接的名称」区分。

实时采集任务运行逻辑优化

为了降低采集任务运行的复杂度，和触发补数的频率，优化采集任务运行逻辑。

优化前：当实时任务暂停/终止删除时，会自动检查该任务中使用的所有来源表的 CDC 数据是否有其他任务在使用，根据实际情况自动停止操作或继续执行。

优化后：

• 当实时管道、实时任务暂停、删除时，不再自动触发采集任务中表的暂停和删除。

• 当采集任务被手动暂停后，因为某一个实时任务重新触发启动时，启动时就恢复所有表的采集。

实时采集任务提供运维操作

新增「暂停」操作，当实时采集对数据库的影响较大时，可通过此按钮立即停止采集任务。

新增支持查看补数记录

优化前：补数过程处于黑盒状态，无法查看补数信息的日志或状态，出现问题时难以发现和排查。

优化后：新增支持查看补数记录，展示正在采集表的运行状态、运行信息等。

详情请参见：实时采集任务运维

支持删除单个/多个实时采集任务中的表

支持删除单个或批量删除多个实时采集任务中的表。如下图所示：

详情请参见：实时采集任务运维

SQL 编辑优化

SQL 编辑全新升级：

• 支持自动提示表名、字段名等信息，并辅助补全

• 支持语法检查与错误高亮

• 支持选中部分代码调试

• 同一脚本支持多条 Select 查询语句

• SQL 语句格式美化

• 新增编辑锁功能，其他人编辑时仅支持预览

详情请参见：库表管理

参数使用优化

父任务参数支持传递至二级及以上子任务中

如果勾选了将当前任务的参数传递给子任务，那么定义的任务参数、参数赋值输出的参数都可以传递给子任务、子子任务等多层级下游任务使用。

详情请参见：调用定时任务

自动建表支持输入参数作为表名

自动建表时，支持输入参数作为表名。进行数据处理写入数据库时，由于数据量大需要拆分表或者需要按日期将数据存入多张表，则可以使用该功能。

详情请参见：数据同步-数据去向与映射

部分应用数据源支持修改来源端字段类型

钉钉OA审批、钉钉宜搭、钉钉（企业内部应用）、飞书表格应用数据源，在字段映射处支持修改来源端字段类型。如下图所示：

定时管道任务添加表时支持查看表信息&显示灰化增量无主键表

在定时管道任务中，添加表时支持查看表信息，可根据接口查看字段含义；同时，列表中支持展示增量无主键表，但暂时不支持选择。

修复BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-23277 sapbw 插件插件的数据连接告警，请求 400。此版本已修复。

2）FDL-22384 当前定时任务中设置的静态参数被复制过来的算子中的静态参数配置影响。此版本已修复。

3）FDL-23284 普通用户点击数据管理模块会出现偶发空白页。此版本已修复。

4）FDL-22456 Greenplum 数据源，复杂 SQL 在DB 输出时无法加载出字段。此版本已修复。

5）FDL-22636 实时管道运行后，来源端和目标端数据不一致。此版本已修复。

6）FDL-21088 实时管道任务中表过多导致启动慢。此版本已修复。

7）FDL-23228 数据接收无法插入数据，只能更新数据。此版本已修复。

8）FDL-22793 实时任务中，来源端 SQL Sserver 到目标端MySQL，全量同步完成后增量没有同步。此版本已修复。

9）FDL-22560 实时管道中新加的表，未采集到增量数据。此版本已修复。

10）FDL-23211 数据同步写入 Hive 数据库字段映射加载很慢。此版本已修复。

11）FDL-23288 Greenplum 数据库 copy 装载脏数据丢失数据。此版本已修复。

12）FDL-23273 数据服务应用报错无权限。此版本已修复。

13）FDL-23225 调度相关权限问题，例如批量调度权限设置不生效等。此版本已修复。

14）FDL-22725 数据写入达梦数据库是，前端日志写入量为 0，实际有数据写入。此版本已修复。

15）FDL-23184 Gbase8A 数据库中 datetime 字段类型的数据会被映射为 timestamps。此版本已修复。

16）FDL-23301 实时管道任务中，SQL Server同步数据到 Doris，字符被截断导致脏数据。此版本已修复。

17）FDL-23217 文件输出时，字段映射中修改字段类型不生效。