4.1.5更新日志

1）FR 与 FDL 集成的工程，任意版本手动更新到 4.1.5.2 及之后版本时，需删除%Tomcat_HOME%/webapps/webroot/WEB-INF/lib目录下的fine-bi-engine-third-6.0.jar

2）4.1.5.4 及之后版本，简道云私有部署支持使用 TLS/SSL 认证。之前因为简道云数据连接无法配置 SSL 认证而屏蔽了 SSL 证书验证的用户，需要取消屏蔽，才能在 4.1.5.4 及之后版本的简道云数据连接中使用 TLS/SSL 认证。

3）4.1.5.5 版本，定时任务的本地文件目录结构调整，在更新前请务必做好备份，备份步骤详情参见FineDataLink任务备份还原方案

4.1.5.5之前的版本，定时任务存放如下：

存放位置（以4.1.5.4为例）：%FineDataaLink%/webapps /webroot/WEB-INF/dpworks/##-dp-4.1.5.4

4.1.5.5之后的版本，定时任务ID 直接作为文件夹，文件夹内为 dp 文件，如下图所示：

存放位置：%FineDataaLink%/webapps /webroot/WEB-INF/dpworks/##-dp-4.1.5.5

进入文件夹即为 dp 文件名称，如下图所示：

4）「简道云输入」算子读取简道云数据时：

• 4.1.5.5 之前版本，简道云表单中的空字符串会自动转为 null 值

• 4.1.5.5 及之后版本，对简道云表单中的空字符串不做转换。

定时任务支持文件传输

• 简道云/API附件移动：用户想要将简道云/API接口中的附件做数据归档，下载附件同步至FTP服务器或本地或其他业务系统（API接口）；

• FTP/本地间文件移动：FTP文件读取后移动至FTP其他文件夹做备份，原有文件需要删除；

FineDataLink 支持使用「文件传输」节点，进行多种类型的下载/上传文件方式：API下载/上传、本地、FTP/SFTP服务器。

详情请参见：文件传输

海盒通用数据库SeaboxSQL定时任务支持读写

详情请参见：配置SeaboxMPP数据源

定时任务字段设置交互优化

将「操作记录」与「删除」按钮位置交换，详情参见：字段设置

修复BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-10606  集群升级多节点同时启动可能会锁死外接库，此版本已修复。

2）FDL-10575  调度计划加载需要20s【内部问题】，此版本已修复。

3）FDL-10564  管道日志运行报错，此版本已修复。

4）FDL-10533  运维里的时间过滤默认无效【内部问题】此版本已修复。

5）FDL-10530  sqlserver字符集区分大小写敏感，导致管道任务运行异常  此版本已修复。

6）FDL-10520  定时任务文件夹拖动到其他文件夹，显示异常  此版本已修复。

7）FDL-10482  手动建表报错服务器内部错误 此版本已修复。

8）FDL-10474  数据服务发布Finedata(GP)数据，order by timestamp类型 排序混乱  请期待后续优化。

9）FDL-10385  oracle数据库取数乱码 转需求，敬请期待优化。

10）FDL-10309  文件输入框选择出现空白 此版本已修复。

11）FDL-10213  集成版本，fdl中文乱码 转需求，敬请期待优化。

12）FDL-10139  sparksql前置节点内容为空且使用聚合函数时，任务运行卡住 此版本已修复。

13）FDL-9958  管道任务运行报错

14）FDL-9768 集群环境任务状态和日志加载异常 此版本已修复。

15）FDL-9734  任务调度偶发性不执行 此版本已修复。

16）FDL-9705  集群环境任务运维日志不显示 此版本已修复。

17）FDL-9475  更改时区不生效 转需求，敬请期待优化。

18）FDL-9383 json数据写入异常

19）FDL-9246  FDL重启后负载过大

20）FDL-8259 FDL取数时，对于简道云数据源，会把 空值都转为null 简道云数据限制，用户使用时需要注意。

21）FDL-4008 数据管道MySQL-Gauss每秒只有400~500行数据，有点慢 此版本已修复。

简道云私有部署支持使用TLS/SSL认证

简道云私有部署支持使用TLS/SSL认证。如下图所示：

详情请参见：配置简道云数据源

简道云输出算子支持更多控件类型

简道云输出算子，支持使用除「选择数据、手写签名、图片、附件」外所有指定表单的控件类型。详情请参见：简道云输出算子

支持同步表备注、字段备注

开发人员和使用业务库人员，是不同的人，源表的注释记录表的用途等信息说明，需要同步到目标库，作为数据资产以便客户更高效地开发和维护数据库。

1）定时任务中，只在第一次建表时，同步表描述和字段备注，后续定时任务再执行，表描述、字段备注不会变化。

详情请参见：数据同步-数据去向与映射

2）管道任务中：

• 若未开启DDL，只在第一次同步时，同步字段的注释，之后源表字段注释的变化不会同步到目标表。

• 若开启DDL，源表字段注释的变化（增删改）会同步到目标表中。但新增字段的注释不会同步过去。

• 不论是否开启DDL，只在第一次同步时，同步表描述，后续源表的表描述发生变化，不会同步到目标表。

详情请参见：配置管道任务-表字段映射

3）数据服务中，「发布内容及参数」步骤中，配置方式选择「选表」时，显示表备注。如下图所示：

详情请参见：发布API概述

定时任务支持 DDL

用户使用数据开发模块设置定时同步任务，想要感知到定时任务同步时的来源端数据表 DDL 变化，能够及时通知给用户，并进行定时任务处理，此版本定时任务支持 DDL 。

详情请参见：定时任务DDL同步

1）当进行定时任务开发时，能够提示来源端数据表的 DDL 变化，并且将变化通知给指定用户。如下图所示：

2）同时可以直接在任务中对目标表进行字段处理，更新目标表结构。如下图所示：

修复BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-10422 定时任务设置了事件调度，父任务运行后子任务也运行成功。但从事件调度运行记录的查看详情点开跳转，运行记录为空。此版本已修复。

2）FDL-10398 4.0.24 升级到 4.1.5.2，升级之后定时任务的调度配置丢失。此版本已修复。

3）FDL-10361 数据源为 Oracle 进行数据同步时，展开模式列表后，模式表太多导致系统崩溃。此版本已修复。

4）FDL-10423 API 输入中添加 FDLTimeout 参数，导致接口断连。此版本已修复。

5）FDL-10280 给普通用户设置了服务器数据集的权限，但配置后，在数据同步的数据集输入，和数据转换的数据集输入里都没有生效。此版本已修复。

6）FDL-10240 运行过程中，binlog 文件缺失，无限循环重试。此版本已修复。

7）FDL-10455 Windows 系统中，Python 脚本传参报错，此版本已修复。

8）FDL-10527  python算子处理后的数值类型的时间戳精度丢失  此版本已修复。

9）FDL-10536  数据转换里db输入执行失败但整体数据转换被判断为执行成功。此版本已修复。

10）FDL-10562  4.1.3后的版本数据同步里oracle数据源预览不能带;

在4.1.3之前的版本不允许在预览中存在注释，例如SELECT * FROM "ANGLE"."001TEST_DUMP_001";-- 我是注释

11）FDL-10419  事件调度依赖任务设置1个的时候显示的执行条件有问题 此版本已修复。

12）FDL-10244  事件依赖图上的爷孙节点展不开【内部问题】此版本已修复。

13）FDL-10130  算子自动重命名的时候会冲突报错【内部问题】此版本已修复。

资源迁移优化

详情请参见：资源迁移

1）资源迁移中导入导出定时任务时，支持同时导入导出调度计划。

2）支持 BI 与 FDL 集成的工程导入/导出定时任务和调度计划。如下图所示：

新增连线吸附开关

新增「连线吸附」开关，若开启，节点添加到两个节点之间时，连线支持自动吸附；若关闭，不能自动触发连线吸附。如下图所示：

详情请参见：节点连线

管道运行日志优化

1）优化目前管道任务诊断日志的分类和详情；补充上下线操作相关的操作日志。

2）日志展示效果优化：

详情请参见：运行日志

• 若暂无运行日志，提供界面提示用户。

• 运行日志处的筛选按钮优化。

• 运行日志处的「等级」列，用不同颜色标记；优化「分类」列。

定时任务支持读取 SAP Sybase ASE 数据源

FineDataLink 支持连接 SAP Sybase ASE 数据源进行定时任务读取。详情请参见：配置SAP Sybase ASE数据源

数据比对优化

优化前：

1）在上方的输入/计算算子，在「数据比对」算子中，自动作为左表（即来源表）；在下方的输入/计算算子，在「数据比对」算子中，自动作为右表（即目标表）。切换左右表比较麻烦。

2）数据比对后预览时，不清楚是哪一个字段不一致导致的changed。

优化后：

详情请参见：数据比对功能说明

1）用户可一键互换左右表位置。如下图所示：

2）数据比对的「比对结果」Tab 中，点击右上角的「比对详情」按钮，可看到左右表的具体比对信息。如下图所示：

3）数据比对的「比对结果」Tab 中，比对结果表的数据根据标识值显示对应的颜色，Changed（更新）为黄色、Added（新增）为紫色、Removed（删除）为红色。如下图所示：

字段设置算子支持批量删除/还原字段

字段设置算子中，支持批量删除/还原字段。如下图所示：

详情请参见：字段设置

修复BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-10345 管道读写线程启动较慢导致了空指针。此版本已修复。

2）FDL-10266 数据同步节点向已存在分区表中写入数据报错：
Error while processing statement: FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Could not initialize class org.apache.commons.configuration2.interpol.ConfigurationInterpolator$DefaultPrefixLookupsHolder
直接写可以写入，使用分区则报错。此版本已修复。

字段映射优化

管道任务

配置管道任务-表字段映射 步骤中：

1）支持筛选表建立方式：已存在表、自动建表。如下图所示：

2）支持批量修改表建立方式。如下图所示：

3）「表字段映射」步骤中，若去向选择「自动建表」，管道任务运行成功后，将自动变为「已存在表」。

4）当「选择来源」选择「仅增量同步」时，去向表默认选择「自动建表」。

定时任务

字段映射处可在目标表字段中筛选出有异常（例如字段名称为空、类型为空等）的字段。如下图所示：

修复BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-10134 打开某个定时任务浏览器崩溃。此版本已修复。

2）FDL-10132 重试过期的脏数据，会转入历史遗留。此版本已修复。

3）FDL-10086 管道任务升级后不能识别存在 kafka 里的旧版本数据，启动后出现 Retrying failed 的异常。此版本已修复。

4）FDL-10023 A 表和 B 表有同名字段，左关联后，数据有误。此版本已修复。

5）FDL-9964 任务运行时报错存在重复连线，但肉眼看不到哪里有连线重复。此版本已修复。

6）FDL-9835 管道任务重启后，出现了几千条待同步数据, 和一些脏数据, 脏数据处理之后, 待同步数据还是有几千条。原因是暂停表时将缓存数据清除了，后续没有重新拉取。此版本已修复。

7）FDL-9442 文件输入算子读取 FTP 中的文件夹，FTP 文件夹中存在要读取的 Excel 但 FDL 报错文件不存在，报错显示文件地址有误。此版本已修复。

8）FDL-8174 SparkSQL 中用了 HMAC-SHA1 函数构造 api 加密的参数值，升级前输出的字符串是小写，升级后变成大写。此版本已修复。

9）FDL-9771 管道任务中源表为 Oracle 数据库，修改源表的名称，暂停任务后，再添加一张表进行同步，重新启动任务，任务中止，报错Topic cannot be null。此版本已修复。

新增编码、加密、解密、签名函数

 SparkSQL 算子支持的函数中，新增编码、加密、解密、签名函数。

详情请参见：SparkSQL编码、加密、解密函数

修复BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

FDL-10044 Doris 自建表报错，选择明细模型，自动建表任务运行会报错空指针。此版本已修复。