4.0.24更新日志

注：4.0.22-4.0.23.1中使用数据管道的用户，建议升级至4.0.24，此版本修复了重要 bug。

文件存放目录调整

4.0.24 版本，新建 服务器本地数据连接 前，文件存放目录由%FDL%/webroot/WEB-INF/local_files/更新为%FDL%/webroot/WEB-INF/assets/local_files

旧版本升级到 4.0.24 及之后版本后，会自动把%FDL%/webroot/WEB-INF/local_files/下的文件复制到%FDL%/webroot/WEB-INF/assets/local_files中。

支持 StarRocks 数据源

• 支持使用 StarRocks 数据库作为「数据开发」定时任务的读写端；

• 支持使用 StarRocks 数据库作为「数据管道」管道任务的写入端；

详情请参见：配置StarRocks数据源

在数据连接中建立 FineDataLink 与数据库之间的联系，如下图所示：

可以使用「数据同步」「参数赋值」「数据转换-DB表输入」「数据转换-DB表输出」、「SQL脚本」中进行 StarRocks 数据的读取或者写入。

也可以在「数据管道」使用数据源进行数据写入，配置数据管道任务。

下图示例为「数据同步」中使用StarRocks 数据进行数据开发。

支持 TRANSWARP INCEPTOR 数据源

支持使用星环 TRANSWARP INCEPTOR 数据库作为「数据开发」定时任务的读写端；

详情请参见：配置TRANSWARP INCEPTOR数据源

在数据连接中建立 FineDataLink 与数据库之间的联系，如下图所示：

可以使用数据源，在「数据同步」「参数赋值」「数据转换-DB表输入」「数据转换-DB表输出」、「SQL脚本」中进行数据的读取或者写入。

下图示例为「数据同步」中使用星环 TRANSWARP INCEPTOR 数据进行数据开发。

文件输入优化

在使用文件输入读取和处理文件数据时，会出现如下问题：无法批量读取文件夹下的多个同格式文件；文件字段类型采样不准确时，无法校准输出字段类型；无法跳过CSV头部包含特定的文件信息读取后面的数据。无法读取 TXT 格式文件；无法忽略文件后缀名大小写。优化前功能说明：4.0.14 新增文件输入

优化后支持以下功能：

详情参见：文件输入

• 支持批量读取同格式的Excel和CSV文件。可以批量读取文件夹下同格式的所有文件，提升读取文件的效率。

• 支持 Excel 和 CSV 文件自定义输出字段类型。当文件字段类型取数不准确时，用户可以校准输出字段类型，提升文件取数质量。

• 支持CSV文件跳过前N行取数。当使用 SAP 应用定时导出的CSV头部包含特定的文件信息，需要跳过后读取后面的数据时，可以选择此设置项读取文件。

• 支持TXT文件读取，选择 CSV 类型支持 TXT 文件读取。

• 支持忽略后缀名大小写读取，不需要手动修改文件后缀即可自动识别读取，更加便捷。

服务器本地目录地址更新

新建服务器本地数据连接前，文件存放目录由%FDL%/webroot/WEB-INF/local_files/更新为%FDL%/webroot/WEB-INF/assets/local_files，需要在%FDL%/webroot/WEB-INF/assets/local_files下新建文件夹进行文件的分区或上传文件。

详情请参见：配置服务器本地目录数据连接

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）5209-管道源端和目标端数据库名不同、模式及表名一致报错duplicate key

管道任务源端和目标端数据库名不同，但是数据库模式及表名一致，管道任务可正常运行。

2）5207-kill pid没有关掉gpfdist进程

此版本已修复：kill pid进程时，FineDataLink 会把gpfdist进程也一起关掉。

3）5197-管道任务oracle选表超过1000张报错

现象：管道任务oracle选表超过1000张报错列表中的最大表达式数为1000，此版本已修复。

解决方案：管道同步的表超过1000的时候，将分为多次查询，每次只查询1000张表的信息，任务可正常运行。

4）4846-简道云连接报错APIKEY异常  此版本已修复

5）5197-mysql库名带-数据管道启动报错

数据库名包含"-"，字段映射正常获取，点击启动管道任务报错，此版本已经修复。

6）5138-fdl管道任务数据不准确

管道任务对同一条ID的数据连续进行增删改操作，同步显示不正常，此版本已修复。

7）5091-datetimeoffset自动建表到GP，开启并行装载报错

sqlserver datetimeoffset字段类型同步数据至GP(并行装载)，数据同步自动建表，清空表写入时勾选启用并行装载，数据转换报错，此版本已修复。

8）4487-调度任务异常卡住

此版本已修复。