历史版本8 :4.0.24更新日志 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

注:4.0.22-4.0.23.1中使用数据管道的用户,建议升级至4.0.24,此版本修复了重要 bug。

目录:

兼容说明编辑

4.0.24 版本,新建 服务器本地数据连接 前,文件存放目录由%FDL%/webroot/WEB-INF/local_files/更新为%FDL%/webroot/WEB-INF/assets/local_files

旧版本升级到 4.0.24 及之后版本后,会自动把%FDL%/webroot/WEB-INF/local_files/下的文件复制到%FDL%/webroot/WEB-INF/assets/local_files中。

新增功能编辑

支持 StarRocks 数据源

  • 支持使用 StarRocks 数据库作为「数据开发」定时任务的读写端

  • 支持使用 StarRocks 数据库作为「数据管道」管道任务的写入端

详情请参见:配置StarRocks数据源

在数据连接中建立 FineDataLink 与数据库之间的联系,如下图所示:

可以使用数据同步」「参数赋值」「数据转换-DB表输入」「数据转换-DB表输出」、「SQL脚本」中进行 StarRocks 数据的读取或者写入。

也可以在「数据管道」使用数据源进行数据写入,配置数据管道任务

下图示例为「数据同步」中使用StarRocks 数据进行数据开发。

支持 TRANSWARP INCEPTOR 数据源

支持使用星环 TRANSWARP INCEPTOR 数据库作为「数据开发」定时任务的读写端

详情请参见:配置TRANSWARP INCEPTOR数据源

在数据连接中建立 FineDataLink 与数据库之间的联系,如下图所示:

可以使用数据源,在数据同步」「参数赋值」「数据转换-DB表输入」「数据转换-DB表输出」、「SQL脚本」中进行数据的读取或者写入。

下图示例为「数据同步」中使用星环 TRANSWARP INCEPTOR 数据进行数据开发。

优化功能编辑

文件输入优化

在使用文件输入读取和处理文件数据时,会出现如下问题:无法批量读取文件夹下的多个同格式文件;文件字段类型采样不准确时,无法校准输出字段类型;无法跳过CSV头部包含特定的文件信息读取后面的数据。无法读取 TXT 格式文件;无法忽略文件后缀名大小写。

优化后支持以下功能:

详情参见:文件输入

  • 支持批量读取同格式的Excel和CSV文件。可以批量读取文件夹下同格式的所有文件,提升读取文件的效率。

  • 支持 Excel 和 CSV 文件自定义输出字段类型。当文件字段类型取数不准确时,用户可以校准输出字段类型,提升文件取数质量。

  • 支持CSV文件跳过前N行取数。当使用 SAP 应用定时导出的CSV头部包含特定的文件信息,需要跳过后读取后面的数据时,可以选择此设置项读取文件。

  • 支持TXT文件读取,选择 CSV 类型支持 TXT 文件读取。

  • 支持忽略后缀名大小写读取,不需要手动修改文件后缀即可自动识别读取,更加便捷。

服务器本地目录地址更新

新建服务器本地数据连接前,文件存放目录由%FDL%/webroot/WEB-INF/local_files/更新为%FDL%/webroot/WEB-INF/assets/local_files,需要在%FDL%/webroot/WEB-INF/assets/local_files新建文件夹进行文件的分区或上传文件。

详情请参见:配置服务器本地目录数据连接

1685083768826751.png

修复BUG编辑

本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

1)5209-管道源端和目标端数据库名不同、模式及表名一致报错duplicate key

管道任务源端和目标端数据库名不同,但是数据库模式及表名一致,管道任务可正常运行。

2)5207-kill pid没有关掉gpfdist进程

此版本已修复:kill pid进程时,FineDataLink 会把gpfdist进程也一起关掉。

3)5197-管道任务oracle选表超过1000张报错

现象:管道任务oracle选表超过1000张报错列表中的最大表达式数为1000,此版本已修复。

解决方案:管道同步的表超过1000的时候,将分为多次查询,每次只查询1000张表的信息,任务可正常运行。

4)4846-简道云连接报错APIKEY异常  此版本已修复

5)5197-mysql库名带-数据管道启动报错

数据库名包含"-",字段映射正常获取,点击启动管道任务报错,此版本已经修复。

6)5138-fdl管道任务数据不准确

管道任务对同一条ID的数据连续进行增删改操作,同步显示不正常,此版本已修复。

7)5091-datetimeoffset自动建表到GP,开启并行装载报错

sqlserver datetimeoffset字段类型同步数据至GP(并行装载),数据同步自动建表,清空表写入时勾选启用并行装载,数据转换报错,此版本已修复。

8)4487-调度任务异常卡住

此版本已修复。