历史版本3 :4.0.24更新日志 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

新增功能编辑

支持 StarRocks 数据源

  • 支持使用 StarRocks 数据库作为「数据开发」定时任务的读写端

  • 支持使用 StarRocks 数据库作为「数据管道」管道任务的写入端

详情请参见:配置StarRocks数据源

在数据连接中建立 FineDataLink 与数据库之间的联系,如下图所示:

可以使用数据同步」「参数赋值」「数据转换-DB表输入」「数据转换-DB表输出」、「SQL脚本」中进行 StarRocks 数据的读取或者写入。

也可以在「数据管道」使用数据源进行数据写入,配置数据管道任务

下图示例为「数据同步」中使用StarRocks 数据进行数据开发。

支持 TRANSWARP INCEPTOR 数据源

支持使用星环 TRANSWARP INCEPTOR 数据库作为「数据开发」定时任务的读写端

详情请参见:配置TRANSWARP INCEPTOR数据源

在数据连接中建立 FineDataLink 与数据库之间的联系,如下图所示:

可以使用数据源,在数据同步」「参数赋值」「数据转换-DB表输入」「数据转换-DB表输出」、「SQL脚本」中进行数据的读取或者写入。

下图示例为「数据同步」中使用星环 TRANSWARP INCEPTOR 数据进行数据开发。

优化功能编辑

文件输入优化

详情参见:文件输入

  • 支持批量读取同格式的Excel和CSV文件。可以批量读取文件夹下同格式的所有文件,提升读取文件的效率。

  • 支持 Excel 和 CSV 文件自定义输出字段类型。当文件字段类型取数不准确时,用户可以校准输出字段类型,提升文件取数质量。

  • 支持CSV文件跳过前N行取数。当使用 SAP 应用定时导出的CSV头部包含特定的文件信息,需要跳过后读取后面的数据时,可以选择此设置项读取文件。

  • 支持TXT文件读取,选择 CSV 类型支持 TXT 文件读取。

  • 支持忽略后缀名大小写读取,不需要手动修改文件后缀即可自动识别读取,更加便捷。

修复BUG编辑

本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

1)5209-管道源端和目标端数据库名不同、模式及表名一致报错duplicate key

管道任务源端和目标端数据库名不同,但是数据库模式及表名一致,管道任务可正常运行。

2)5207-kill pid没有关掉gpfdist进程

此版本已修复:kill pid进程时,FineDataLink 会把gpfdist进程也一起关掉。

3)5197-管道任务oracle选表超过1000张报错

现象:管道任务oracle选表超过1000张报错列表中的最大表达式数为1000,此版本已修复。

解决方案:管道同步的表超过1000的时候,将分为多次查询,每次只查询1000张表的信息,任务可正常运行。

4)4846-简道云连接报错APIKEY异常  此版本已修复

5)5197-mysql库名带-数据管道启动报错

数据库名包含"-",字段映射正常获取,点击启动管道任务报错,此版本已经修复。

6)5138-fdl管道任务数据不准确

管道任务对同一条ID的数据连续进行增删改操作,同步显示不正常,此版本已修复。

7)5091-datetimeoffset自动建表到GP,开启并行装载报错

sqlserver datetimeoffset字段类型同步数据至GP(并行装载),数据同步自动建表,清空表写入时勾选启用并行装载,数据转换报错,此版本已修复。

8)4487-调度任务异常卡住

此版本已修复。