新增功能编辑
支持 StarRocks 数据源
支持使用 StarRocks 数据库作为「数据开发」定时任务的读写端;
支持使用 StarRocks 数据库作为「数据管道」管道任务的写入端;
详情请参见:配置StarRocks数据源
在数据连接中建立 FineDataLink 与数据库之间的联系,如下图所示:
可以使用「数据同步」「参数赋值」「数据转换-DB表输入」「数据转换-DB表输出」、「SQL脚本」中进行 StarRocks 数据的读取或者写入。
也可以在「数据管道」使用数据源进行数据写入,配置数据管道任务。
下图示例为「数据同步」中使用StarRocks 数据进行数据开发。
支持 TRANSWARP INCEPTOR 数据源
支持使用星环 TRANSWARP INCEPTOR 数据库作为「数据开发」定时任务的读写端;
详情请参见:配置TRANSWARP INCEPTOR数据源
在数据连接中建立 FineDataLink 与数据库之间的联系,如下图所示:
可以使用数据源,在「数据同步」「参数赋值」「数据转换-DB表输入」「数据转换-DB表输出」、「SQL脚本」中进行数据的读取或者写入。
下图示例为「数据同步」中使用星环 TRANSWARP INCEPTOR 数据进行数据开发。
优化功能编辑
文件输入优化
详情参见:文件输入
支持批量读取同格式的Excel和CSV文件。可以批量读取文件夹下同格式的所有文件,提升读取文件的效率。
支持 Excel 和 CSV 文件自定义输出字段类型。当文件字段类型取数不准确时,用户可以校准输出字段类型,提升文件取数质量。
支持CSV文件跳过前N行取数。当使用 SAP 应用定时导出的CSV头部包含特定的文件信息,需要跳过后读取后面的数据时,可以选择此设置项读取文件。
支持TXT文件读取,选择 CSV 类型支持 TXT 文件读取。
支持忽略后缀名大小写读取,不需要手动修改文件后缀即可自动识别读取,更加便捷。
修复BUG编辑
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)5209-管道源端和目标端数据库名不同、模式及表名一致报错duplicate key
管道任务源端和目标端数据库名不同,但是数据库模式及表名一致,管道任务可正常运行。
2)5207-kill pid没有关掉gpfdist进程
此版本已修复:kill pid进程时,FineDataLink 会把gpfdist进程也一起关掉。
3)5197-管道任务oracle选表超过1000张报错
现象:管道任务oracle选表超过1000张报错列表中的最大表达式数为1000,此版本已修复。
解决方案:管道同步的表超过1000的时候,将分为多次查询,每次只查询1000张表的信息,任务可正常运行。
4)4846-简道云连接报错APIKEY异常 此版本已修复
5)5197-mysql库名带-数据管道启动报错
数据库名包含"-",字段映射正常获取,点击启动管道任务报错,此版本已经修复。
6)5138-fdl管道任务数据不准确
管道任务对同一条ID的数据连续进行增删改操作,同步显示不正常,此版本已修复。
7)5091-datetimeoffset自动建表到GP,开启并行装载报错
sqlserver datetimeoffset字段类型同步数据至GP(并行装载),数据同步自动建表,清空表写入时勾选启用并行装载,数据转换报错,此版本已修复。
8)4487-调度任务异常卡住
此版本已修复。