4.2.19更新日志

定时管道支持拼多多数据源

定时管道支持读取拼多多数据源。详情请参见：配置拼多多数据源

适配 AnalyticDB PostgreSQL 数据源

FineDataLink 适配 AnalyticDB PostgreSQL 数据源，支持功能：

• 定时任务读取和写入。

• 定时管道写入。

详情请参见：配置AnalyticDB PostgreSQL数据源

PostgreSQL和KingBaseES增加publication配置

应用场景：

PostgreSQL 和 KingBaseES 作为实时源端时，需要指定 publication ，将表添加到 publication 时，必须满足以下条件之一：

• 对应的数据连接用户是超管。

• 执行用户是该表的所有者。

实际场景中，希望使用专门的同步用户来管理所有表的复制，但按照默认权限模型，要么需要：

• 将所有表的所有权转移给普通用户。

• 给这个用户赋予超管权限。
  

对于很多客户来讲申请权限配置非常麻烦。

功能简介：

1）PostgreSQL 作为实时管道、实时任务源端&读取方式为 pgoutput 时，若数据连接中的用户为普通用户，需要配置 ddlTable、publication 设置项（本版本新增）。

「采集DDL事件配置」按钮开启后，实时管道任务才能使用 同步源表结构变化 功能。

2）人大金仓KingBaseES(MySQL模式)数据源、人大金仓KingBaseES(Oracle模式)数据源、KingBaseES(SqlServer模式)数据源 作为实时管道、实时任务来源端时，若数据连接中的用户为普通用户，需要配置 ddltable 设置项。

「采集DDL事件配置」按钮开启后，实时管道任务才能使用 同步源表结构变化 功能。

定时任务新增延时等待节点

在任务流的调度链路中，上游节点执行完成后，其输出数据可能在数据库写入落盘、文件存储同步及跨系统数据传输等环节存在固有延迟（IO 时延）。若下游立即执行，极易读取到不完整数据。

在「SQL脚本」节点中写入 SELECT SLEEP(N) 或 WAITFOR DELAY '...'实现，发现「SQL脚本」会占用一个数据库连接 N 秒钟，尤其是在高并发（多个任务同时“休眠”）时。

本版本新增「延时等待」节点，不占用任何外部数据库连接，实现轻量、安全的等待，实现可视化开发。

读取API数据时优化频率限制功能

定时任务中读取 API 数据时，支持按照调用间隔限制调用频率，例如设置最小执行间隔为 5 秒。如下图所示：

详情请参见：API输入

循环容器中遍历循环方式下新增并行遍历方式

FDL 中，遍历循环方式下又分为：遍历循环（For-Each Loop）、并行遍历（For-Each Parallel）。

详情请参见：循环容器逻辑说明

消息通知WeLink通知方式中，新增群ID设置项

消息通知WeLink通知方式 中，新增群ID设置项。如下图所示：

结果通知渠道中新增WeLink通知方式

实时任务、实时管道、定时任务、定时管道、数据服务模块的结果通知中，新增「WeLink」通知方式。

适配云数据库 GaussDB 数据源

FineDataLink 支持连接云数据库 GaussDB，适配功能如下：

• 定时任务读写

• 实时管道读写

• 实时任务读写

Hologres数据连接新增Copy等待时长设置项

当 Hologres 版本低于 2.1 时该数据源存在BUG，Copy写入的时候，truncate 中间表后需要等待一定时长才能开始下次写入，否则就会报错，同时用户又无法升级数据源版本。

本版本 Hologres 数据连接 中新增「Copy等待时长」设置项，只对 Hologres 2.1 以下版本生效 。

配置后写入该数据库时，定时任务装载方式为 Copy 装载，或实时管道、实时任务处于全量写入阶段时，每完成一次 Copy 装载，下一次写入都会按设定的等待时间延后执行，以避免报错。

修复BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-24350 定时管道任务中，在吉客云数据源中通过库存分页查询拉取的数据，出现了数据重复的情况。此版本已修复。

2）FDL-24313 实时管道任务中，源端数据库重启后，管道日志中刷新了大量的重试记录。此版本已修复。

3）FDL-24153 客户阿里云oss文件服务器连接高频超时，但是文件服务器本身连接是通的，报错[获取Excel数据]:File client error-Timeout waiting for idle object, borrowMaxWaitDuration=PT5M。此版本已修复。

4）FDL-24177 定时任务设置了保留最新排队的实例，其余跳过，但是在定时任务运行记录中发现，该定时任务没有保留最新实例，依旧是多个实例处于排队中。此版本已修复。

5）FDL-24110 实时采集任务源端连接异常时只重试了一次，正常应该间隔5分钟重试3次。此版本已修复。

6）FDL-24267 定时管道源端为飞书表格，有个字段大部分是数值类型，部分数据是字符数字的格式，云端拉取表的时候，写入MySQL时默认是number类型，用户在源端手动修改该字段类型为string，落库之后发现字符数字格式的数据没有同步过来。此版本已修复。

7）FDL-24302 实时管道任务从MySQL同步到PostgreSQL，在源表上做了字段重命名的操作，在 FDL 这边出现了两条日志，一条删除一条新增，导致后面同步的数据对这个字段的数据都缺失了，然后把字段名称再改回来，原字段和新字段都被删除了，新增的数据也不会写入原字段了。此版本已修复。

8）FDL-24314 实时管道任务 Kafka 同步到selectdb，目标端执行：SHOW VARIABLES LIKE "version_comment";
结果为：SelectDB Core version selectdb-4.0.10-62e538d885c (Cloud Mode)
有一条脏数据一直重试失败。此版本已修复。

9）FDL-24242 FDL 从 4.2.13.2 升级到 4.2.17.4，生产模式中的文件传输节点文件去向配置丢失，显示为内容获取失败，切到开发模式后配置能正常显示，重新发布后，生产模式显示正常。此版本已修复。