4.2.19更新日志

定时管道支持读取Shopee多站点数据源

定时管道支持读取 Shopee 多站点数据源。详情请参见：配置Shopee多站点数据源

写入到SelectDB支持仅更新指定字段

数据连接新增「参数配置」，可通过配置参数，写入时仅更新指定字段，提升大数据量场景下的数据写入性能。

详情请参见：配置SelectDB数据源

实时管道配置&运维交互优化

重新同步按钮提示优化

1）点击「重新同步」按钮后，提示点击该按钮的效果，用户根据提示判断是否需要点击。如下图所示：

优化删除异常表路径

「管道活动」Tab下过滤出异常状态的表，勾选后，新增「前往同步配置」按钮，可跳转到「同步配置」Tab下，并筛选出所选的表。

用户可在「同步配置」Tab下，对筛选后的表进行操作，比如删除、编辑等。

详情请参见：实时管道任务运行详情

来源表和目标表名支持排序

「同步配置」 和「管道活动」Tab下，来源表和目标表名支持按名称排序。

被删除的来源表恢复后支持快速重新配置

详情请参见：管理实时管道任务

1）实时管道任务中的来源表被删除后，支持筛选出来：

2）若来源库中被删除的表恢复后，支持点击「重新配置」按钮，自动将已删除的来源表添加到管道任务中。

若来源库中被删除的表未恢复，将无法重新配置。

3）同步配置 Tab 下，可选择多张被删除的源表，进行批量重新配置：

4）运行中/重置中的任务不支持设置容错机制、结果通知、任务属性。详情请参见：实时管道任务运维-任务管理

结果通知钉钉渠道支持通知到具体的用户

定时任务>任务控制>结果通知、定时管道>任务控制>结果通知、实时管道>任务控制>结果通知、数据服务>规则管理>报警规则、运行监控、事件调度、缓存配置-磁盘管理 的钉钉通知渠道中，新增「提醒方式」、「群成员列表」设置项，可通知到具体的用户。

定时管道支持写入OceanBase（MySQL模式）

定时管道支持写入OceanBase（MySQL模式）数据源。详情请参见：配置OceanBase(MySQL模式)数据源

修复BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-24451 定时任务配置了超时终止，「任务控制>结果通知」中也配置了超时通知，定时任务执行较快未超时但进行了通知。此版本已修复。

2）FDL-24415 定时任务配置了超时终止，达到条件后未终止定时任务。此版本已修复。

定时管道支持写入Greenplum

定时管道支持写入 Greenplum。如下图所示：

详情请参见：Greenplum数据源特性说明

适配TCHouse-P数据源

适配 TCHouse-P 数据源，支持：定时任务读取和写入、实时任务写入、实时管道写入。

详情请参见：配置TCHouse-P数据源

定时管道中间表支持创建到单独的模式下

4.2.19.3 之前版本，定时管道每次运行时都会产生中间表，中间表默认创建到目标表的 Schema 中，虽然会被清理，但给用户造成困扰。

4.2.19.3 及之后版本，中间表支持创建到单独的 Schema 下。详情请参见：定时管道任务配置/运行详情说明

备份还原中删除FDL任务Tab页

「管理系统>智能运维>备份还原」中，删除「FDL任务」Tab页。

从 4.2.14.3 版本开始，FDL 定时任务备份时只需要备份「智能运维>备份还原>平台配置」即可。

修复BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-24406 任务运行状态和算子状态不一致。此版本已修复。

2）FDL-24364 写入 SqlServer 时使用 copy 装载，来源端 bit 值为 1 ，写入目标表后，值变为 0 。此版本已修复。

3）FDL-24408 数据服务发布了数据接收接口，部分调用记录显示已经调用但是显示是未执行，但是实际数据已经落库。此版本已修复。

4）FDL-24411 实时管道任务中，部分数据由于数组越界被定义为脏数据。此版本已修复。

5）FDL-24438 写入 StarRocks，管道任务正常运行，实际目标表未写入数据。此版本已修复。

事务控制输出的中间表支持输出到单独的schema中

4.2.19.2 之前版本，开启事务控制后，中间表会默认创建到目标表的 Schema 中，虽然会被清理，但给用户造成困扰。

4.2.19.2 及之后版本，部分数据源的中间表支持创建到单独的 Schema 下。详情请参见：数据同步-写入方式、StarRocks数据源特性说明

SQL防注入逻辑优化

4.2.19.2 之前版本，被禁用的关键字加引号后可绕过黑名单校验，4.2.19.2 及之后版本，不会出现该问题。详情请参见：SQL防注入

修复BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-24385 读取 BI 数据报错java.lang.IllegalArgumentException: Unknown pattern letter: t，用 FDL 写入 BI 一条数据为1字段名为a的数据，写入成功，预览依旧失败。此版本已修复。

2）FDL-24323 聚水潭-订单查询-订单商品信息表，向 Doris 写入数据，oi_id 作为业务主键，写入有重复值。此版本已修复。

3）FDL-24401 定时任务 API 取数时设置调用频率限制，升级到 4.2.19.1 版本后，点击「数据来源」Tab页报错。此版本已修复。

4）FDL-24386 4.1 升级到 4.2.18.2 之后，定时任务循环容器运行变慢，升级到 4.2.18.3 之后还是慢。此版本已修复。

定时管道支持拼多多数据源

定时管道支持读取拼多多数据源。详情请参见：配置拼多多数据源

适配 AnalyticDB PostgreSQL 数据源

FineDataLink 适配 AnalyticDB PostgreSQL 数据源，支持功能：

• 定时任务读取和写入。

• 定时管道写入。

详情请参见：配置AnalyticDB PostgreSQL数据源

PostgreSQL和KingBaseES增加publication配置

应用场景：

PostgreSQL 和 KingBaseES 作为实时源端时，需要指定 publication ，将表添加到 publication 时，必须满足以下条件之一：

• 对应的数据连接用户是超管。

• 执行用户是该表的所有者。

实际场景中，希望使用专门的同步用户来管理所有表的复制，但按照默认权限模型，要么需要：

• 将所有表的所有权转移给普通用户。

• 给这个用户赋予超管权限。
  

对于很多客户来讲申请权限配置非常麻烦。

功能简介：

1）PostgreSQL 作为实时管道、实时任务源端&读取方式为 pgoutput 时，若数据连接中的用户为普通用户，需要配置 ddlTable、publication 设置项（本版本新增）。

「采集DDL事件配置」按钮开启后，实时管道任务才能使用 同步源表结构变化 功能。

2）人大金仓KingBaseES(MySQL模式)数据源、人大金仓KingBaseES(Oracle模式)数据源、KingBaseES(SqlServer模式)数据源 作为实时管道、实时任务来源端时，若数据连接中的用户为普通用户，需要配置 ddltable 设置项。

「采集DDL事件配置」按钮开启后，实时管道任务才能使用 同步源表结构变化 功能。

定时任务新增延时等待节点

在任务流的调度链路中，上游节点执行完成后，其输出数据可能在数据库写入落盘、文件存储同步及跨系统数据传输等环节存在固有延迟（IO 时延）。若下游立即执行，极易读取到不完整数据。

在「SQL脚本」节点中写入 SELECT SLEEP(N) 或 WAITFOR DELAY '...'实现，发现「SQL脚本」会占用一个数据库连接 N 秒钟，尤其是在高并发（多个任务同时“休眠”）时。

本版本新增「延时等待」节点，不占用任何外部数据库连接，实现轻量、安全的等待，实现可视化开发。

读取API数据时优化频率限制功能

定时任务中读取 API 数据时，支持按照调用间隔限制调用频率，例如设置最小执行间隔为 5 秒。如下图所示：

详情请参见：API输入

循环容器中遍历循环方式下新增并行遍历方式

FDL 中，遍历循环方式下又分为：遍历循环（For-Each Loop）、并行遍历（For-Each Parallel）。

详情请参见：循环容器逻辑说明

消息通知WeLink通知方式中，新增群ID设置项

消息通知WeLink通知方式 中，新增群ID设置项。如下图所示：

结果通知渠道中新增WeLink通知方式

实时任务、实时管道、定时任务、定时管道、数据服务模块的结果通知中，新增「WeLink」通知方式。

适配云数据库 GaussDB 数据源

FineDataLink 支持连接云数据库 GaussDB，适配功能如下：

• 定时任务读写

• 实时管道读写

• 实时任务读写

Hologres数据连接新增Copy等待时长设置项

当 Hologres 版本低于 2.1 时该数据源存在BUG，Copy写入的时候，truncate 中间表后需要等待一定时长才能开始下次写入，否则就会报错，同时用户又无法升级数据源版本。

本版本 Hologres 数据连接 中新增「Copy等待时长」设置项，只对 Hologres 2.1 以下版本生效 。

配置后写入该数据库时，定时任务装载方式为 Copy 装载，或实时管道、实时任务处于全量写入阶段时，每完成一次 Copy 装载，下一次写入都会按设定的等待时间延后执行，以避免报错。

修复BUG

本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。

1）FDL-24350 定时管道任务中，在吉客云数据源中通过库存分页查询拉取的数据，出现了数据重复的情况。此版本已修复。

2）FDL-24313 实时管道任务中，源端数据库重启后，管道日志中刷新了大量的重试记录。此版本已修复。

3）FDL-24153 客户阿里云oss文件服务器连接高频超时，但是文件服务器本身连接是通的，报错[获取Excel数据]:File client error-Timeout waiting for idle object, borrowMaxWaitDuration=PT5M。此版本已修复。

4）FDL-24177 定时任务设置了保留最新排队的实例，其余跳过，但是在定时任务运行记录中发现，该定时任务没有保留最新实例，依旧是多个实例处于排队中。此版本已修复。

5）FDL-24110 实时采集任务源端连接异常时只重试了一次，正常应该间隔5分钟重试3次。此版本已修复。

6）FDL-24267 定时管道源端为飞书表格，有个字段大部分是数值类型，部分数据是字符数字的格式，云端拉取表的时候，写入MySQL时默认是number类型，用户在源端手动修改该字段类型为string，落库之后发现字符数字格式的数据没有同步过来。此版本已修复。

7）FDL-24302 实时管道任务从MySQL同步到PostgreSQL，在源表上做了字段重命名的操作，在 FDL 这边出现了两条日志，一条删除一条新增，导致后面同步的数据对这个字段的数据都缺失了，然后把字段名称再改回来，原字段和新字段都被删除了，新增的数据也不会写入原字段了。此版本已修复。

8）FDL-24314 实时管道任务 Kafka 同步到selectdb，目标端执行：SHOW VARIABLES LIKE "version_comment";
结果为：SelectDB Core version selectdb-4.0.10-62e538d885c (Cloud Mode)
有一条脏数据一直重试失败。此版本已修复。

9）FDL-24242 FDL 从 4.2.13.2 升级到 4.2.17.4，生产模式中的文件传输节点文件去向配置丢失，显示为内容获取失败，切到开发模式后配置能正常显示，重新发布后，生产模式显示正常。此版本已修复。