4.2.20.5
实时管道支持数据一致性检测
实时管道任务运行后，用户需要确认目标端数据与源端是否一致，若不一致希望能被快速通知，避免业务使用数据时才暴露问题。
目前虽然有「数据检测」功能，但存在以下问题：
交互割裂：用户需要跨多个功能模块操作，数据检测任务不能读取实时管道已有的配置项，不支持批量设置等操作。
检测不可靠：读取期间数据更新导致频繁误报，用户对检测结果缺乏信任。
本版本提供数据一致性检测功能，可定期检测实时管道任务目标端与来源端数据是否一致，当检测不通过时支持通知给对应负责人，确保 IT/运维人员发现问题先于业务感知。如下图所示：
详情请参见：实时管道数据一致性检测
定时管道数据同步终点取值逻辑优化
优化前：
数据同步终点为上次运行的同步终点，定时管道如果运行失败，用户能了解到目标表数据写到哪里，但存在以下问题：
假设上次同步终点为 6 月 20 日 0 点，本次指定起点为 6 月 1 日 0 点，如果同步失败，用户看到的范围是 6 月 1 日 0 点到 6 月 20 日 0 点，与本次实际更新成功的范围不符合。
如果上次运行同步终点不是表里实际数据最新的位置，原本想实现的效果也不准确。
优化后：
如果用户正常按断点运行，当前断点位置可以看出数据最新位置；如果用户反复手动调整断点，则需要查表数据看实际数据更新到哪里。数据同步终点取值逻辑优化为：
未进行过同步：同步终点初始值定义为「-」。
同步成功：同步终点的值刷新为最后一批成功写入数据的断点位置。
同步失败：若第一批写入就失败，同步终点为同步起点的值；若后续批次写入失败，同步终点为最后一批成功写入数据的断点位置。
详情请参见：管理定时管道任务
实时管道删除逻辑优化
优化前：
实时管道任务从回收站彻底删除时，会删除任务的相关配置信息。
优化后：
实时管道任务从回收站彻底删除时，断点表、执行记录表、脏数据表中的相关信息也会被删除。
修复BUG
本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。
1）FDL-24577 库表管理功能中在 Sap Hana 数据库中执行 SQL 语句后，预览的结果与导出的结果不一致。此版本已修复。
2）FDL-24619 修复报错堆栈信息泄露漏洞、未授权访问漏洞、垂直越权漏洞、SQL注入漏洞。
3）FDL-24654 「运维中心>运行记录」中，点击中止按钮，弹窗会一直跳动。此版本已修复。
4）FDL-24694 总调用任务中，前端运行节点状态不刷新。此版本已修复。
5）FDL-24696 实时任务-样本设置中，设置数据过滤后，后续算子没有按照过滤后的数据取数。此版本已修复。
6）FDL-24705 数据连接用户名中有@时，连接失败。此版本已修复。
7）FDL-24706 升级到 5.0.13.4 版本后，原本正常运行的实时管道任务启动报错，出现脏数据主键冲突，但实际这些是更新语句而非脏数据。此版本已修复。
8）FDL-24724 用户是 ops 部署双节点集群环境，定时任务运行中断。此版本已修复。
9）FDL-24732 实时任务报错-java.time.Instant cannot be cast to java.time.LocalDateTime。此版本已修复。
4.2.20.4
定时管道支持读取更多数据源
定时管道支持读取CDiscount、钉钉项目、品智、kaufland、小红书聚光、北森数据源。
支持导出部分API说明文档
一个应用下绑定多个 API，想给业务部门导出部分 API 的说明文档，避免影响阅读效率。
本版本支持导出应用下部分 API 的说明文档，详情请参见：绑定API至应用
定时管道任务优化
优化前：
定时管道使用表名识别来源表，当上游表名发生变化时，系统会认为原表不存在，导致任务运行失败。
优化后：
当来源表名称发生变化时，FDL 需要同步更新定时管道任务中的名称，以及通知用户这个变化。
1）每次同步前或者编辑字段映射时，会检查表名是否发生变更；若变更，会自动修改左侧显示的表名称，鼠标悬浮在表名称上，显示历史表名称。
2）每次同步前或者编辑字段映射时，自动检测业务主键（__dm_key）是否变化，如果有变化：
全量表自动更新变化，打印日志。
对于增量表：
若运行时发现变化，会在构建时报错：主键计算逻辑发生变更，写入会导致脏数据，请在任务同步详情编辑该表刷新主键计算逻辑。
若编辑字段映射时发现变化，来源主键字段标红，提示主键计算逻辑发生变更，请刷新主键计算逻辑，并清除目标表存量数据后重新同步改表，点击「刷新主键计算逻辑」按钮，刷新后将重新获取业务主键；「重新获取」按钮不刷新主键逻辑。
适配 PolarDB-X 数据源
适配该数据源，支持：
实时管道读取和写入。
定时任务读取和写入。
实时任务读取和写入 。
详情请参见：配置PolarDB-X数据源
修复BUG
本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。
1）FDL-24658 在功能点注册的时候未选择实时功能点，工程内却显示「实时采集任务」。此版本已修复。
2）FDL-24332 定时任务复制时允许名称大于 60 个字符，但重命名时不允许。此版本已修复。
3）FDL-24653 定时任务输出到 Elasticsearch，报错：ERROR [Elasticsearch输出]:Data write error.-HTTP execute failed-null，此版本已修复。
4）FDL-24648 SQL Server 作为数据来源并启用并行取数时，部分特定编号会导致任务提示“算术溢出”。无论写入 Doris 还是 MySQL 都会失败；关闭并行取数后任务正常。此版本已修复。
5）FDL-24638 目标数据库已有一张名为「erp_purchget」的表，定时任务和定时管道去向端选择自动建表，表名输入为「erp_purch_et」，运行节点，则会报错。此版本已修复。
6）FDL-24640 新版本 Apache Impala 数据源不支持 describe 语法。此版本已修复。
7）FDL-24637 实时管道中部分 DELETE 语句没有同步到目标库。从 Kafka 中能解析到对应的 DELETE 行为，但目标库的逻辑删除字段还是 false。此版本已修复。
8）FDL-24621 工程从 4.0.30 升级到 4.2.20.1，实时管道任务中点击任务控制，提示 '获取任务控制信息失败'，任务运行本身正常。此版本已修复。
9）FDL-24634 实时管道中添加表选好同步方式点击下一步时，会自动转到自动建表并生成一个case请求，这时候字段映射页面不显示会转圈，等待了 6-7min 后添加成功。此版本已修复。
0）FDL-24096 实时管道任务源端为 MySQL，去向为 Doris，同步时间戳字段时，有一个字段是 time 类型，Doris 目标表是 varchar(10) 类型，增量阶段报错有脏数据。此版本已修复。
4.2.20.3
FineDataLink产品能力MCP化
针对定时任务，用户不需要先学会所有菜单和配置项，只需要用自然语言描述目标，AI 就可以调用 FDL 的 MCP 能力完成查询、分析和受控写入；详情请参见：FineDataLink产品能力MCP化
效果示例：
修复BUG
本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。
1）FDL-24557 定时任务中，无法选择星环 Transwarp Inceptor 9.3.3 中的 external 类型表进行读取。此版本适配 external 类型表。
2）FDL-24595 三节点集群部署工程，数据连接界面加载非常缓慢，通常要10min+，原因是 oceanbase oracle 存在 fetchsize 不生效的问题，此版本已修复。
3）FDL-24608 实时管道任务中，源端为分组表，目标表为已存在表，报错标识符无效，此版本已修复。
4）FDL-24613 json 解析自动生成的解析路径对包含空格的 key 值没适配，此版本已修复。
5）FDL-24605 定时任务中的 SQL 脚本节点报错 SQL 语法检查失败，显示的是内置 Druid SQL 解析器在解析某条 Oracle UPDATE SQL 时，出现无限递归死循环，不断压栈直到 JVM 栈容量耗尽，抛出栈溢出，接口请求直接崩溃。此版本已修复。
4.2.20.2
实时管道支持读取GaussDB 100/GaussDB T数据源
实时管道支持读取 GaussDB 100/GaussDB T 数据源。详情请参见：实时管道读取华为GaussDB 100/GaussDB T
OceanBase数据源支持作为实时来源端
实时管道和实时任务支持读取 OceanBase 数据源。详情请参见：OceanBase环境准备
定时管道支持补数设置同步终点
优化前：
用户使用定时管道任务补历史数据时，设置数据同步起点后，手动运行定时管道任务，此时需要人为盯着，等需要范围的数据全部运行结束后手动终止定时管道任务，实现过程较麻烦。
优化后：
增量表手动运行时支持指定同步终点：
详情请参见：管理定时管道任务
修复BUG
本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。
1）FDL-24529 实时管道任务 SQLServer 同步到 SQLServer，capture 作业异常退出未触发告警检测。此版本已修复。
2）FDL-24497 单个定时任务执行过程中，CPU 会从 40% 多飙升到 98%、99%，任务执行结束后也没有释放。此版本已修复。
3）FDL-24512 定时任务使用「MongoDB输出」算子，将 varchar 字段输出到 MongoDB 的数组字段时，写入的数据是 varchar 格式，而非数组格式。此版本已修复。
4）FDL-24160 数据服务测试调用报错THe visitors IP address is not in the allowlist。此版本已修复。
4.2.20.1
定时管道源表结构变化适配更多数据源
AnalyticDB MySQL、Greenplum、阿里云AnalyticDB MySQL、Doris、SelectDB作为定时管道目标端时，支持开启「同步源表结构变化」按钮。详情请参见：自动同步
支持批量导入/导出数据服务API和应用
用户希望将已经开发完成的数据服务 API 和应用，从开发环境快速迁移到目标环境，支撑对外供数。
此版本，进入 FDL 工程后，点击用户账号右侧的下拉按钮，可选择资源导入、资源导出，进行数据服务 API 和应用的导入导出操作。如下图所示：
详情请参见：批量导入导出数据服务API/应用
导入导出单个数据服务API优化
1）导出单个 API 时，调用详情存储 会一并导出。
2）导入过程交互优化。
详情请参见：API任务导入导出
修复BUG
本节中附上了已修复的 BUG 编号，若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答（技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」）。
1）FDL-24530 实时管道源端为达梦数据库，运行时报错 SQL 不完整，任务运行异常。此版本已修复。
2）FDL-24428 集群工程运维中心的运行记录卡在排队中，实际任务还是能再次正常运行的。此版本已修复。
3）FDL-24504 Selectdb-Doris-3.1.4写入方式没法配置自动处理分隔符。此版本已修复。
4）FDL-24509 集群重启时清空 Redis，事件调度的下游节点没触发。此版本已修复。
5）FDL-24492 实时管道任务中 Oracle 同步到 Oracle，同步时每隔几小时或1-2天会报错 dict mismatch 和 realtime center table error，采集任务报错是 last_usedate 这个字段既在 SET 中被更新，又在 WHERE 中以 IS NULL 出现导致的。但 fanruan.log 显示则是对应字段在目标表找不到。此版本已修复。
6）FDL-24474 定时任务中目标端为 SQLServer，使用 COPY 装载方式写入，执行后日志显示更新条数为负数。此版本已修复。
7）FDL-24467 elasticsearch 插件安装后，输入连接信息后连接失败。此版本已修复。
上一篇：4.2.21更新日志
