4.2.20.4
定时管道支持读取更多数据源
定时管道支持读取CDiscount、钉钉项目、品智、kaufland、小红书聚光、北森数据源。
支持导出部分API说明文档
一个应用下绑定多个 API,想给业务部门导出部分 API 的说明文档,避免影响阅读效率。
本版本支持导出应用下部分 API 的说明文档,详情请参见:绑定API至应用

数据服务接收接口不受SQL防注入功能限制
优化前:
数据接收接口的 JSON 字段值会受 SQL防注入 功能的限制,导致接口调用失败,且用户又不能放开 SQL 防注入的安全管理。
优化后:
数据接收接口中的 JSON 字段值,不受 SQL防注入 功能限制。
定时管道任务优化
优化前:
定时管道使用表名识别来源表,当上游表名发生变化时,系统会认为原表不存在,导致任务运行失败。
优化后:
当来源表名称发生变化时,FDL 需要同步更新定时管道任务中的名称,以及通知用户这个变化。
1)每次同步前或者编辑字段映射时,会检查表名是否发生变更;若变更,会自动修改左侧显示的表名称,鼠标悬浮在表名称上,显示历史表名称。
2)每次同步前或者编辑字段映射时,自动检测业务主键(__dm_key)是否变化,如果有变化:
全量表自动更新变化,打印日志。
对于增量表:
若运行时发现变化,会在构建时报错:主键计算逻辑发生变更,写入会导致脏数据,请在任务同步详情编辑该表刷新主键计算逻辑。
若编辑字段映射时发现变化,来源主键字段标红,提示主键计算逻辑发生变更,请刷新主键计算逻辑,并清除目标表存量数据后重新同步改表,点击「刷新主键计算逻辑」按钮,刷新后将重新获取业务主键;「重新获取」按钮不刷新主键逻辑。
适配 PolarDB-X 数据源
适配该数据源,支持:
实时管道读取和写入。
定时任务读取和写入。
实时任务读取和写入 。
详情请参见:配置PolarDB-X数据源
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-24658 在功能点注册的时候未选择实时功能点,工程内却显示「实时采集任务」。此版本已修复。
2)FDL-24332 定时任务复制时允许名称大于 60 个字符,但重命名时不允许。此版本已修复。
3)FDL-24653 定时任务输出到 Elasticsearch,报错:ERROR [Elasticsearch输出]:Data write error.-HTTP execute failed-null,此版本已修复。
4)FDL-24648 SQL Server 作为数据来源并启用并行取数时,部分特定编号会导致任务提示“算术溢出”。无论写入 Doris 还是 MySQL 都会失败;关闭并行取数后任务正常。此版本已修复。
5)FDL-24638 目标数据库已有一张名为「erp_purchget」的表,定时任务和定时管道去向端选择自动建表,表名输入为「erp_purch_et」,运行节点,则会报错。此版本已修复。
6)FDL-24640 新版本 Apache Impala 数据源不支持 describe 语法。此版本已修复。
7)FDL-24637 实时管道中部分 DELETE 语句没有同步到目标库。从 Kafka 中能解析到对应的 DELETE 行为,但目标库的逻辑删除字段还是 false。此版本已修复。
8)FDL-24621 工程从 4.0.30 升级到 4.2.20.1,实时管道任务中点击任务控制,提示 '获取任务控制信息失败',任务运行本身正常。此版本已修复。
9)FDL-24634 实时管道中添加表选好同步方式点击下一步时,会自动转到自动建表并生成一个case请求,这时候字段映射页面不显示会转圈,等待了 6-7min 后添加成功。此版本已修复。
0)FDL-24096 实时管道任务源端为 MySQL,去向为 Doris,同步时间戳字段时,有一个字段是 time 类型,Doris 目标表是 varchar(10) 类型,增量阶段报错有脏数据。此版本已修复。
4.2.20.3
FineDataLink产品能力MCP化
针对定时任务,用户不需要先学会所有菜单和配置项,只需要用自然语言描述目标,AI 就可以调用 FDL 的 MCP 能力完成查询、分析和受控写入;详情请参见:FineDataLink产品能力MCP化
效果示例:

修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-24557 定时任务中,无法选择星环 Transwarp Inceptor 9.3.3 中的 external 类型表进行读取。此版本适配 external 类型表。
2)FDL-24595 三节点集群部署工程,数据连接界面加载非常缓慢,通常要10min+,原因是 oceanbase oracle 存在 fetchsize 不生效的问题,此版本已修复。
3)FDL-24608 实时管道任务中,源端为分组表,目标表为已存在表,报错标识符无效,此版本已修复。
4)FDL-24613 json 解析自动生成的解析路径对包含空格的 key 值没适配,此版本已修复。
5)FDL-24605 定时任务中的 SQL 脚本节点报错 SQL 语法检查失败,显示的是内置 Druid SQL 解析器在解析某条 Oracle UPDATE SQL 时,出现无限递归死循环,不断压栈直到 JVM 栈容量耗尽,抛出栈溢出,接口请求直接崩溃。此版本已修复。
4.2.20.2
实时管道支持读取GaussDB 100/GaussDB T数据源
实时管道支持读取 GaussDB 100/GaussDB T 数据源。详情请参见:实时管道读取华为GaussDB 100/GaussDB T

OceanBase数据源支持作为实时来源端
实时管道和实时任务支持读取 OceanBase 数据源。详情请参见:OceanBase环境准备

定时管道支持补数设置同步终点
优化前:
用户使用定时管道任务补历史数据时,设置数据同步起点后,手动运行定时管道任务,此时需要人为盯着,等需要范围的数据全部运行结束后手动终止定时管道任务,实现过程较麻烦。
优化后:
增量表手动运行时支持指定同步终点:
详情请参见:管理定时管道任务

修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-24529 实时管道任务 SQLServer 同步到 SQLServer,capture 作业异常退出未触发告警检测。此版本已修复。
2)FDL-24497 单个定时任务执行过程中,CPU 会从 40% 多飙升到 98%、99%,任务执行结束后也没有释放。此版本已修复。
3)FDL-24512 定时任务使用「MongoDB输出」算子,将 varchar 字段输出到 MongoDB 的数组字段时,写入的数据是 varchar 格式,而非数组格式。此版本已修复。
4)FDL-24160 数据服务测试调用报错THe visitors IP address is not in the allowlist。此版本已修复。
4.2.20.1
定时管道源表结构变化适配更多数据源
AnalyticDB MySQL、Greenplum、阿里云AnalyticDB MySQL、Doris、SelectDB作为定时管道目标端时,支持开启「同步源表结构变化」按钮。详情请参见:自动同步
支持批量导入/导出数据服务API和应用
用户希望将已经开发完成的数据服务 API 和应用,从开发环境快速迁移到目标环境,支撑对外供数。
此版本,进入 FDL 工程后,点击用户账号右侧的下拉按钮,可选择资源导入、资源导出,进行数据服务 API 和应用的导入导出操作。如下图所示:
详情请参见:批量导入导出数据服务API/应用

导入导出单个数据服务API优化
1)导出单个 API 时,调用详情存储 会一并导出。
2)导入过程交互优化。
详情请参见:API任务导入导出
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-24530 实时管道源端为达梦数据库,运行时报错 SQL 不完整,任务运行异常。此版本已修复。
2)FDL-24428 集群工程运维中心的运行记录卡在排队中,实际任务还是能再次正常运行的。此版本已修复。
3)FDL-24504 Selectdb-Doris-3.1.4写入方式没法配置自动处理分隔符。此版本已修复。
4)FDL-24509 集群重启时清空 Redis,事件调度的下游节点没触发。此版本已修复。
5)FDL-24492 实时管道任务中 Oracle 同步到 Oracle,同步时每隔几小时或1-2天会报错 dict mismatch 和 realtime center table error,采集任务报错是 last_usedate 这个字段既在 SET 中被更新,又在 WHERE 中以 IS NULL 出现导致的。但 fanruan.log 显示则是对应字段在目标表找不到。此版本已修复。
6)FDL-24474 定时任务中目标端为 SQLServer,使用 COPY 装载方式写入,执行后日志显示更新条数为负数。此版本已修复。
7)FDL-24467 elasticsearch 插件安装后,输入连接信息后连接失败。此版本已修复。
