4.2.12.4
定时管道 DDL 同步
定时管道任务同步应用数据源时,源端表结构可能因业务调整发生 DDL 变更(增删表、增删字段等)。若未及时感知处理,易导致同步异常、数据不一致,影响下游业务。
此版本中,新增支持对源端表结构变化检测,在任务详情页提示源端数据表的变化内容。对于部分源端的 DDL 变化,支持开启「同步源端表结构变化」,运行时可自动同步变更内容。
用户可以快速感知源端的 DDL 变化,支持手动更新映射或自动同步,灵活完成适配调整。
详情参见文档:定时管道DDL同步

支持限制全局参数的可用范围
支持限制全局参数的可用范围,允许指定全局参数仅对特定用户/任务生效,规范参数使用边界,提升使用规范性。

静态参数新增「密码」类型
静态参数新增「密码」类型,解决原有静态参数明文存储显示导致的密码泄露风险,保障账号密码使用安全。
详情请参见:全局参数-静态参数

优化静态参数-日期/布尔类型的配置体验
日期类型新增预设模板,可直接选择常用的时间参数模板;布尔类型新增预设值,可直接选择预设值。
详情请参见:全局参数-静态参数、自定义参数(静态参数)

支持为参数添加描述
支持为每个参数添加自定义描述,标注参数的用途,方便后续理解与维护。
详情请参见:全局参数-静态参数、全局参数-赋值参数、参数赋值节点、参数输出、自定义参数(静态参数)

Hadoop Hive 数据连接 HDFS 设置优化
Hive 的 HDFS 设置优化,支持自定义存档中间表的 HDFS 装载路径,支持配置扩展参数项。
详情请参见:配置Hadoop Hive数据源

Hadoop Hive 写入支持指定表的存储格式
写入 Hive 数据库时,目标表为「自动建表」时,支持配置表的存储格式,可根据实际情况选择存储格式。
详情请参见:配置Hadoop Hive数据源

适配KingBaseES(Oracle模式)数据源
FineDataLink 支持连接 KingBaseES(Oracle模式)数据源,适配功能:
定时任务读取和写入
实时管道任务读取和写入
实时任务写入
数据服务-数据查询API
详情请参见:配置KingBaseES(Oracle模式)数据源

KingbaseES(PostgreSQL模式) 数据源优化
优化前:需通过「其他JDBC」连接 KingbaseES(PostgreSQL模式) 数据源。
优化后:新增 KingbaseES(PostgreSQL模式) 数据源,简化配置流程。
详情请参见:配置KingBaseES(PostgreSQL模式)数据源

修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-22305 实时任务报错日志显示不完整。此版本已修复。
2)FDL-22225 发布任务内容比对算子时,没有任何修改但是会标记为修改。此版本已修复。
3)FDL-22322 数据接收同步简道云表单报错,字段映射修改顺序或者修改字段后,调用时仍然用默认的映射。此版本已修复。
4)FDL-22191 实时管道任务异常中断。此版本已修复。
5)FDL-22290 GaussDB 200 写入报错:ERROR: argument of JOIN/ON must be type boolean, not type record。此版本已修复。
4.2.12.3
Hadoop Hive 数据源新增 OSS-HDFS 配置
Hadoop Hive 数据源新增「OSS-HDFS」配置,支持定时任务将数据直接写入 OSS-HDFS 文件存储,以满足端到端的全链路数据写入需求。
详情请参见:配置Hadoop Hive数据源

屏蔽部分数据源的 fetchsize 配置项
为避免因自定义 fetchSize 配置失效可能引发的服务宕机风险,本次迭代中暂时屏蔽 MySQL、Doris、StarRocks、SelectDB 及 AnalyticDB 数据连接中此功能的配置入口。
详情请参见:配置MySQL数据源、配置Doris数据源、配置StarRocks数据源、配置SelectDB数据源、配置AnalyticDB MySQL数据源
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-22068 任务运行成功后,前端写入日志仍显示正在运行。此版本已修复。
2)FDL-22075 实时任务中某字段长度超限制,导致全量阶段脏数据超过阈值失败。重新调整后,忽略脏数据/重新全量同步,任务仍然失败。此版本已修复。
3)FDL-22224 实时管道任务中,MySQL 同步到 StarRocks DDL 失败。此版本已修复。
4)FDL-22266 集群环境任务终止失败。此版本已修复。
5)FDL-22182 API 输入节点中使用参数,手动获取输出字段报错。此版本已修复。
6)FDL-22306 实时采集任务自动补数异常,触发所有表的补数。此版本已修复。
7)FDL-22306 DB表输出节点中,数据来源从 SQL server 切换为 Greenplum ,页面异常空白。此版本已修复。
4.2.12.2
数据查询API支持调用存储过程
数据查询 API 支持调用数据库中的存储过程进行取数。如下图所示:
详情请参见:数据查询API功能说明

数据接收支持为解析后的字段设置字段类型
优化前:发布数据接收-通用API接收接口时,JSON 解析后识别的字段类型存在不准确情况,且不支持手动调整字段类型。
优化后:发布数据接收-通用API接收接口时,支持为解析后的字段设置字段类型,避免数据解析并写入数据库发生数据失真的情况。
详情请参见:数据接收-通用API接收

适配 Vastbase G100(Oracle模式)数据源
FineDataLink 支持连接 Vastbase G100(Oracle模式)数据源,适配功能:
定时任务读取和写入
数据服务
库表管理
详情请参见:配置Vastbase G100(Oracle模式)数据源

参数赋值的值来源支持「指定列名」
优化前:参数值来源仅支持指定列序号,字段调整顺序后,会导致参数取值异常。
优化后:参数赋值的值来源新增「指定列名」选项,支持直接指定目标列名作为参数值来源。字段调整顺序,也不会影响参数正常取值。
详情请参见:参数赋值节点

事务控制适配 SelectDB、Doris 数据源
目标端为 SelectDB、Doris 时,支持「事务控制」功能。
详情参见文档:数据同步-写入方式

数据查询 API 支持 Informix 数据源
数据查询 API 支持 Informix 数据源 ,如下图所示:
详情请参见:数据查询API功能说明

4.2.12.1
统计内容优化
为提高统计内容的可读性:
列表将默认按照「启动时间」的先后顺序排序,且表头增加「排序」功能;
分页条数增加为 10 条。
详情请参见:定时任务界面介绍

血缘分析支持 YMatrix 数据库
来源端为「SQL」配置项时,血缘分析支持 YMatrix 数据库。
详情请参见:血缘分析
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-13950 非管理员账号打开目录树存在性能问题,耗时过长。此版本已修复。
2)FDL-13950 连接 OceanBase(Oracle模式)数据源,保存后会变成 MySQL 模式。此版本已修复。
3)FDL-19525 实时管道任务运行日志界面,日志筛选失效。此版本已修复。
4)FDL-21843 导入多 sheet excel 文件时,sheet 名为纯数字且作为参数时,无法成功导入数据,仅能导入非纯数字 sheet 名的表单内容。此版本已修复。
5)FDL-21753 定时任务运行记录中,点击重试会白屏。此版本修复。
6)FDL-21706 实时采集任务中,在运行 pgoutput 任务时,删除表后,采集任务异常中止。此版本已修复。
7)FDL-21689 版本升级后,字段类型识别异常,且查询源数据语句频繁执行。此版本已修复。
8)FDL-21858 数据服务上线失败,「服务设置>传输队列配置」配置无效。此版本已修复。
9)FDL-21742 数据服务中,单词请求量上线配置无效。此版本已修复。
10)FDL-21796 Elasticsearch 取数报错:HTTP execute failed-No enum constant。此版本已修复。
11)FDL-21773 DB输出(事务) 构造的语法异常。此版本已修复。
12)FDL-21844 文件输入节点中,多 sheet 读取预览卡住。此版本已修复。
13)DL-21816 定时任务运行成功,但文件未输出。此版本已修复。
14)FDL-21860 文件输入节点中,读取子文件夹时过滤筛选报错。此版本已修复。
