4.1.10.4
管道来源端适配MySQL5.5
数据管道来源端支持 MySQL 5.5 版本。详情请参见:支持的数据源范围
ETL结果表可拉起子表更新
FDL 输出到 BI 「公共数据」指定目录下的 ETL 结果表,支持拉起子表的更新。详情请参见:数据集输出
FineDB表结构更新
fine_dp_work_last_record 增加 lastRecord 字段。详情请参见:FineDB表结构
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-12437 4 节点集群环境,自己创建的定时任务在复制时偶发报错无权限,多复制几次又能恢复正常。此版本已修复。
2)FDL-12611 管道任务的来源端 MySQL 数据库断连,但管道任务还处于运行状态,进入编辑页面提示数据连接失败。此版本已修复。
3)FDL-12741 两个「数据集输入」算子,后接一个「上下合并」算子,原字段值为2024-07-15 14:02:19,上下合并后值预览显示为2024-07-15,时间字段缺失。此版本已修复。
4)FDL-12794 用户全局配置的日志等级为 warn,某定时任务开启日志输出等级后又关闭,但该定时任务运行时还在输出业务日志。此版本已修复。
5)FDL-12823 新增计算列week函数计算错误,公式为WEEK(#{time},"F1") ,time 为 2024-07-21、2024-07-20 这俩返回的周数不一样。此版本已修复。
6)FDL-12826 自定义字段映射规则,varchar2 入库成 varchar。此版本已修复。
7)FDL-12841 有一个未发布任务运行后一直卡在构建中, 既没跑也没法终止。此版本已修复。
4.1.10.3
更新默认登录页背景图片
更新默认的登录页背景图片,如下图所示:
详情请参见:登录页
修复 BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-10502 修改开启状态的批量调度计划,添加定时任务或者移除部分定时任务,保存后未到调度时间但调度计划内所有定时任务开始运行。此版本已修复。
2)FDL-11761 条件分支使用内置参数解析失败。此版本已修复。
3)FDL-12334 从4.1.5升级到4.1.8.3后,会出现任务卡死,在运行但无日志打印的情况。此版本已修复。
4)FDL-12477 数据来源是 DB 表,JSON 解析 data 字段数据,发生笛卡尔积、数据膨胀的问题。此版本已修复。
5)FDL-12559 FDL与BI独立部署,用户希望 FDL 处理后的数据直接写到 BI 公共数据,业务再基于 ETL 表做自助分析,但目前 ETL 表无法自动拉起下游自助数据集更新。此版本已修复。
6)FDL-12599 管道快速选表功能,可以重复添加已经添加到管道的表。此版本已修复。
7)FDL-12640 循环容器内放一个数据转换节点,进入数据转换界面后,可以引用参数,但是任务参数界面中看不到具体的参数。此版本已修复。
8)FDL-12653 API 输入算子中,快速修改参数值时,接口地址处更新异常。此版本已修复。
4.1.10.2
循环容器支持无限制循环次数
用户希望定时任务中的循环容器的循环次数上限无限制次数(当前默认 10000次);希望参数输出个数没有限制。
便于用户进行一次性取数、以及简化定时任务的开发设计方案,提高效率。
详情参见:循环容器循环次数无限制插件
DB输出(事务)算子优化
Oracle支持主键冲突策略
支持标准的并发读取功能,若来源端选择了并行取数(3.2.4节),去向端选择事务输出,默认进行并行取数。
支持 GBase8a 数据库使用
详情请参见:DB输出(事务)
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
FDL-12622 管道任务开启时间戳,同步到gp/高斯/seabox等目标端,添加前缀任务启动报null异常,此版本已修复。
FDL-12609 Kafka创建topic失败,任务不会异常中止,此版本已修复。
FDL-12476 测试环境迁移任务到正式环境sql空白,此版本已修复。
FDL-12347 任务大量排队【内部问题】,出现相同问题可联系技术支持解决。
FDL-12183 事务输出写入表除自增列以外字段异常,此版本DB输出(事务)算子可以解决。
4.1.10.1
StarRocks、Doris 作为目标端的功能优化
1)StarRocks、Doris 作为目标端时,支持 DDL。
2)StarRocks、Doris 作为目标端&目标表的类型为自动建表时,自动将来源端主键标记为自动建表的主键。
3)写入 2.0 及以上版本的 DorisOR写入 3.0 及以上版本的 StarRocks,若来源端数据存在分隔符,可正常写入。
写入 2.0 版本以下的 DorisOR写入 3.0 版本以下的 StarRocks,若来源端数据存在分隔符,写入将报错。用户可以先检查源端是否同步了二进制字段,将二进制字段取消同步,再使用公式将分隔符进行替换(例如替换为空格)。
详情请参见:Doris数据源使用说明、StarRocks数据源使用说明
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-12418 管道任务的全量同步阶段,脏数据到达阈值,任务没有中止。此版本已修复。
2)FDL-12297 资源不足导致管道任务启动失败,任务状态正确,但运行日志中无对应 ERROR 启动失败信息。此版本已修复。