兼容说明
升级步骤详情参见:4.2.x版本间升级说明
若升级前版本为 4.1 的版本,则推荐先升级至 4.2.2.3 版本,再升级至 4.2.4 版本。
升级前需要备份 FineDB和历史 JAR 包。
由于 JAR 包名称 fdl-cron 变更为 fdl-offline,替换 JAR 升级时需要手动把 fdl-cron 删掉。
工程的外接库推荐 MySQL、Oracle、SQLServer、PostgreSQL 以及 BM DB2,同时外接库数据连接用户需要有创建表、修改表等基础权限。
4.2.4.3
新增实时采集任务
为了避免重复解析数据库日志导致数据库压力过大,新增实时采集任务,可以对数据库日志解析进行管理,存储日志解析产生的变更数据,实时任务、管道任务能够消费实时数据共享中心的数据。
详情参见:实时采集任务
实时任务运维优化
功能使用操作示例详情参见:实时任务运维示例
可观测性优化:
日志优化:心跳日志优化、补充断点启动日志等
详情参见:实时任务运行日志介绍
补充任务执行单元输入输出数据量、输入输出读取写入速率、背压率等,便于用户观测任务运行情况
详情参见:单个实时任务管理
可控制性优化:
在「任务控制>任务属性」的高级属性中,支持控制单个内存。
详情参见:单个实时任务管理
其他优化:
批量运维启动任务、日志清理等
详情参见:实时任务运维示例 3.2 3.3 节。
新增全局清洗规则
数据表有大量的表和字段需要设置统一的清洗规则或者需要批量进行字段脱敏加密等。
可以在「数据管理>清洗规则」下创建、管理全局清洗规则,包含替换、加解密、公式规则;设置的清洗规则可以在「数据开发」的「值替换」算子中引用。
详情参见:全局清洗规则
数据转换新增「值替换」算子
可将字段的原值按照特定规则替换成新值,如下图所示:
详情参见:值替换算子
参数赋值下游节点支持获取参数实际值调试
优化前:
调试值需要经常刷新重新获取,尤其是 API 获取的参数,token有时效性,容易失效;
循环容器内,多个参数值会被识别成一个值,无法正常预览数据,需要去前面节点修改默认值。
优化后:
「参数赋值」支持一键刷新调试值,解决调试值需要经常刷新重新获取的问题,如下图所示:
对于赋值参数,用户可以进行批量的刷新,以便在调试的时候进行查看,如下图所示:
当循环容器勾选了遍历对象后,使用该参数在数据预览时可以模拟循环执行情况,如下图所示:
对于内置参数,${workname} 在预览数据时,会显示实际值。
数据开发-定时任务写入 Doris 、StarRocks 时,行分隔符优化。
优化前:
「行分隔符」其实是\x02 ,替换为换行符后,对于低版本数据库,在没有正确处理「列分隔符」的情况下,会造成数据异常。
优化后:
「行分隔符」增加「推荐分隔符」为\x02,同时默认选中,保证替换为行分隔符后低版本数据正常。
数据服务、检测任务的新建流程统一
为了提升产品的交互体验,保证各个功能模块的一致性,将数据服务和检测任务新建任务流程进行优化统一。
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)从4.1升级到4.2后,doris写入报错,「行分隔符」其实是\x02 ,替换为换行符后,对于低版本数据库,在没有正确处理「列分隔符」的情况下,会造成数据异常。此版本已修复,「行分隔符」增加「推荐分隔符」为\x02,同时默认选中,保证替换为行分隔符后低版本数据正常。
4.2.4.2
新建数据连接时,基于当前工程环境显示数据源类型
1)新建数据连接选择数据源类型时,基于当前工程环境,控制展示的数据源类型。
2)新建数据连接选择数据源类型时,鼠标悬浮在数据名称右侧的问号标识上,显示的内容由当前工程环境控制。
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-16851 从 4.1.11.1 升级到 4.2.3.3 版本,有一个定时任务显示任务不存在,这个定时任务在 dpwork 文件有,日志报错:Number of aliases for non-scalar nodes exceeds the : specified max=50。此版本已修复。
2)FDL-16979 管道任务从 MySQL 同步到 Oracle 且开启「同步时标记时间戳」按钮,启动管道任务后,在 通用配置-自动建表配置 中设置全部转大写,暂停管道任务再启动会有 invalid identifier 的异常报错。此版本已修复。
3)FDL-17040 大量下游定时任务未被触发。此版本已修复。
4)FDL-17055 Kafka 数据连接成功,配置管道任务时报错数据权限检测 null。此版本已修复。
5)FDL-17016 从 Sap Hana 数据库调用存储过程,预览是有 2 位小数,但是表输出的精度会变成 decimal(30,0)。此版本已修复。
6)FDL-16987 用配置定时调度,频率为 cron 表达式设置,设置为 9-23 点每一小时执行一次,开始时间为 3.11 9:00:00,显示的近 100 次执行时间中,第一次时间不是 3.11 9:00:00,而是 3.11 10:00:00。本地测试显示也是如此,但是实际上会按照表达式设置的时间执行,而不是近 100 次执行时间中第一次的时间。此版本已修复。
4.2.4.1
SAP ERP输入支持长过滤条件
优化前:「SAP ERP输入」节点中,过滤条件较长时(超过 72 个字符)会报错:An error has occurred while parsing a dynamic entry。
优化后:支持超过 72 个字符的过滤条件;在填写数据过滤条件时,所有条件符号( = > < 等)前面需要加上空格,例如 WERKS ='0001' 或 WERKS = '0001'。
详情请参见:SAP ERP选表查询
支持预览存储过程数据
数据同步、数据转换-DB表输入、参数赋值中,存储过程为「查询结果集」时,支持预览结果集数据。如下图所示:
详情请参见:定时任务调用数据库存储过程
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-16678 数据服务中使用 DB2 9.X 版本发布 API,「发布内容及参数」步骤中使用分页 SQL 预览正常,「预览测试」步骤中调用报错。此版本已修复。
2)FDL-16757 数据管道任务中,MySQL 同步到 PostgreSQL,脏数据会报错栏位素引超过许可范围:76,栏位数:75。原因是 PostgreSQL 数据库中字段名称超长时建表会截断字段名称,导致表的源数据与字段映射匹配不上。此版本已修复。
3)FDL-16795 定时任务中 Clickhouse 同步到 Clickhouse,当字段映射中字段映射为 datetime64 字段时,写入会很慢,且最终执行会报错,而如果映射成 string 写入就很快。此版本已修复。