兼容说明编辑
1)4.1.6.2 及之后版本,JSON 解析算子中,JSON 路径默认从根节点开始,生成完整的绝对路径;若升级前用户配置了 JSON 相对路径,则升级后默认不勾选相应节点。
2)4.1.6.2 及之后版本,「Python 算子」加载文件时,默认运行的路径从%fdl_honme%\webapps\webroot\WEB-INF\assist\python迁移到%fdl_honme%\webapps\webroot\WEB-INF\plugin\fdl_python
4.1.6.3编辑
数据开发界面可查看节点运行状态
定时任务运行后,用户希望可在任务编辑界面快速定位到出错节点、快速看到本次运行了哪些节点。
所以本次版本,定时任务编辑界面中新增「显示/隐藏节点状态」按钮,若开启「显示节点状态」按钮,画布内可显示节点运行状态。如下图所示:
详情请参见:数据开发界面介绍 3.10 节内容。
运行状态图标含义:
任务禁止被多人同时编辑
一个任务同时被多人打开编辑时,先保存的内容会被之后保存的内容覆盖,导致前者开发内容被误删。
本次版本,定时任务、管道任务、API任务、数据服务应用禁止被多人同时编辑。用户编辑某个任务时,其他用户也打开该任务,则会提示:当前任务/API/应用正在被XX编辑,其他人无法编辑该任务,只能查看。如下图所示:
详情请参见:任务禁止被多人同时编辑
定时任务支持读取 Gbase 8s
定时任务支持读取 Gbase 8s。
数据服务适配更多数据源
数据服务支持 GBase8s、KingbaseES、ClickHouse、HANA、达梦、Vertica 数据源。
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-11030 管道任务中设置「仅增量同步+自动建表」,运行后自动建表不成功,运行报错找不到表,数据库中也没有表。此版本已修复。
2)FDL-11001 非管理员查看定时任务的全量运行记录时,需要耗时 6 min,管理员同样操作只需 1 s。此版本已修复。
3)FDL-10987 用户的调度开始时间为 2024-02-02,每隔 4 小时执行一次,,中间把调度停了一段时间,调度再开启后,FDL 创建了 2 月 2 日到 3 月 19 日每天 6 个共 276+ 个任务实例,导致大量任务排队。此版本已修复。
4)FDL-10985 4.1.6.2 版本,定时任务中数据同步到 doris,多任务运行时会报错FDLIntegrationConfig.fdlDorisLoaderMemory插入主键冲突。删掉字段再重启,这个字段又会自动加上。此版本已修复。
5)FDL-10974 用户管道任务来源端是 oracle,目标表是 starrocks ,选择自动建表同步数据;自动建表时,无法选择表模型,不选择表模型自动建表报错Create olap table should contain distribution desc。此版本已修复。
6)FDL-10951 集群工程中,定时任务无法终止。此版本已修复。
7)FDL-10928 用户管道任务将 MySQL 数据同步到 starrocks,总是出现脏数据。此版本已修复。
8)FDL-10864 4.1.5.5 版本,Oracle 数据同步到 doris,目标表为自动建表时,任务执行需要 130 多秒。此版本已修复。
9)FDL-10695 云端运维插件占用 CPU 。此版本已修复。
10)FDL-9101 sap hana数据连接时,报错认证失败。此版本已修复。
11)FDL-11034 管道任务中批量修改目标表为已存在表,运行后报错:get pk names failed,此版本已修复。
4.1.6.2编辑
数据转换内的算子支持禁用
支持禁用数据转换内的算子。如下图所示:
详情请参见:节点支持禁用
JSON解析算子使用体验优化
详情请参见:JSON解析算子功能说明
1)JSON解析支持同时解析多个字段,减少「简道云输入」多个复杂字段的解析成本。如下图所示:
2)所有生成的 JsonPath 默认从根节点开始,生成完整的绝对路径,用户可手动修改。
3)当 JSON 数据存在多层且有同名字段时,会自动给重名字段增加后缀,如下图所示:
4)支持同时解析一个JSON源字段的数组部分和非数组部分 。
例如想要解析在不同增层级中的 class 和 name 字段,则可直接选择对应的字段,即可同时解析一个数据源的数组和非数组部分,如下图所示:
5)在「选择JSON节点」时,用户可以通过粘贴JSON文本的方式修改选择节点的内容,以防止出现上游有多行 JSON 文本流进时,因为第一行的 JSON 属性较少,导致其他json属性无法直接选择的情况 。
例如,若选择节点处缺少需要选择的 JSON 属性,则可以手动粘贴包含需要选择的 JSON 属性文本,如下图所示:
然后即可在节点中选择想要解析的字段 。
6)使用两个「JSON解析」算子,分别解析两个不同字段。但「选择JSON节点」时,两个「JSON解析」算子选择的字段名相同,都为 name 。如下图所示:
4.1.6.2 之前版本,此场景下,若有多个「JSON解析」算子,解析后字段名称不能相同,需要修改解析后字段名称。否则,后面的同名字段会覆盖前面的同名字段。
4.1.6.2 及之后版本,字段重名时,重名字段名称后会自动递增数字。
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-10860 集群节点重启后,调用子任务时会卡住,此版本已修复。
2)FDL-10859 工程是 4 节点集群,升级到 4.1.6.1 后,四个节点内存都占满。此版本已修复。
3)FDL-10850 升级后打开定时任务,显示:任务不存在,无法获取文件。此版本已修复。
4)FDL-10843 文件输入算子中,上传 XLSX 大写结尾的文件加载会异常。此版本已修复。
5)FDL-10714 集群节点失去响应时,该节点上运行的任务无法终止。此版本已修复。
6)FDL-10701 失联节点重启后, 任务自动变成中断状态,但是有终止按钮。此版本已修复。
4.1.6.1编辑
库表管理功能
针对以下场景:
1)SQL 调试:数据开发过程中,数据开发人员常常需要编写和调试 SQL ,目前在 FDL 中不能预览 SQL 执行结果,用户往往在 Navicat 或数据库中执行 SQL 确认无误后,再复制到 FDL 中,数据开发过程涉及多个工具参与,不够方便便捷。
2)查看数据处理效果:FDL 中数据经过处理后,没有一个专门的入口查看处理效果是否符合预期,用户只能通过参数赋值、数据同步等取数类节点或者 Navicate 类的工具查询数据。
本次版本新增「库表管理」功能。
用户可在 FDL 内进行SQL的编写/调试、查看新建表效果、删除表、清空表、复制表等操作。如下图所示:
详情请参见:库表管理
登录页底部可显示备案信息
FDL 工程登录页可显示备案信息。如下图所示:
详情请参见:显示备案信息
上下合并算子优化
上下合并算子中,修改合并结果字段名称后,若再修改合并的数据表字段,不影响合并结果字段名。如下图所示:
详情请参见:上下合并
分组汇总算子优化
详情请参见:分组汇总算子
1)「分组汇总」算子内支持切换维度和指标,如下图所示:
2)支持拖拽移除,如下图所示:
3)将数值字段拖入「维度分组」并选择「区间分组」后,需要保证分组区间没有重合,且不支持设置数值区间属于无限制。
参数赋值节点界面优化
在「参数赋值」节点中批量操作时,优化界面上按钮名称和备注,使其更好理解。如下图所示:
详情请参见:参数赋值节点
节点支持禁用逻辑优化
对于「参数赋值」「条件分支」「虚拟节点」这些不支持单独运行的节点,当其下游节点设置为「禁用」,则该节点不支持设置「运行节点及下游」。如下图所示:
详情请参见:节点支持禁用
管道任务支持写入达梦数据库
管道任务支持写入达梦数据库。
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-10820 管道任务中,来源端为 kafka 数据源,报错数据连接失效,此版本已修复。
2)FDL-10069 父任务配置了重试机制,当子任务在第一次运行失败,第二次成功运行时,点击「日志」Tab下的「查看日志」按钮,只会显示最近一次成功运行的日志,而不是第一次失败的日志。此版本已修复。