升级兼容说明
4.1.12.3 版本,数据连接做了较大优化。
升级到 4.1.12.3 版本前,需要做好 FineDB 备份,若需回退,需要还原 FineDB ,若回退时不还原 FineDB,将导致部分数据连接不可用。
4.1.12.3
数据连接优化
1)数据连接可放在文件夹中进行管理。如下图所示:
2)支持通过数据连接名称、数据源类型、创建人搜索已配置好的数据连接。如下图所示:
3)新建数据连接时,数据源分类优化,可通过数据源分类、支持形式、适配模块筛选数据源类型。如下图所示:
4)新建数据源时,鼠标悬浮在数据库右侧的问号标识上,可查看该数据源适配的功能模块。如下图所示:
定时任务运行后目标表建表不再自动切换为已存在表
之前逻辑:定时任务中目标表若选择自动建表,任务运行后,将自动变为已存在表。
导致问题:开发好的定时任务导出复用时,任务会报错。
最新逻辑:定时任务中目标表若选择自动建表,任务运行后,仍为自动建表。
树结构优化
选表 时的树结构、管道任务中表字段映射中的树结构、库表管理模块左侧的树结构,视觉进行了优化。
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-14269 FDL 集群部署工程,未发布的定时任务发布时,报错:尝试给资源加锁失败。此版本已修复。
2)FDL-12561 「JSON解析」算子中勾选「解析后保留所有上游输出字段」按钮,数据预览时非常慢;经排查,原因是原始 JSON 较大,导致浏览器内存占用过多。最新版本将对单元格内容显示做截断处理,仅显示前100个字符,以满足绝大部分场景,想要查看完整数据点击单元格展开详情即可。
3)FDL-13087 有个定时任务早上点击运行,出现异常中断的问题,现在点击这个任务,出现空白;经排查,是因为日志状态和节点状态不一致导致的。此版本已修复。
4)FDL-13549 用户配置的 Greenplum 数据连接,最大活动连接数为 300,但近期发现某一时间会有 3000+ 查询表元信息的查询请求,把 Greenplum 的连接占满,其他业务系统无法连接。最新版本将减少源数据查询次数。
5)FDL-13576 资源迁移(两边版本,JAR 包一致):a调用b和c,删除b,导出a和c,资源包导入目标工程后会空指针失败Pre process error.-nul!。此版本已修复。
6)FDL-14060 用户资源迁移定时任务,调度名出现乱码。此版本已修复。
7)FDL-14082 查看全量记录所有周期,,能看到有 5 个 8 月 6 日的任务还在运行中。此版本已修复。
8)FDL-14084 定时任务的「文件输出」算子中,设置数据超过 100 万输出一个新文件,但导出的 Excel 数据超过了 100 万,并没有生产第二个新文件。此版本已修复。
9)FDL-14096 使用「API输出」算子,调用接口将数据传输到数据库时发生中文乱码问题。此版本已修复。
10)FDL-14120 管道任务报错:抽数引擎内部异常-null。此版本已修复。
11)FDL-14130 用户在一个「虚拟节点」前连了多个「任务调用」节点,想实现任一任务运行失败,则执行「虚拟节点」后的一个节点,但右键「虚拟节点」,选择执行判断,选任一,点确认无法保存一直显示加载。此版本已修复。
12)FDL-14160 通过「API输入」从 webroot 文件夹中获取 xml 文件,发现数据预览时的 xml 数据和实际文件不一致,区别为第一个命名空间 URI 的http://中的//消失。此版本已修复。
13)FDL-14167 「新增计算列」算子中使用了 IF 函数,函数表达式中使用了参数,提示:操作符两端字段类型不同,但字段都是数值类型。此版本已修复。
14)FDL-14173 使用 FDL 数据管理 SQL 查询时显示暂无数据,但将 SQL 复制后重新打开一个 SQL 编辑器查询显示有对应数据。此版本已修复。
15)FDL-14175 配置 nginx 之后,调用数据服务中发布的 api,在运维中查看调用 ip 只显示 nginx 的 ip,无法获取到真实的 ip。此版本已修复。
16)FDL-14193 FDL工程没有实时 jar 但负载分配会显示实时任务的内存分配,值为0。此版本已修复。
17)FDL-14226 数据管道MySQL-Doris,Doris5.7.99 全量阶段报错中止但是没返回具体报错原因,挑了其中一张报错的表,表名为 role,通过数据同步自建表返回建表失败的报错,看日志是建表语句中表名没加上''导致的。此版本已修复。
18)FDL-14255 定时任务报错:任务执行服务器异常。此版本已修复。
4.1.12.2
定时任务调用存储过程支持HP Vertica和GaussDB 200
DB2、SAP HANA 支持使用「SQL脚本」调用无返回值的存储过程。
IBM DB2 数据同步/数据转换/参数赋值:支持以游标的形式返回查询数据集。
SAP HANA 数据同步/数据转换/参数赋值:支持返回存储过程单个查询结果集作为表输入,不支持返回游标结果集。
详情请参见:定时任务调用数据库存储过程
定时任务SAP RFC取数优化
「SAP RFC 输入」算子名称改为「SAP ERP输入」。
取数时新增「选表」取数方式。如下图所示:
详情请参见:SAP ERP取数概述
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-12657 定时任务DDL,更新目标表,显示执行成功,但是表没有变化。原因是:前端使用\n作为换行符,后端使用操作系统的换行符来拆分行,当服务器是 Windows 时,操作系统的换行符是\r\n,和前端对不上了,导致 SQL 拆分失败。此版本已修复。
2)FDL-13680 布尔型数据写入到 BI 公共数据集异常。此版本已修复。
3)FDL-13771 解析嵌套 json 数组时无法扩展。此版本已修复。
4)FDL-13954 json 解析慢导致 FDL 宕机。此版本已修复。
5)FDL-13973 有 4 条子表数据,其中一条子表数据对应的 _id 和另外 3 条不一样,通过「简道云输出」算子更新后都更新到同一条主表数据上去了。单独筛选这条子表数据出来做更新是正常的。此版本已修复。
6)FDL-13977 相同源表在不同管道任务中同时进行全量同步任务异常。此版本已修复。
7)FDL-13996 使用「文件输入」算子预览 Excel 数据,报错:com.fr.dp.exception.FineDPException: thread interrupt error-thread interrupt error。文件引用其他表格数据,去掉公式和链接,预览同样报错;将去掉公式和链接的文件内容复制到新的 Excel 中,预览是正常的。此版本已修复。
8)FDL-14006 刷新血缘分析时卡住。此版本已修复。
9)FDL-14015 事件画布选择上游任务时,定时调度没有启动但是还是显示了一个时钟。此版本已修复。
10)FDL-14056 「字段拆列」算子中,自定义分割符,输入|作为分隔符没生效。此版本已修复。
4.1.12.1
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)用户创建了一个从 MySQL 同步到 ClickHouse 的管道任务,同步后发现数据同步成功但时间戳字段为空。此版本已修复。