兼容说明
升级
升级前需备份finedb!备份步骤详情参见:平台配置备份
4.0.X 升级到 4.1 不支持一键升级,需要手动替换 JAR 包,首先删除%Tomcat_HOME%/webapps/webroot/WEB-INF/lib目录下 4 .0 后缀的 jar ,如下图所示:
然后向技术支持(前往「服务」,选择「在线支持」、电话「400-811-8890」)获取新的JAR 包,拷贝到%Tomcat_HOME%/webapps/webroot/WEB-INF/lib。
为便于手动替换升级时区分度更明显,4.1 版本的 JAR 包改名:从xxx-4.0.jar改成 xxx-4.1.jar。
注册
4.1 版本功能点注册与 4.0.x 不兼容,升级后需要生成新 license 进行注册。
1)数据开发整个模块是否注册不再由「调度配置」功能点控制。
2)数据管道是由「管道任务」、「数据监控及补全」两个功能点共同控制,即需要两个都要注册,才算数据管道整个模块注册。
3)由「步骤流程-基础节点包」控制「数据开发」是否注册,将原本「调度配置」、「任务运维」的功能点控制都移到「步骤流程-基础节点包」中;
由「数据服务-基础」控制「数据服务」是否注册;
由「管道任务」控制「数据管道」是否注册;
4)功能点也进行了修改。
原「接口协议」功能点改为「接口协议(定时)」包含 API、WebService。
原「无结构化数据存储」功能点改为「文件系统」包含 FTP/SFTP、本地文件。
新增「应用连接器(定时)」 包含简道云、SAP RFC 。
新增「消息队列」 包含 kafka。
定时任务
参数赋值节点+循环容器节点使用场景中,若「参数赋值」节点输出参数的分隔符选择「文本型分隔」,在循环容器内使用时加了单引号,升级到 4.1.0 及之后版本时,需要手动去掉单引号。
新增功能
新增和优化注册方式
1)新增「容量」、「用户」、「节点」三个维度的注册限制。
当前的注册产品注册维度分为:「容量」、「时间」、「用户」、「功能点」、「节点」五个,控制维度最终结果取交集,用户可选择适合自己的注册维度。
详情参见:注册简介
2)FineDataLink license可以单独控制数据开发、数据服务、数据管道三个模块的到期时间。
3)同时新增数据开发用户类型,便于从用户维度进行 FineDataLink 的注册管理。
详情参见:用户管理 第五章
4)对于注册功能点,也进行了梳理和优化。
详情参见:FineDataLink支持的数据源
5)优化数据源类型的注册功能点。
详情参见:注册简介 第六章
定时任务新增内置参数
新增参数:
${workname}:取当前任务名称。
${workname.jobname.opresult}:指定任务(非当前任务)-指定节点的最近一次运行结果; 示例:${任务1.数据同步.opresult}
详情请参见:内置参数第八、九章
定时任务数据转换支持上下合并
用户存在多个业务系统的表数据,这些表数据中存在相同字段或相同含义的字段,需要将不同的来源数据上下合并到一个表输出。用户目前使用「Spark SQL」算子实现,比较繁琐,希望能无代码实现。新增「上下合并」算子,可对多张表进行上下行合并,输出一张合并表。如下图所示:
详情参见:上下合并
数据服务定义API时支持绑定应用和测试
用户可在创建API时将其添加至授权应用,便于后续的 API 调试和直接发布 API 进行使用。如下图所示:
详情参见:发布API概述 3.1 节。
数据支持发布 API 时进行应用配置测试,便于用户直接确认 API 是否已经可用并满足需求,如下图所示:
数据服务支持指定多级API路径
支持指定多级API路径,若用户想要对发布的API进行层级设计,可以使用连字符(-)、正斜杠(/)等符号设计API路径,如下图所示:
详情参见:发布API 2.2节。
数据服务API支持发布(Doris\Impala\TiDB\星环)数据源
详情参见:发布API概述
优化功能
定时任务参数优化
Shell脚本、Python脚本Bat脚本中「脚本参数」下拉框中显示已配置参数,包括任务内参数、全局参数
所有同名参数都显示,若同名参数会根据参数优先级(「参数赋值」设置的参数>调用任务中父任务参数>「自定义参数」>「全局参数」>「内置参数」),显示生效的参数。
原「参数设置」改名为「参数列表」,包含任务内参数、全局参数、内置参数;在「参数列表」界面中,可查看该任务可用的参数,如下图所示:
详情参见:自定义参数
「条件分支」中添加参数时,可通过折叠树选择参数,可选的参数类型:任务内参数、全局参数、内置参数,如下图所示:
详情参见:条件分支
「循环容器」循环方式选择「条件循环」时,「执行条件」中选择参数时,可通过折叠树选择参数,可选的参数类型:任务内参数、全局参数、内置参数。
详情参见:循环容器逻辑说明
「参数赋值」设置界面优化:
将「分隔符」单选按钮组改为「闭包符」开关;
参数默认值可自动填入;
可批量生成、修改参数;
详情请参见:参数赋值
定时任务连线交互优化
详情参见:数据开发界面介绍
数据服务调用API报错优化
对于API运维方和调用方,可在调用记录中对根据访问者IP和调用错误类型进行筛选。
同时对调用报错优化,细化服务端失败和客户端失败的报错提示分类。
详情参见:服务运维 第五章
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-8712 python 脚本后面接db表输出报错。此版本已修复。
2)FDL-8612 【来源PT项目】FDL转换中API算子无法获取python算子的结果集。此版本已修复。
3)FDL-8593 数据管道字段映射关系错误。此版本已修复。
4)FDL-8580 任务耗时的排序是乱的 此版本已修复。
5)FDL-8571 首页定时任务总数,在2023-10-19这天统计为0。此版本已修复。
6)FDL-8524 复制之后原来屏蔽的clob字段会报错。此版本已修复。
7)FDL-8523 写入到gaussdb数据库,目标表若有主键,写入很慢。此版本已修复。
8)FDL-8523 查询finedb中【fine_dp_operate_history】时,发现路径对应不上。管道的 路径显示和作业名称是一致的。此版本已修复。
9)FDL-8455 【性能BUG】升级后管道全量同步速度骤降。此版本已解决。
10)FDL-8438 【数据服务】升级后前端出现一个无限报错的文件夹 。 360极速浏览器21.0.1216.0、奇安信可信浏览器v1.0.41849.7、火狐浏览器该问题均解决。
11)FDL-8168 数据管道增量阶段脏数据报错 。此版本已修复。
12)FDL-7616【来源PT项目】客户部分接口取数极慢且会出现timeout报错而中断。请求速度慢问题已经解决。