历史版本5 :4.1更新日志 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

兼容说明编辑

升级

升级前需备份finedb!备份步骤详情参见:平台配置备份

4.0.X 升级到 4.1 不支持一键升级,需要手动替换 JAR 包,替换之前需要把4 .0.X 的 jar 先删除。

BI 集成部署用户暂时无法升级 4.1 版本。

为便于手动替换升级时区分度更明显,4.1 版本的 JAR 包改名:从xxx-4.0.jar改成 xxx-4.1.jar。

注册

4.1 版本功能点注册与 4.0.x 不兼容,升级后需要生成新  license 进行注册。

1)删除数据开发整个模块是否注册是由「调度配置」功能点控制

2)数据管道是由「管道任务」、「数据监控及补全」两个功能点共同控制,即需要两个都要注册,才算数据管道整个模块注册

3)由「步骤流程-基础节点包」控制「数据开发」是否注册,将原本「调度配置」、「任务运维」的功能点控制都移到「步骤流程-基础节点包」中

     由「数据服务-基础」控制「数据服务」是否注册

     由「管道任务」控制「数据管道」是否注册

4)功能点也进行了修改。

原「接口协议」功能点改为「接口协议(定时)」包含  API、WebService。

原「无结构化数据存储」功能点改为「文件系统」包含  FTP/SFTP、本地文件。

新增「应用连接器(定时)」 包含简道云、SAP RFC 。

新增「消息队列」 包含 kafka。

定时任务

参数赋值节点+循环容器节点使用场景中,若「参数赋值」节点输出参数的分隔符选择「文本型分隔」,在循环容器内使用时加了单引号,升级到 4.1.0 及之后版本时,需要手动去掉单引号。

新增功能编辑

新增和优化注册方式

1)新增「容量」、「用户」、「节点」三个维度的注册限制。

当前的注册产品注册维度分为:「容量」、「时间」、「用户」、「功能点」、「节点」五个,控制维度最终结果取交集,用户可选择适合自己的注册维度。

2)FineDataLink license可以单独控制数据开发、数据服务、数据管道三个模块的到期时间。

3)同时新增数据开发用户类型,便于从用户维度进行 FineDataLink 的注册管理。

详情参见:用户管理 第五章

定时任务新增内置参数

新增参数:

  • ${workname}:当前任务名称。

  • ${workname.jobname.opresult}:指定任务(非当前任务)-指定节点的最近一次运行结果; 示例:${任务1.数据同步.opresult}

详情请参见:内置参数第八、九章

定时任务数据转换支持上下合并

用户存在多个业务系统的表数据,这些表数据中存在相同字段或相同含义的字段,需要将不同的来源数据上下合并到一个表输出。用户目前使用「Spark SQL」算子实现,比较繁琐,希望能无代码实现。新增上下合并算子,可对多张表进行上下行合并,输出一张合并表。如下图所示:

详情参见:上下合并

数据服务定义API时支持绑定应用和测试

用户可在创建API时将其添加至授权应用,便于后续的 API 调试和直接发布 API 进行使用。如下图所示:

详情参见:发布API概述 3.1 节。

数据支持发布 API 时进行应用配置测试,便于用户直接确认 API 是否已经可用并满足需求,如下图所示:

数据服务支持指定多级API路径

支持指定多级API路径,若用户想要对发布的API进行层级设计,可以使用连字符(-)、正斜杠(/)等符号设计API路径,如下图所示:

详情参见:发布API 2.2节。

数据服务API支持发布(Doris\Impala\TiDB\星环)数据源

详情参见:发布API概述

优化功能编辑

定时任务参数优化

Shell脚本Python脚本Bat脚本中「脚本参数」下拉框中显示已配置参数,包括任务内参数、全局参数

所有同名参数都显示,若同名参数会根据参数优先级(「参数赋值」设置的参数>调用任务中父任务参数>「自定义参数」>「全局参数」>「内置参数」),显示生效的参数。

详情参见:Shell脚本Python脚本Bat脚本


原「参数设置」改名为「参数列表」,包含任务内参数、全局参数、内置参数;在「参数列表」界面中,可查看该任务可用的参数,如下图所示:

详情参见:自定义参数

「条件分支」中添加参数时,可通过折叠树选择参数,可选的参数类型:任务内参数、全局参数、内置参数,如下图所示:

详情参见:条件分支

「循环容器」循环方式选择「条件循环」时,「执行条件」中选择参数时,可通过折叠树选择参数,可选的参数类型:任务内参数、全局参数、内置参数。

详情参见:循环容器逻辑说明

「参数赋值」设置界面优化:

  • 将「分隔符」单选按钮组改为「闭包符」开关;

  • 参数默认值可自动填入;

  • 可批量生成、修改参数;

详情请参见:参数赋值

  • 定时任务连线交互优化

详情参见:数据开发界面介绍

1698137784520617.gif

数据服务调用API报错优化

对于API运维方和调用方,可在调用记录中对根据访问者IP和调用错误类型进行筛选。

同时对调用报错优化,细化服务端失败和客户端失败的报错提示分类。

详情参见:服务运维 第五章

修复BUG编辑

本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

1)FDL-8712 python 脚本后面接db表输出报错。此版本已修复。

2)FDL-8612 【来源PT项目】FDL转换中API算子无法获取python算子的结果集。此版本已修复。

3)FDL-8593 数据管道字段映射关系错误。此版本已修复。

4)FDL-8580 任务耗时的排序是乱的 此版本已修复。

5)FDL-8571 首页定时任务总数,在2023-10-19这天统计为0。此版本已修复。

6)FDL-8524 复制之后原来屏蔽的clob字段会报错。此版本已修复。

7)FDL-8523 写入到gaussdb数据库,目标表若有主键,写入很慢。此版本已修复。

8)FDL-8523 查询finedb中【fine_dp_operate_history】时,发现路径对应不上。管道的 路径显示和作业名称是一致的。此版本已修复。

9)FDL-8455 【性能BUG】升级后管道全量同步速度骤降。此版本已解决。

10)FDL-8438 【数据服务】升级后前端出现一个无限报错的文件夹 。 360极速浏览器21.0.1216.0、奇安信可信浏览器v1.0.41849.7、火狐浏览器该问题均解决。

11)FDL-8168  数据管道增量阶段脏数据报错 。此版本已修复。

12)FDL-7616【来源PT项目】客户部分接口取数极慢且会出现timeout报错而中断。请求速度慢问题已经解决。