兼容说明编辑
注册
新版本功能点注册与老版本中控制逻辑不一致,新版本:
1)删除数据开发整个模块是否注册是由「调度配置」功能点控制
2)数据管道是由「管道任务」、「数据监控及补全」两个功能点共同控制,即需要两个都要注册,才算数据管道整个模块注册
3)由「步骤流程-基础节点包」控制「数据开发」是否注册,将原本「调度配置」、「任务运维」的功能点控制都移到「步骤流程-基础节点包」中
由「数据服务-基础」控制「数据服务」是否注册
由「管道任务」控制「数据管道」是否注册
4)功能点也进行了修改。
原「接口协议」功能点改为「接口协议(定时)」包含 API、WebService
原「无结构化数据存储」功能点改为「文件系统」包含 FTP/SFTP、本地文件
新增 应用连接器(定时) 包含简道云、SAP RFC
新增消息队列 包含 kafka
定时任务
参数赋值节点+循环容器节点使用场景中,若「参数赋值」节点输出参数的分隔符选择「文本型分隔」,在循环容器内使用时加了单引号,升级到 4.1.0 及之后版本时,需要手动去掉单引号。
新增功能编辑
新增和优化注册方式
1)新增「容量」、「用户」、「节点」三个维度的注册限制。
当前的注册产品注册维度分为:「容量」、「时间」、「用户」、「功能点」、「节点」五个,控制维度最终结果取交集,用户可选择适合自己的注册维度。
详情参见:注册简介
2)FineDataLink license可以单独控制数据开发、数据服务、数据管道三个模块的到期时间。
3)同时新增数据开发用户类型,便于从用户维度进行 FineDataLink 的注册管理。
详情参见:用户管理 第五章

4)对于注册功能点,也进行了梳理和优化。
详情参见:FineDataLink支持的数据源
5)优化数据源类型的注册功能点。
详情参见:注册简介 第六章
定时任务新增内置参数
新增参数:
${workname}:取当前任务名称。
${workname.jobname.opresult}:指定任务(非当前任务)-指定节点的最近一次运行结果; 示例:${任务1.数据同步.opresult}
详情请参见:内置参数第八、九章
定时任务数据转换支持上下合并
用户存在多个业务系统的表数据,这些表数据中存在相同字段或相同含义的字段,需要将不同的来源数据上下合并到一个表输出。用户目前使用「Spark SQL」算子实现,比较繁琐,希望能无代码实现。新增「上下合并」算子,可对多张表进行上下行合并,输出一张合并表。如下图所示:
详情参见:上下合并


定时任务支持 SeaboxMPP作为读写数据源
详情参见:配置SeaboxMPP数据源
管道任务Oracle数据源支持对接XStream
CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,FineDataLink 数据管道可实现数据源的实时数据同步以及数据表的物理删除同步。
FineDataLink 数据管道支持 Oracle 的 XStream CDC 模式。
详情参见:Oracle环境准备(XStream)

数据服务定义API时支持绑定应用和测试
用户可在创建API时将其添加至授权应用,便于后续的 API 调试和直接发布 API 进行使用。如下图所示:
详情参见:发布API概述 3.1 节。

数据支持发布 API 时进行应用配置测试,便于用户直接确认 API 是否已经可用并满足需求,如下图所示:

数据服务支持指定多级API路径
支持指定多级API路径,若用户想要对发布的API进行层级设计,可以使用连字符(-)、正斜杠(/)等符号设计API路径,如下图所示:
详情参见:发布API 2.2节。

数据服务API支持发布(Doris\Impala\TiDB\星环)数据源
详情参见:发布API概述

优化功能编辑
定时任务参数优化
Shell脚本、Python脚本Bat脚本中「脚本参数」下拉框中显示已配置参数,包括任务内参数、全局参数
所有同名参数都显示,若同名参数会根据参数优先级(「参数赋值」设置的参数>调用任务中父任务参数>「自定义参数」>「全局参数」>「内置参数」),显示生效的参数。

原「参数设置」改名为「参数列表」,包含任务内参数、全局参数、内置参数;在「参数列表」界面中,可查看该任务可用的参数,如下图所示:
详情参见:自定义参数

「条件分支」中添加参数时,可通过折叠树选择参数,可选的参数类型:任务内参数、全局参数、内置参数,如下图所示:
详情参见:条件分支

「循环容器」循环方式选择「条件循环」时,「执行条件」中选择参数时,可通过折叠树选择参数,可选的参数类型:任务内参数、全局参数、内置参数。
详情参见:循环容器逻辑说明

「参数赋值」设置界面优化:
将「分隔符」单选按钮组改为「闭包符」开关;
参数默认值可自动填入;
可批量生成、修改参数;
详情请参见:参数赋值

定时任务连线交互优化
详情参见:数据开发界面介绍

数据服务调用API报错优化
对于API运维方和调用方,可在调用记录中对根据访问者IP和调用错误类型进行筛选。
同时对调用报错优化,细化服务端失败和客户端失败的报错提示分类。
详情参见:服务运维 第五章


