兼容说明
hive 与 hive(hdfs)、Greenplum 与Greenplum(并行装载)数据连接进行了合并,由于数据连接配置没有版本管理的逻辑,所以升级FineDataLink后如果再回退版本,会导致数据连接无法使用,建议升级前备份 FineDB。
升级后,平台数据连接处不再有GreenPlum(并行装载)、Hadoop Hive (HDFS)类型。
之前配置的Hadoop Hive (HDFS)数据连接类型变为Hadoop Hive、GreenPlum(并行装载)数据连接类型变为Pivotal Greenplum Database,数据连接名称不变,配置界面变为最新界面,之前配置不变。
新增功能
支持调用定时任务相关接口
用户希望能够按需触发\执行定时任务,以提高数据时效性,例如:
业务人员在 FR 填报页面录入数据后,数据需要经 FDL 的定时任务计算形成结果数据,期望能够及时看到最新的数据。
业务人员期望能够在报表上看到实时的数据,或者有个按钮能够触发数据更新。
业务人员在简道云录入数据后,数据需要经 FDL 的定时任务做同步或处理,期望能够及时看到最新的数据。
使用「开放平台-FineDataLink接口」插件,可提供 FineDataLink 相关接口,满足用户按需触发\执行定时任务的需求。
详情请参见:调用定时任务相关接口说明
定时任务支持Bat脚本
用户想要在 FineDataLink 中调用远程 Windows 环境中的 Bat 脚本文件。
因此新增「Bat 脚本」节点,
详情请参见:Bat脚本
定时任务节点支持禁用
用户希望设置部分节点暂时不执行,后续可能会执行,不想彻底删掉;
为了调试新增一些节点,不想把调试节点删除;
在比较复杂的定时任务中,任务调试时,如果想去掉一些节点,需要复制整个任务备份下,再删除节点,比较麻烦。
因此支持节点及下游的禁用,便于用户开发定时任务,如下图所示:
详情请参见:节点支持禁用
数据服务发布API支持摘要认证方式
对于数据安全性要求高的用户,需要对发布的 API 进行更高安全性的鉴权方式设置,需要提供更安全的认证方式,满足更严格的安全要求。
因此支持基于AK/SK认证逻辑的摘要签名认证方式,避免认证信息和请求信息在传输过程中被截获和篡改,提升认证安全性。
详情请参见:摘要签名认证方式
定时任务支持脏数据配置
在使用数据开发时,由于数据库设置、用户操作等,导致数据无法写入目标数据表而生成写入失败的脏数据,此时用户可以设置脏数据阈值,使任务具备一定容错性。
详情请参见:定时任务调度配置
同时能快速查看脏数据、快速定位单条脏数据产生的原因,如下图所示:
详情请参见:定时任务运维
对脏数据进行重试处理。
定时任务提供Python算子
在数据开发过程中,对于一些复杂的数据处理(比如使用可视化算子或者 SparkSQL 较难实现的),需要在「数据转换」节点中使用 Python 脚本处理数据。「数据转换」节点中新增「Python 算子」,可调用 Python 脚本进行复杂数据处理。
详情请参见:Python 算子
管道任务DDL同步支持PostgreSQL数据源
详情请参见:数据管道-同步源表结构变化
FineDataLink 中使用 FineBI 公共数据
支持将 BI SQL 数据集中的参数作为 API 请求参数。
详情请参见:使用FineBI公共数据发布API 3.2节
BI SQL 数据集参数支持在定时任务中使用注:只支持以文本形式传入公共数据日期类型参数。
详情请参见:独立部署下读取FineBI公共数据 3.2节
优化功能
管道任务日志读取权限检测和优化主键冲突策略
优化前:用户在在新建任务或启动任务时,没有进行日志解析权限检测,如果无数据库权限,则会在用户设置完配置并启动任务后再报错,导致任务终止,体验不好。
优化后:在任务新建和任务启动期间进行日志解析权限检测,若检测失败则直接提示用户失败原因,用户可根据情况进行修改,提升用户使用体验。
同时为了避免定时任务和管道任务同步在全量同步阶段的主键冲突导致出现待同步无法消除的问题。
优化了主键冲突策略:
1)当来源表没有主键时,目标表存在主键,进行清表重写时,先清空目标表,再对目标表进行写入;
2)如果此时来源表存在两条主键相同的数据,后一条会覆盖前一条的记录;
管道任务支持复制到指定文件夹
优化前:管道任务不支持复制。
优化后:管道任务能直接复制到指定的文件夹下。
管道任务支持以文件夹进行权限管理
优化前:管道任务的权限管理控制只能以任务为维度进行。
优化后:管道任务支持以文件夹为维度进行权限管理配置,更方便用户的权限管控。
定时任务节点样式优化
画布和节点以及算子样式优化后更加美观,如下图所示:
管道任务GP目标端装载逻辑优化
优化前:当Greenplum数据源作为目标端时,装载失败由于报错中无法定位具体出错的准确数据行,将这一批数据全部视为脏数据,对用户使用不够友好。
优化后:当数据通过COPY装载失败时,重新使用JDBC装载,重新装载再失败时,识别为脏数据,并正常记录,以保证数据正常。
数据管道Oracle同步优化
优化前:FineDataLink 管道任务对于 Oracle 数据源中如果有LOB字段,那么在这些字段没更新时(其他字段有更新操作),解析到的变更数据中将会缺失这些列的数据,导致任务报错
优化后:对管道任务Oracle数据源下,BLOB、CLOB、NCLOB、LONG、RAW、LONGRAW、BFILE 字段的同步做自动屏蔽处理,任务将不再会报错。
详情请参见:配置管道任务-表字段映射 第四节。
定时任务运维优化
优化前:无法对执行的任务进行近期时间的筛选。
优化后:可以筛选最近一次/全量记录或者自定义周期内的运行记录。
详情请参见:定时任务运维 2.1.2 节
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-7785 4.0.28.1版本点开超时重试页面白屏 此版本已修复。
2)FDL-7764 消息通知不支持参数。此版本短信/邮件自定义收件人去掉校验,支持参数。
3)FDL-7761 【来源PT项目】字段设置预览有问题 此版本已修复。
4)FDL-7756 新增计算列的值等于参数设置的日期时会预览失败 此版本已修复。
5)FDL-7755 数据分发预览数据时页面显示异常 此版本已修复。
6)FDL-7739 FDL数据同步至BI的etl数据集 编辑预览报错unsupported table found in DataBase driver 此版本已修复。
7)FDL-7733 手动备份报错(Fail to write entity DataServiceTaskPersistEntity) 此版本已修复。
8)FDL-7700 升级28版本后,数据同步点击写入方式页面空白 此版本已修复。
9)FDL-7667 读取saphana 速度慢,慢于kettle 此版本已修复。
10)FDL-7651 获取 JIRA 问题信息的 API 调用报错 415【内部问题】 此版本已修复。
11)FDL-7633 4.0.28.1版本的任务修改保存速度明显比4.0.27.2版本慢很多 请求参数加密算法优化。
12)FDL-7608 简道云输出报错锁获取失败 受简道云限制,此版本已优化。
13)FDL-7585 4.0.28版本任务提示保存的异常 此版本已修复。
14)FDL-7582 管道任务出现报错 ”字段不能为空“的脏数据 此版本已修复。
15)FDL-7505 【来源PT项目】FDL4.0.27excel数据抽取类型有误 此版本已修复。
16)FDL-7471 【数据管道】进入详情页面首先展示实时统计而不是历史统计--来源【客户需求 748658】 此版本优化。
17)FDL-7469 fdl对空值和null值写入的处理-2 此版本已修复。
18)FDL-7426 数据开发界面拉了80+sql脚本节点,调用存储过程,前端会变得非常卡 此版本已优化性能。
19)FDL-7384 数据管道重试三次不成功后日志输出脏数据 此版本已修复。
20)FDL-7375 管道任务运行报错Write table's columns is empty 此版本修复。
21)FDL-7340 “清空目标表再写入数据”如果没有truncate权限希望任务能执行失败并报错--来源【客户需求 747863】 此版本已优化。
22)FDL-7200 鼠标悬浮FDL的任务tab可显示全任务名--来源【客户需求 746671】 此版本已优化。
23)FDL-7136 【来源PT项目】4.0.24版本fdl升级4.0.27.1时报错500 此版本已优化。
24)FDL-5263 sql server预览非常慢 此版本已优化。
25)FDL-7830 【来源PT项目】fdl文件夹,文件重命名报错 此版本已修复。