兼容说明编辑
新增功能编辑
定时任务支持Bat脚本
用户想要在 FineDataLink 中调用远程 Windows 环境中的 Bat 脚本文件。
因此新增「Bat 脚本」节点,
详情请参见:Bat脚本
定时任务节点支持禁用
用户希望设置部分节点暂时不执行,后续可能会执行,不想彻底删掉;
为了调试新增一些节点,不想把调试节点删除;
在比较复杂的定时任务中,任务调试时,如果想去掉一些节点,需要复制整个任务备份下,再删除节点,比较麻烦。
因此支持节点及下游的禁用,便于用户开发定时任务,如下图所示:
详情请参见:节点支持禁用
数据服务发布API支持摘要认证方式
对于数据安全性要求高的用户,需要对发布的 API 进行更高安全性的鉴权方式设置,需要提供更安全的认证方式,满足更严格的安全要求。
因此支持基于AK/SK认证逻辑的摘要签名认证方式,避免认证信息和请求信息在传输过程中被截获和篡改,提升认证安全性。
详情请参见:摘要签名认证方式
定时任务读写支持SeaboxSQL
定时任务支持读取 SeaboxSQL 数据,详情请参见:配置SeaboxMPP数据源
定时任务支持脏数据配置
在使用数据开发时,由于数据库设置、用户操作等,导致数据无法写入目标数据表而生成写入失败的脏数据,此时用户可以设置脏数据阈值,使任务具备一定容错性。
详情请参见:定时任务调度配置
同时能快速查看脏数据、快速定位单条脏数据产生的原因,如下图所示:
详情请参见:定时任务运维
对脏数据进行重试处理。
定时任务提供Python脚本节点
管道任务DDL同步支持PostgreSQL数据源
详情请参见:数据管道-同步源表结构变化
FineDataLink 中使用 FineBI 公共数据
支持将 BI SQL 数据集中的参数作为 API 请求参数。
详情请参见:使用FineBI公共数据发布API
BI SQL 数据集参数支持在定时任务中使用注:日期类型参数暂不适配。
详情请参见:独立部署下读取FineBI公共数据
优化功能编辑
定时任务文件输出支持 Excel 类型的文件
优化前:定时任务文件输出仅支持将加工后的数据输出为 csv 格式的文件。
优化后:支持将数据输出为 Excel 格式的文件
满足用户对于输出多种格式的文件形式数据需求。
详情请参见:文件输出算子功能说明
典型示例请参见:文件输出典型示例
管道任务日志读取权限检测和优化主键冲突策略
优化前:用户在在新建任务或启动任务时,没有进行日志解析权限检测,如果无数据库权限,则会在用户设置完配置并启动任务后再报错,导致任务终止,体验不好。
优化后:在任务新建和任务启动期间进行日志解析权限检测,若检测失败则直接提示用户失败原因,用户可根据情况进行修改,提升用户使用体验。
同时为了避免定时任务和管道任务同步在全量同步阶段的主键冲突导致出现待同步无法消除的问题。
优化了主键冲突策略:
1)当来源表没有主键时,目标表存在主键,进行清表重写时,先清空目标表,再对目标表进行写入;
2)如果此时来源表存在两条主键相同的数据,后一条会覆盖前一条的记录;
管道任务支持复制到指定文件夹
优化前:管道任务不支持复制。
优化后:管道任务能直接复制到指定的文件夹下。
定时任务节点视觉效果优化
管道任务GP目标端装载逻辑优化
优化前:当Greenplum数据源作为目标端时,装载失败由于报错中无法定位具体出错的准确数据行,将这一批数据全部视为脏数据,对用户使用不够友好。
优化后:当数据通过COPY装载失败时,重新使用JDBC装载,重新装载再失败时,识别为脏数据,并正常记录,以保证数据正常。
数据管道Oracle同步优化
优化前:FineDataLink 管道任务对于 Oracle 数据源中如果有LOB字段,那么在这些字段没更新时(其他字段有更新操作),解析到的变更数据中将会缺失这些列的数据,导致任务报错
优化后:对管道任务Oracle数据源下,BLOB、CLOB、NCLOB、LONG、RAW、LONGRAW、BFILE 字段的同步做自动屏蔽处理,任务将不再会报错。
详情请参见:配置管道任务-表字段映射 第四节。