2023年 9 月 FineDataLink 继续为您带来新物料。
产品新功能
文档上新
文档共创活动
产品新功能编辑
数据开发
支持调用定时任务相关接口
用户希望能够按需触发\执行定时任务，以提高数据时效性，例如：
业务人员在 FR 填报页面录入数据后，数据需要经 FDL 的定时任务计算形成结果数据，期望能够及时看到最新的数据。
业务人员期望能够在报表上看到实时的数据，或者有个按钮能够触发数据更新。
业务人员在简道云录入数据后，数据需要经 FDL 的定时任务做同步或处理，期望能够及时看到最新的数据。
使用「开放平台-FineDataLink接口」插件，可提供 FineDataLink 相关接口，满足用户按需触发\执行定时任务的需求。
详情请参见：调用定时任务相关接口说明
定时任务支持 Bat 脚本
支持通过 SSH 连接，调用远程 Windows 环境中的 Bat 脚本文件。
详情请参见：Bat脚本
定时任务节点支持禁用
用户在以下场景中：
部分节点暂时不执行，但后续可能会执行，不想彻底删掉。
用户为了调试新增一些节点，不想把调试节点删除。
在比较复杂的定时任务中，任务调试时，如果想去掉一些节点，需要复制整个任务备份下，再删除节点，比较麻烦。
希望能支持节点的禁用。
详情请参见：节点支持禁用
定时任务支持脏数据配置
定时任务中支持设置「脏数据阈值」，可容忍部分脏数据产生而不中断任务。
更多功能：
任务运维中支持查看脏数据分类及详情
任务运维中支持重跑指定节点
详情请参见：定时任务调度配置
定时任务提供 Python 算子
在数据开发过程中，对于一些复杂的数据处理（比如使用可视化算子或者 SparkSQL 较难实现的），需要在「数据转换」节点中使用 Python 脚本处理数据。「数据转换」节点中新增「Python 算子」，可调用 Python 脚本进行复杂数据处理。
详情请参见：Python 算子
FineDataLink 中使用 FineBI 公共数据
1）支持将 BI SQL 数据集中的参数作为 API 请求参数。
详情请参见：使用FineBI公共数据发布API 3.2节
2）BI SQL 数据集参数支持在定时任务中使用注：只支持以文本形式传入公共数据日期类型参数。
详情请参见：独立部署下读取FineBI公共数据 3.2节
定时任务节点样式优化
画布和节点以及算子样式优化后更加美观，如下图所示：
定时任务运维优化
优化前：无法对执行的任务进行近期时间的筛选。
优化后：可以筛选最近一次/全量记录或者自定义周期内的运行记录。
详情请参见：定时任务运维 2.1.2 节
数据管道
管道任务DDL同步支持PostgreSQL数据源
管道任务中 PostgreSQL 作为来源端时，支持设置同步源表结构变化。
详情请参见：数据管道-同步源表结构变化
管道任务日志读取权限检测和优化主键冲突策略
1）在任务新建和任务启动期间进行日志解析权限检测，若检测失败则直接提示用户失败原因，用户可根据情况进行修改，提升用户使用体验。
2）同时为了避免定时任务和管道任务同步在全量同步阶段的主键冲突导致出现待同步无法消除的问题，优化了主键冲突策略：
当来源表没有主键时，目标表存在主键，进行清表重写时，先清空目标表，再对目标表进行写入。
如果此时来源表存在两条主键相同的数据，后一条会覆盖前一条的记录。
管道任务支持复制到指定文件夹
管道任务能直接复制到指定的文件夹下。
管道任务支持以文件夹进行权限管理
管道任务支持以文件夹为维度进行权限管理配置，更方便用户的权限管控。
管道任务GP目标端装载逻辑优化
优化前：当Greenplum数据源作为目标端时，装载失败由于报错中无法定位具体出错的准确数据行，将这一批数据全部视为脏数据，对用户使用不够友好。
优化后：当数据通过COPY装载失败时，重新使用JDBC装载，重新装载再失败时，识别为脏数据，并正常记录，以保证数据正常。
数据管道Oracle同步优化
优化前：FineDataLink 管道任务对于 Oracle 数据源中如果有LOB字段，那么在这些字段没更新时（其他字段有更新操作），解析到的变更数据中将会缺失这些列的数据，导致任务报错
优化后：对管道任务Oracle数据源下，BLOB、CLOB、NCLOB、LONG、RAW、LONGRAW、BFILE 字段的同步做自动屏蔽处理，任务将不再会报错。
详情请参见：配置管道任务-表字段映射 第四节。
数据服务
数据服务发布API支持摘要认证方式
数据发布 API 支持摘要签名认证方式，避免认证信息和请求信息在传输过程中被截获和篡改，提升认证安全性。
详情请参见：摘要签名认证方式
