2023年 9 月 FineDataLink 继续为您带来新物料。

• 产品新功能

• 文档上新

• 文档共创活动

数据开发

支持调用定时任务相关接口

用户希望能够按需触发\执行定时任务，以提高数据时效性，例如：

• 业务人员在 FR 填报页面录入数据后，数据需要经 FDL 的定时任务计算形成结果数据，期望能够及时看到最新的数据。

• 业务人员期望能够在报表上看到实时的数据，或者有个按钮能够触发数据更新。

• 业务人员在简道云录入数据后，数据需要经 FDL 的定时任务做同步或处理，期望能够及时看到最新的数据。

使用「开放平台-FineDataLink接口」插件，可提供 FineDataLink 相关接口，满足用户按需触发\执行定时任务的需求。

Ø详情请参见：调用定时任务相关接口说明

定时任务支持 Bat 脚本

支持通过 SSH 连接，调用远程 Windows 环境中的 Bat 脚本文件。

Ø详情请参见：Bat脚本

定时任务节点支持禁用

用户在以下场景中：

• 部分节点暂时不执行，但后续可能会执行，不想彻底删掉。

• 用户为了调试新增一些节点，不想把调试节点删除。

• 在比较复杂的定时任务中，任务调试时，如果想去掉一些节点，需要复制整个任务备份下，再删除节点，比较麻烦。
  

希望能支持节点的禁用。

Ø详情请参见：节点支持禁用

定时任务支持脏数据配置

定时任务中支持设置「脏数据阈值」，可容忍部分脏数据产生而不中断任务。

更多功能：

• 任务运维中支持查看脏数据分类及详情

• 任务运维中支持重跑指定节点

Ø详情请参见：定时任务调度配置

定时任务提供 Python 算子

在数据开发过程中，对于一些复杂的数据处理（比如使用可视化算子或者 SparkSQL 较难实现的），需要在「数据转换」节点中使用 Python 脚本处理数据。「数据转换」节点中新增「Python 算子」，可调用 Python 脚本进行复杂数据处理。

Ø详情请参见：Python 算子

FineDataLink 中使用 FineBI 公共数据

1）支持将 BI SQL 数据集中的参数作为 API 请求参数。

Ø详情请参见：使用FineBI公共数据发布API 3.2节

2）BI SQL 数据集参数支持在定时任务中使用注：只支持以文本形式传入公共数据日期类型参数。

Ø详情请参见：独立部署下读取FineBI公共数据 3.2节

定时任务节点样式优化

画布和节点以及算子样式优化后更加美观，如下图所示：

Ø 详情请参见：数据开发界面介绍

定时任务运维优化

优化前：无法对执行的任务进行近期时间的筛选。

优化后：可以筛选最近一次/全量记录或者自定义周期内的运行记录。

Ø详情请参见：定时任务运维 2.1.2 节

数据管道

管道任务DDL同步支持PostgreSQL数据源

管道任务中 PostgreSQL 作为来源端时，支持设置同步源表结构变化。

Ø详情请参见：数据管道-同步源表结构变化

管道任务日志读取权限检测和优化主键冲突策略

1）在任务新建和任务启动期间进行日志解析权限检测，若检测失败则直接提示用户失败原因，用户可根据情况进行修改，提升用户使用体验。

2）同时为了避免定时任务和管道任务同步在全量同步阶段的主键冲突导致出现待同步无法消除的问题，优化了主键冲突策略：

• 当来源表没有主键时，目标表存在主键，进行清表重写时，先清空目标表，再对目标表进行写入。

• 如果此时来源表存在两条主键相同的数据，后一条会覆盖前一条的记录。

管道任务支持复制到指定文件夹

管道任务能直接复制到指定的文件夹下。

管道任务支持以文件夹进行权限管理

管道任务支持以文件夹为维度进行权限管理配置，更方便用户的权限管控。

管道任务GP目标端装载逻辑优化

优化前：当Greenplum数据源作为目标端时，装载失败由于报错中无法定位具体出错的准确数据行，将这一批数据全部视为脏数据，对用户使用不够友好。

优化后：当数据通过COPY装载失败时，重新使用JDBC装载，重新装载再失败时，识别为脏数据，并正常记录，以保证数据正常。

数据管道Oracle同步优化

优化前：FineDataLink 管道任务对于 Oracle 数据源中如果有LOB字段，那么在这些字段没更新时（其他字段有更新操作），解析到的变更数据中将会缺失这些列的数据，导致任务报错

优化后：对管道任务Oracle数据源下，BLOB、CLOB、NCLOB、LONG、RAW、LONGRAW、BFILE 字段的同步做自动屏蔽处理，任务将不再会报错。

Ø详情请参见：配置管道任务-表字段映射 第四节。

数据服务

数据服务发布API支持摘要认证方式

数据发布 API 支持摘要签名认证方式，避免认证信息和请求信息在传输过程中被截获和篡改，提升认证安全性。

Ø详情请参见：摘要签名认证方式

API 取数

API取数-钉钉获取部门通讯录数据

应用场景：

用户想要同步钉钉通信录中的部门信息和用户信息。

接口文档详情参见：获取部门列表、获取企业内部应用的access_token、获取部门用户详情

参考文档：

Ø 详情请参见：API取数-钉钉获取部门通讯录数据

使用高德接口获取城市天气数据

应用场景：

FR 日报表中需要填写对应城市的天气信息，包括日期、天气、最高温度、最低温度等，目前只能通过城市名人工查询后获得这些信息。

FineDataLink 可简化上述操作流程：根据数据库表存储的城市数据，调用高德 API 接口，获取对应天气数据并存储到数据库，FR 报表直接取数即可。

参考文档：

Ø 详情请参见：使用高德接口获取城市天气数据

活动日程信息更新至企业微信日程

应用场景：

用户有些日程信息是通过 FR 填报到数据库或者保存到简道云中，原始信息可能会被其他部门进行增删改操作，因此用户希望将日程数据在企业微信中记录，方便在活动开始前对相关的同学做到自动提醒。

参考文档：

Ø 详情请参见：活动日程信息更新至企业微信日程

新手FAQ

其他

仅在工作日执行定时任务

应用场景：

用户希望定时任务仅在工作日运行。

参考文档：

Ø 详情请参见：仅在工作日执行定时任务

FR模板调用定时任务接口

应用场景：

本文介绍 FR 模板调用定时任务接口的示例。

参考文档：

Ø 详情请参见：FR模板调用定时任务接口示例

订单补录数据按日汇总增量更新方案

应用场景：

用户业务系统订单表包含：订单ID、订单金额、订单交易日期、订单创建日期。正常情况下「订单交易日期」和「订单创建日期」在同一天，但可能会存在业务人员补录订单的情况，比如原本 9.1号交易的数据，在 9.10 号才补录进系统，此时订单创建日期为 9.10 号，订单交易日期为 9.1 号。

在搭建数仓的时候，ODS 层数据按照订单创建日期做增量更新，可正常进行更新；

DM 层数据按照「交易日期」按日汇总每日的订单金额，并设置每次调度增量更新订单交易日期前五天的数据，但是由于补录数据不确定补录时间，例如 9.21 日更新前 5 天的数据，但9.21日补录了「订单交易日期」为 9.1、9.2 日的数据，此时先删后更新的增量更新方案无法对补录的数据进行增量同步。

注：标黄为 9.21 补录的历史交易数据。

参考文档：

Ø 详情请参见：订单补录数据按日汇总增量更新方案

解析并关联多个JSON数组字段

应用场景：

用户的 JSON 数据中包含多个数组字段，如下图所示：

希望解析数组字段，且解析后的字段一一对应。如下图所示：

参考文档：

Ø 详情请参见：解析并关联多个JSON数组字段

所有活动奖励都以 F币形式发放（1F 币=1 元），F币可在 帆软商城 兑换周边京东卡，也可以直接提现哦，积少成多大家积极参与呀~

文档满意度调研（3F币）

为了给您提供更便捷高效的帮助文档，我们诚邀您参与此次问卷调研，参与到帮助中心的建设中来

您的建议和意见将成为我们努力和改进的方向，问卷填写戳这里：FineDataLink文档内容调研

完成后可通过接取 社区任务 获得 3F币 奖励哦~

文档反馈活动

截止到 2023 年 5 月 1 日，FineDataLink 文档已有 18 万+的阅读量和 9000+ 的用户覆盖，帮助许多用户学习和解决问题。然而，我们也认识到文档内容仍需要不断补充和优化，以便更好地满足用户的需求和期望。

我们希望收集大家的建议，共同为创建更加细致、完备、实用的文档下一番努力，让更多人更快更好地了解 FineDataLink 产品，更好地解决问题。

参与方式：

• FineDataLink场景收集-最高150F币

• FineDataLink文档搜索反馈-最高10F币

• FineDataLink文档问题反馈-最高150F币