2023年 8 月 FineDataLink 继续为您带来新物料。

• 产品新功能

• 文档上新

• 文档共创活动

数据开发

定时任务支持批量配置和管理调度

详情参见：定时任务运维

开发人员在开发完任务后，由运维人员在运维界面处负责统一批量设置任务的调度，FineDataLink 支持批量设置定时任务的调度配置，如下图所示：

当任务的通知对象发生变更时，需要批量修改涉及到的任务，FineDataLink 支持批量设置定时任务的结果通知，如下图所示：

FineBI「公共数据」支持作为数据库来源端和发布为API

用户想要将 FineBI 中处理好并发布到公共数据的数据集在其他系统中使用。

1）独立部署和集成部署的定时任务支持读取「公共数据」，输出到其他目标端。

详情请参见：集成部署下读取FineBI公共数据 独立部署下读取FineBI公共数据

集成部署下效果如下图所示：

2）数据服务支持读取「公共数据」，发布为API。

详情请参见：使用FineBI公共数据发布API

3）独立部署工程支持将定时任务中输出的数据表输出至 FineBI 公共数据中，如下图所示：

详情请参见：集成部署下定时任务结果输出至FineBI、独立部署下定时任务结果输出至FineBI

新增 Python 脚本节点

用户的许多数据处理是通过 Python 脚本实现的，希望 FineDataLink 支持调用 Python 脚本。

新增「Python脚本」节点，支持直接调用 Python 脚本。如下图所示：

详情请参见：Python脚本

消息通知节点新增飞书渠道

优化前：

1）用户希望将定时任务执行结果通过飞书的形式通知给指定用户，无法实现。

2）用户的有些任务需要通知很多人，选择邮件/短信方式通知时，需要一个个输入邮箱地址/手机号，非常麻烦。

优化后：

详情请参见：消息通知

1）「消息通知」节点可将任务调度结果以飞书应用推送/飞书群机器人的形式通知给指定用户。

2）短信/邮件通知渠道：基于平台体系配置通知对象，通知对象可选择平台用户、部门、角色，三者取并集。

定时任务新增可读取/写入数据库

详情请参见：FineDataLink支持的数据源

1）定时任务支持读取和写入 TiDB 数据库。

2）定时任务支持读取和写入 Amazon Redshift。

数据管道

管道任务支持快速选表

当管道任务源库表量较大，需要从大量表中选取部分已知表名的表作为同步表，FineDataLink 支持通过粘贴表名的方式，快速选表，如下图所示：

详情参见：配置数据管道任务

管道脏数据查看和处理&日志整体优化

详情参见：单个管道任务管理

优化前：管道任务脏数据仅支持重跑，不支持忽略、重试，且不能查看任务中单个数据表的脏数据情况，也不能导出脏数据。

优化后：管道任务支持用户快速查看脏数据、快速定位单条脏数据产生的原因，如下图所示：

管道任务支持用户对脏数据进行灵活处理，除了对脏数据进行重新同步，还可以进行忽略和重试（在任务运行、暂停、中止时均可进行），如下图所示：

支持查看实时数据与近期统计数据，提供了简易图表来提升数据趋势的可读性，如下图所示：

管道任务新增可读取/写入数据库

详情请参见：FineDataLink支持的数据源

1）管道任务支持 Clickhouse 作为写入端。

2）管道任务支持写入至 TiDB 数据库。

3）管道任务支持写入至Amazon Redshift。

数据服务

数据服务通过应用管理 API

1）开发与管理「数据发布 API」时，需要对多个 API 的调用方进行分组管控，如分组授权、授权限时、分组限频、分组监控等。

FineDataLink 支持将创建好的 API 绑定至对应的应用中，相同应用中的 API 拥有相同的鉴权和访问根路径，也就是通过应用来对发布的 API 进行批量的管理。

应用与API是多对多的对应关系，同一个 API 可以存在于多个应用中。同一个应用中也可以有多个 API。

详情请参见：配置发布环境

2）超级管理员可以给予某个对象数据服务「应用」的授权权限，使该对象将成为一个次级管理员。

详情请参见：数据服务应用管理授权权限

3）次级管理员可以给下级成员分配「应用」的管理权限，使他下级的成员可以查看和编辑应用。

详情请参见：数据服务应用管理权限

4）重新调整数据服务在未注册和注册到期时的功能限制，详情请参见：未注册和注册到期的影响

5）调整数据服务注册功能点说明，详情请参见：功能点介绍

数据服务支持GET请求方式和更多Body格式

1）用户想通过简道云前端点击事件调用数据服务发布的 API ，但简道云的参数传递只支持默认的单层传递，不满足数据服务请求 API 时的嵌套参数格式，所以无法实现。

本版本数据发布 API 支持 GET 请求方式，可直接拼参数实现上述场景。详情请参见：使用数据服务发布的API（GET 请求）

2）数据发布 API 的 POST 请求方式，额外支持 x-www-form-urlencoded 格式。详情请参见：使用数据服务发布的API（POST x-www-form-urlencoded请求）

部署相关

独立部署工程支持集群

注：仅数据开发功能支持集群，若配置了集群，则独立部署工程中数据管道、数据服务功能无法继续使用，后续迭代中将支持，敬请期待。

用户在使用 FineDataLink 时，希望能实现高可用和高并发，提升产品使用稳定性。

FineDataLink 独立部署工程支持集群

• 高并发：定时任务的最小运行单元是步骤流内的节点，任务执行时会生成一个任务实例，任务实例内包含多个待运行节点。任务实例内的待运行节点均衡地分发到各集群节点执行。

• 高可用：集群节点被置为不可用时，原本运行在该集群节点上的节点转移至其他正常集群节点。

详情参见：集群部署概述