2023年 8 月 FineDataLink 继续为您带来新物料。
产品新功能
文档上新
文档共创活动
目录:
产品新功能编辑
数据开发
定时任务支持批量配置和管理调度
Ø 详情请参见：定时任务运维
开发人员在开发完任务后，由运维人员在运维界面处负责统一批量设置任务的调度，FineDataLink 支持批量设置定时任务的调度配置。
| 如下图所示： |
 |
当任务的通知对象发生变更时，需要批量修改涉及到的任务，FineDataLink 支持批量设置定时任务的结果通知。
| 如下图所示： |
 |
FineBI「公共数据」支持作为数据库来源端和发布为API
用户想要将 FineBI 中处理好并发布到公共数据的数据集在其他系统中使用。
1）独立部署和集成部署的定时任务支持读取「公共数据」，输出到其他目标端。
详情请参见：集成部署下读取FineBI公共数据 独立部署下读取FineBI公共数据
集成部署下效果如下图所示：
2）数据服务支持读取「公共数据」，发布为API。
详情请参见：使用FineBI公共数据发布API
3）独立部署工程支持将定时任务中输出的数据表输出至 FineBI 公共数据中，如下图所示：
详情请参见：集成部署下定时任务结果输出至FineBI、独立部署下定时任务结果输出至FineBI
新增 Python 脚本节点
用户的许多数据处理是通过 Python 脚本实现的，希望 FineDataLink 支持调用 Python 脚本。
新增「Python脚本」节点，支持直接调用 Python 脚本。如下图所示：
详情请参见：Python脚本
消息通知节点新增飞书渠道
优化前：
1）用户希望将定时任务执行结果通过飞书的形式通知给指定用户，无法实现。
2）用户的有些任务需要通知很多人，选择邮件/短信方式通知时，需要一个个输入邮箱地址/手机号，非常麻烦。
优化后：
详情请参见：消息通知
1）「消息通知」节点可将任务调度结果以飞书应用推送/飞书群机器人的形式通知给指定用户。
2）短信/邮件通知渠道：基于平台体系配置通知对象，通知对象可选择平台用户、部门、角色，三者取并集。
优化调度配置-结果通知
优化前：
1）调度配置-结果通知中通知渠道过少，不能满足用户企微/钉钉/飞书等聊天客户端的通知，导致客户对失败的任务不能及时通知到和修改。
2）任务失败的通知内容较单薄。
3）用户的有些任务需要通知很多人，选择邮件/短信方式通知时，需要一个个输入邮箱地址/手机号，非常麻烦。
优化后：
详情请参见：定时任务调度配置
1）调度配置-结果通知中，新增钉钉、飞书、企业微信通知渠道。如下图所示：
2）通知内容展示具体节点和日志报错。
3）短信/邮件/平台渠道：基于平台体系配置通知对象，通知对象可选择平台用户、部门、角色，三者取并集。
追加/更新/删除数据场景功能优化
优化前：
1）目前用户要想实现数据的增删改操作，需要使用「左右表比对」+「设置逻辑主键」，实际场景中：
用户的目标表没有主键，希望根据多个字段比对，目标表中有，就不写入，没有就写入。
用户实际场景中没有目标表，需要先用数据同步创建一个目标表，再按照「数据比对」+「DB表输出」的方式进行数据更新，觉得过程有些繁琐。
2）不支持批量选择比对字段，一个个选有些麻烦。
3）「DB表输出」需要手动输入标识值，用户使用时往往会忽略这个。
4）「写入方式」环节其实依赖映射过程中设定的主键、字段映射关系，例如设定主键冲突策略其实需要先判断目标表是否有主键，所以目前「字段映射\设置主键」和「定义写入方式」不符合用户的实际使用流程。
优化后：
1）数据同步节点、DB表输出算子中，写入方式支持三种：直接将数据写入目标表、清空目标表，再写入数据、基于标识字段，追加/更新/删除数据；数据同步节点也可实现数据的增删改操作。
上述三种写入方式，「简道云输出」算子不支持清空目标表，再写入数据的写入方式。
详情请参见：数据同步节点
2）数据比对节点支持多选比对字段；当「数据比对」算子连接的比对表算子类型为 简道云输入 时，数据比对算子中才显示「比对结果表字段」设置，避免造成误解。详情请参见：数据比对功能说明
3）写入方式选择「基于标识字段，追加/更新/删除数据」，若使用了「数据比对」算子，则自动读取 fdl_comparison_type 作为标识字段，且自动读取标识字段的值作为标识值。
4）数据同步节点、DB表输出算子、简道云输出算子中，调整「写入方式」和「字段映射」的顺序，更符合用户实际使用流程。如下图所示：
定时任务新增可读取/写入数据库
详情请参见：FineDataLink支持的数据源
1）定时任务支持读取和写入 TiDB 数据库。
2）定时任务支持读取和写入 Amazon Redshift。
数据管道
管道任务支持快速选表
当管道任务源库表量较大，需要从大量表中选取部分已知表名的表作为同步表，FineDataLink 支持通过粘贴表名的方式，快速选表，如下图所示：
详情参见：配置数据管道任务
管道脏数据查看和处理&日志整体优化
详情参见：单个管道任务管理
优化前：管道任务脏数据仅支持重跑，不支持忽略、重试，且不能查看任务中单个数据表的脏数据情况，也不能导出脏数据。
优化后：管道任务支持用户快速查看脏数据、快速定位单条脏数据产生的原因，如下图所示：
管道任务支持用户对脏数据进行灵活处理，除了对脏数据进行重新同步，还可以进行忽略和重试（在任务运行、暂停、中止时均可进行），如下图所示：
支持查看实时数据与近期统计数据，提供了简易图表来提升数据趋势的可读性，如下图所示：
优化管道控制-结果通知
优化前：
1）管道控制-结果通知中通知渠道过少，不能满足用户企微/钉钉/飞书等聊天客户端的通知，导致客户对失败的任务不能及时通知到和修改。
2）一些管道任务需要通知很多人，选择邮件/短信方式通知时，需要一个个输入邮箱地址/手机号，非常麻烦。
优化后：
详情请参见：配置管道任务-管道控制
1）新增钉钉群机器人、飞书群机器人、企业微信群机器人通知渠道。
2）短信/邮件/平台渠道：基于平台体系配置通知对象，通知对象可选择平台用户、部门、角色，三者取并集。
管道任务新增可读取/写入数据库
详情请参见：FineDataLink支持的数据源
1）管道任务支持 Clickhouse 作为写入端。
2）管道任务支持写入至 TiDB 数据库。
3）管道任务支持写入至Amazon Redshift。
数据服务
数据服务通过应用管理 API
1）开发与管理「数据发布 API」时，需要对多个 API 的调用方进行分组管控，如分组授权、授权限时、分组限频、分组监控等。
FineDataLink 支持将创建好的 API 绑定至对应的应用中，相同应用中的 API 拥有相同的鉴权和访问根路径，也就是通过应用来对发布的 API 进行批量的管理。
应用与API是多对多的对应关系，同一个 API 可以存在于多个应用中。同一个应用中也可以有多个 API。
详情请参见：配置发布环境
2）超级管理员可以给予某个对象数据服务「应用」的授权权限，使该对象将成为一个次级管理员。
详情请参见：数据服务应用管理授权权限
3）次级管理员可以给下级成员分配「应用」的管理权限，使他下级的成员可以查看和编辑应用。
详情请参见：数据服务应用管理权限
4）重新调整数据服务在未注册和注册到期时的功能限制，详情请参见：未注册和注册到期的影响
5）调整数据服务注册功能点说明，详情请参见：功能点介绍
优化数据服务查询功能
优化前：
4.0.26 正式发布的数据服务功能，提供了基于参数必填、带有防注入处理的静态 SQL 查询功能，以支撑 API 的开发。在用户实际使用过程中，遇到一些场景我们无法满足：
1）例如年级的成绩表中包含班级、学生姓名、学生年龄、学生学号、各学科成绩等字段，用户在做接口是对每一个字段或者大部分字段做了对应的参数，对于这些参数，用户无法多选。
2）用户想要查询取出发布的 API 中为 NULL 的数据，同时也能正常查询其他数据，优化前不支持这一需求。
3）用户想要设置在未传指定参数时，省略此参数对应的查询条件。即实现想查询全部数据时，不传对应参数。要查询其他非空值数据时，正常传参，优化前不支持这一需求。
4）数据发布 API 的 POST 请求方式，不支持 x-www-form-urlencoded 格式。
优化后：
1）数据发布 API 支持设置 SQL 防注入，以便使用 IN 语法实现多值查询。
详情请参见：发布API-多值查询
2）数据发布 API 参数支持传入 NULL 值。
详情请参见：发布API-查询NULL值数据
3）数据发布 API 参数支持配置必填 / 非必填。
详情请参见：发布API-忽略参数查询条件
数据服务支持GET请求方式和更多Body格式
1）用户想通过简道云前端点击事件调用数据服务发布的 API ，但简道云的参数传递只支持默认的单层传递，不满足数据服务请求 API 时的嵌套参数格式，所以无法实现。
本版本数据发布 API 支持 GET 请求方式，可直接拼参数实现上述场景。详情请参见：使用数据服务发布的API（GET 请求）
2）数据发布 API 的 POST 请求方式，额外支持 x-www-form-urlencoded 格式。详情请参见：使用数据服务发布的API（POST x-www-form-urlencoded请求）
部署相关
独立部署工程支持集群
注：仅数据开发功能支持集群，若配置了集群，则独立部署工程中数据管道、数据服务功能无法继续使用，后续迭代中将支持，敬请期待。
用户在使用 FineDataLink 时，希望能实现高可用和高并发，提升产品使用稳定性。
FineDataLink 独立部署工程支持集群
高并发：定时任务的最小运行单元是步骤流内的节点，任务执行时会生成一个任务实例，任务实例内包含多个待运行节点。任务实例内的待运行节点均衡地分发到各集群节点执行。
高可用：集群节点被置为不可用时，原本运行在该集群节点上的节点转移至其他正常集群节点。
详情参见：集群部署概述