2023年 8 月 FineDataLink 继续为您带来新物料。
产品新功能
文档上新
文档共创活动
产品新功能
数据开发
定时任务支持批量配置和管理调度
Ø 详情请参见：定时任务运维
开发人员在开发完任务后，由运维人员在运维界面处负责统一批量设置任务的调度，FineDataLink 支持批量设置定时任务的调度配置。
当任务的通知对象发生变更时，需要批量修改涉及到的任务，FineDataLink 支持批量设置定时任务的结果通知。
FineBI「公共数据」支持作为数据库来源端和发布为API
用户想要将 FineBI 中处理好并发布到公共数据的数据集在其他系统中使用。
1）独立部署和集成部署的定时任务支持读取「公共数据」，输出到其他目标端。
Ø 详情请参见：集成部署下读取FineBI公共数据 独立部署下读取FineBI公共数据
集成部署下效果如下图所示：
2）数据服务支持读取「公共数据」，发布为API。
Ø 详情请参见：使用FineBI公共数据发布API
3）独立部署工程支持将定时任务中输出的数据表输出至 FineBI 公共数据中，如下图所示：
Ø 详情请参见：集成部署下定时任务结果输出至FineBI、独立部署下定时任务结果输出至FineBI
新增 Python 脚本节点
用户的许多数据处理是通过 Python 脚本实现的，希望 FineDataLink 支持调用 Python 脚本。
新增「Python脚本」节点，支持直接调用 Python 脚本。如下图所示：
Ø 详情请参见：Python脚本
消息通知节点新增飞书渠道
Ø 详情请参见：消息通知
1）用户希望将定时任务执行结果通过飞书的形式通知给指定用户，可通过「消息通知」节点实现。
「消息通知」节点可将任务调度结果以飞书应用推送/飞书群机器人的形式通知给指定用户。
2）用户的有些任务需要通知很多人，选择邮件/短信方式通知时，需要一个个输入邮箱地址/手机号，非常麻烦。
本版本短信/邮件通知渠道：基于平台体系配置通知对象，通知对象可选择平台用户、部门、角色，三者取并集。
优化调度配置-结果通知
Ø 详情请参见：定时任务调度配置
1）调度配置-结果通知中，新增钉钉、飞书、企业微信通知渠道。如下图所示：
2）通知内容展示具体节点和日志报错。
3）短信/邮件/平台渠道：基于平台体系配置通知对象，通知对象可选择平台用户、部门、角色，三者取并集。
追加/更新/删除数据场景功能优化
1）目前用户要想实现数据的增删改操作，需要使用「左右表比对」+「设置逻辑主键」，实际场景中：
用户的目标表没有主键，希望根据多个字段比对，目标表中有，就不写入，没有就写入。
用户实际场景中没有目标表，需要先用数据同步创建一个目标表，再按照「数据比对」+「DB表输出」的方式进行数据更新，觉得过程有些繁琐。
本版本中，数据同步节点、DB表输出算子中，写入方式支持三种：直接将数据写入目标表、清空目标表，再写入数据、基于标识字段，追加/更新/删除数据；数据同步节点也可实现数据的增删改操作。
上述三种写入方式，「简道云输出」算子不支持清空目标表，再写入数据的写入方式。
Ø 详情请参见：数据同步节点
2）数据比对节点支持多选比对字段；当「数据比对」算子连接的比对表算子类型为 简道云输入 时，数据比对算子中才显示「比对结果表字段」设置，避免造成误解。
Ø 详情请参见：数据比对功能说明
3）写入方式选择「基于标识字段，追加/更新/删除数据」，若使用了「数据比对」算子，则自动读取 fdl_comparison_type 作为标识字段，且自动读取标识字段的值作为标识值。
4）「写入方式」环节其实依赖映射过程中设定的主键、字段映射关系，例如设定主键冲突策略其实需要先判断目标表是否有主键，所以目前「字段映射\设置主键」和「定义写入方式」不符合用户的实际使用流程。
本版本数据同步节点、DB表输出算子、简道云输出算子中，调整「写入方式」和「字段映射」的顺序，更符合用户实际使用流程。如下图所示：
定时任务新增可读取/写入数据库
Ø 详情请参见：FineDataLink支持的数据源
1）定时任务支持读取和写入 TiDB 数据库。
2）定时任务支持读取和写入 Amazon Redshift。
数据管道
管道任务支持快速选表
当管道任务源库表量较大，需要从大量表中选取部分已知表名的表作为同步表，FineDataLink 支持通过粘贴表名的方式，快速选表，如下图所示：
Ø 详情请参见：配置数据管道任务
管道脏数据查看和处理&日志整体优化
Ø 详情请参见：单个管道任务管理
优化前：管道任务脏数据仅支持重跑，不支持忽略、重试，且不能查看任务中单个数据表的脏数据情况，也不能导出脏数据。
优化后：管道任务支持用户快速查看脏数据、快速定位单条脏数据产生的原因，如下图所示：
管道任务支持用户对脏数据进行灵活处理，除了对脏数据进行重新同步，还可以进行忽略和重试（在任务运行、暂停、中止时均可进行），如下图所示：
支持查看实时数据与近期统计数据，提供了简易图表来提升数据趋势的可读性，如下图所示：
优化管道控制-结果通知
优化前：
1）管道控制-结果通知中通知渠道过少，不能满足用户企微/钉钉/飞书等聊天客户端的通知，导致客户对失败的任务不能及时通知到和修改。
2）一些管道任务需要通知很多人，选择邮件/短信方式通知时，需要一个个输入邮箱地址/手机号，非常麻烦。
优化后：
Ø 详情请参见：配置管道任务-管道控制
1）新增钉钉群机器人、飞书群机器人、企业微信群机器人通知渠道。
2）短信/邮件/平台渠道：基于平台体系配置通知对象，通知对象可选择平台用户、部门、角色，三者取并集。
管道任务新增可读取/写入数据库
Ø 详情请参见：FineDataLink支持的数据源
1）管道任务支持 Clickhouse 作为写入端。
2）管道任务支持写入至 TiDB 数据库。
3）管道任务支持写入至 Amazon Redshift。
4）管道任务支持写入至 SeaboxMPP 数据库。
数据服务
数据服务通过应用管理 API
1）开发与管理「数据发布 API」时，需要对多个 API 的调用方进行分组管控，如分组授权、授权限时、分组限频、分组监控等。
FineDataLink 支持将创建好的 API 绑定至对应的应用中，相同应用中的 API 拥有相同的鉴权和访问根路径，也就是通过应用来对发布的 API 进行批量的管理。
应用与API是多对多的对应关系，同一个 API 可以存在于多个应用中。同一个应用中也可以有多个 API。
Ø 详情请参见：配置发布环境
2）超级管理员可以给予某个对象数据服务「应用」的授权权限，使该对象将成为一个次级管理员。
Ø 详情请参见：数据服务应用管理授权权限
3）次级管理员可以给下级成员分配「应用」的管理权限，使他下级的成员可以查看和编辑应用。
Ø 详情请参见：数据服务应用管理权限
4）重新调整数据服务在未注册和注册到期时的功能限制。
Ø 详情请参见：未注册和注册到期的影响
5）调整数据服务注册功能点说明。
Ø 详情请参见：功能点介绍
优化数据服务查询功能
优化前：
4.0.26 正式发布的数据服务功能，提供了基于参数必填、带有防注入处理的静态 SQL 查询功能，以支撑 API 的开发。在用户实际使用过程中，遇到一些场景我们无法满足：
1）例如年级的成绩表中包含班级、学生姓名、学生年龄、学生学号、各学科成绩等字段，用户在做接口是对每一个字段或者大部分字段做了对应的参数，对于这些参数，用户无法多选。
2）用户想要查询取出发布的 API 中为 NULL 的数据，同时也能正常查询其他数据，优化前不支持这一需求。
3）用户想要设置在未传指定参数时，省略此参数对应的查询条件。即实现想查询全部数据时，不传对应参数。要查询其他非空值数据时，正常传参，优化前不支持这一需求。
4）数据发布 API 的 POST 请求方式，不支持 x-www-form-urlencoded 格式。
优化后：
1）数据发布 API 支持设置 SQL 防注入，以便使用 IN 语法实现多值查询。
Ø 详情请参见：发布API-多值查询
2）数据发布 API 参数支持传入 NULL 值。
Ø 详情请参见：发布API-查询NULL值数据
3）数据发布 API 参数支持配置必填 / 非必填。
Ø 详情请参见：发布API-忽略参数查询条件
数据服务支持GET请求方式和更多Body格式
1）用户想通过简道云前端点击事件调用数据服务发布的 API ，但简道云的参数传递只支持默认的单层传递，不满足数据服务请求 API 时的嵌套参数格式，所以无法实现。
本版本数据发布 API 支持 GET 请求方式，可直接拼参数实现上述场景。
Ø 详情请参见：使用数据服务发布的API（GET 请求）
2）数据发布 API 的 POST 请求方式，额外支持 x-www-form-urlencoded 格式。
Ø 详情请参见：使用数据服务发布的API（POST x-www-form-urlencoded请求）
部署相关
独立部署工程支持集群
注：仅数据开发功能支持集群，若配置了集群，则独立部署工程中数据管道、数据服务功能无法继续使用，后续迭代中将支持，敬请期待。
用户在使用 FineDataLink 时，希望能实现高可用和高并发，提升产品使用稳定性。
FineDataLink 独立部署工程支持集群
高并发：定时任务的最小运行单元是步骤流内的节点，任务执行时会生成一个任务实例，任务实例内包含多个待运行节点。任务实例内的待运行节点均衡地分发到各集群节点执行。
高可用：集群节点被置为不可用时，原本运行在该集群节点上的节点转移至其他正常集群节点。
Ø 详情请参见：集群部署概述
文档上新
数据开发
数据比对后更新目标表时间列
应用场景：
用户希望来源表的增删改同步到目标表的同时，目标表的 update 字段能记录数据变化时间。
参考文档：
Ø 详情请参见：数据比对后更新目标表时间列
解析 XML 文件数据
应用场景：
用户希望将离线 XML 文件内的数据解析成二维表并落库。
参考文档：
Ø 详情请参见：解析XML文件数据
提取简道云表单多值字段并显示为一行
应用场景：
公司人员信息保存在简道云表单中，在公司内部，有些人可能会同时担任多个职位，如王小明既是总经理又在财务部工作。在王小明出差时，为了方便报销，需要将他所在的多个部门展示出来，方便后续各部门的报销费用分摊。
参考文档：
Ø 详情请参见：提取简道云表单多值字段并显示为一行
将经纬度数据转换为中文地址
应用场景：
用户数据库存储了经纬度数据，希望转换成对应的中文地址（国家、省份、城市、区县、街道等），最后将转换后的数据保存到数据库中。
参考文档：
Ø 详情请参见：将经纬度数据转换为中文地址
API相关
API取数-获取当月企微月报打卡数据
应用场景：
公司内部使用企业微信，行政部门想要统计每月员工的打卡数据，将这些数据取出至指定数据库使用。
参考文档：
Ø 详情请参见：API取数-获取当月企微月报打卡数据
API取数-金蝶云星空销售报价单
应用场景：
公司内部使用金蝶云星空进行供应链管理。
希望将 销售报价单的单据查询接口 中的数据取出，以便进行数据分析。
参考文档：
Ø 详情请参见：API取数-金蝶云星空销售报价单
API取数-易流云MD5加密
应用场景：
公司内部使用易流云进行车辆管理。希望从接口获取用户车辆最新位置信息。
Ø 详情请参见：API取数-易流云MD5加密
API取数-慧策接口获取库存全量数据
应用场景：
某企业现在需要将某业务工单数据全部取出以供业务分析使用。
API取数-按页数取数 中可以使用页数和内置参数 loopTimes 进行取数。
但是如果遇到接口中需要使用业务参数，并且由于数据量大需要分页取出，由于每个业务参数都有不同的页码数，因此页码需要遍历，若条件循环中包含页码数参数，则无法将数据取出。
参考文档：
Ø 详情请参见：API取数-慧策接口获取库存全量数据
工程相关
自动清理 FineDataLink 运行记录
应用场景：
随着 FineDataLink 工程使用时间的增长，fine_dp_work_exec_record（记录定时任务的执行情况）表中的数据会不断积累，导致数据量逐渐增多。当数据量过大时，打开「任务运维>定时任务>运行记录」页面可能会变得缓慢，需要耗时 10 秒以上。
希望能定期清理 fine_dp_work_exec_record 表数据
参考文档：
Ø 详情请参见：自动清理FineDataLink运行记录
FR模板展示定时任务信息
应用场景：
公司中有许多成员使用 FineDataLink 开发定时任务，若成员 A 修改了定时任务 1 没有通知成员 B，成员 B 运行定时任务 1 的时候运行报错或数据不对，B 不知道是谁做的修改以及修改原因。成员 B 若是对定时任务 1 再做修改，不知道会对成员 A 造成什么影响。
因此，希望使用看板展示所有定时任务的运行信息，可通过搜索对应的任务名称，查看该任务编辑人员、最近编辑时间。
参考文档：
Ø 详情请参见：FR模板展示FDL定时任务信息
文档活动
所有活动奖励都以 F币形式发放（1F 币=1 元），F币可在 帆软商城 兑换周边京东卡，也可以直接提现哦，积少成多大家积极参与呀~
文档满意度调研（3F币）
为了给您提供更便捷高效的帮助文档，我们诚邀您参与此次问卷调研，参与到帮助中心的建设中来
您的建议和意见将成为我们努力和改进的方向，问卷填写戳这里：FineDataLink文档内容调研
完成后可通过接取 社区任务 获得 3F币 奖励哦~
文档反馈活动
截止到 2023 年 5 月 1 日，FineDataLink 文档已有 18 万+的阅读量和 9000+ 的用户覆盖，帮助许多用户学习和解决问题。然而，我们也认识到文档内容仍需要不断补充和优化，以便更好地满足用户的需求和期望。
我们希望收集大家的建议，共同为创建更加细致、完备、实用的文档下一番努力，让更多人更快更好地了解 FineDataLink 产品，更好地解决问题。
参与方式：
