月团新碾瀹花瓷,饮罢呼儿课楚词。风定小轩无落叶,青虫相对吐秋丝。
让我们来看看 2023 年 8 月,FineDataLink 给大家的惊喜吧~
产品新功能
数据服务可通过应用管理 API
基于多客户(客户的客户)、多部门、多分子公司客户的数据发布场景,FDL 可为每个客户、部门、分子公司建立应用,针对不同的应用,可进行独立的访问控制、认证管理与访问监控。
功能亮点:
一个应用可绑定多个 API ,一个 API 可被多个应用绑定。
可针对不同应用配置不同的认证方式。
可针对绑定关系实现限时授权、频率限制等功能。
Ø 详情请参见:配置发布环境
追加/更新/删除数据场景功能优化
目前用户要想实现数据的增删改操作,流程如下图所示:
流程较为繁琐,在用户没有目标表、已有标识字段等场景下,该流程增加使用成本。
4.0.28 版本优化数据的增删改实现方式,降低使用成本;使产品逻辑更加符合实际业务逻辑,主要做以下改动:
数据同步节点新增「基于标识字段,追加/更新/删除数据」的写入方式,帮助用户灵活实现数据的增删改。
调整「写入方式」和「字段映射」的顺序,更加符合实际业务逻辑。
快速查看并处理脏数据
支持快速查看脏数据,快速定位单条脏数据产生原因并对脏数据进行灵活处理。
Ø 详情请参见:单个管道任务管理
功能亮点:
对脏数据进行分表和分类,可统一处理某张表同原因脏数据。
展示实时数据与近期统计数据,使用图表提升数据趋势可读性。
支持批量配置和管理调度
支持批量设置调度和结果通知。
Ø 详情请参见:定时任务运维
功能亮点:
通过任务和调度计划视角分别展示范围内的调度计划和运行记录。
操作简单,无需多次设置。
BI 公共数据支持落库和发布为 API
BI 公共数据可被其他系统使用或输出到数据库。
独立部署/集成部署中支持读取 FineBI 公共数据。
数据服务支持读取「公共数据」,发布为API。
独立部署/集成部署支持将定时任务中输出的数据表输出至 FineBI 公共数据中。
Ø 详情请参见:BI 公共数据支持落库和发布为 API
支持调用 Python 脚本
定时任务支持调用 Python 脚本处理数据。
Ø 详情请参见:Python脚本
新增支持的数据源
Amazon Redshift:
定时任务支持读取和写入 Amazon Redshift
管道任务支持写入至Amazon Redshift
TiDB:
定时任务支持读取和写入 TiDB 数据库
管道任务支持写入至 TiDB 数据库
ClickHouse:
管道任务支持写入至 ClickHouse
SeaboxMPP:
管道任务支持写入至 SeaboxMPP 数据库
更多功能:
数据开发模块适配集群,满足高可用、高并发。
管道任务中,若已知表名,可通过粘贴表名快速选表。
卡片、文件夹形式展示管道任务,适配不同设备以及满足不同使用偏好。
强化消息通知节点并新增飞书渠道。
数据发布 API 支持 GET 请求方式和更多 Body 格式。
- 管道任务与定时任务的结果通知,功能优化并新增钉钉/企微/飞书通知渠道。
注:如果内容过多,这一节可直接放上面的俩链接就行,内容不就要了。
文档新方案
使用高德接口获取城市天气数据
应用场景:
FR 日报表中需要填写对应城市的天气信息,包括日期、天气、最高温度、最低温度等,目前只能通过城市名人工查询后获得这些信息。
FineDataLink 可简化上述操作流程:根据数据库表存储的城市数据,调用高德 API 接口,获取对应天气数据并存储到数据库,FR 报表直接取数即可。
参考文档:
Ø 详情请参见:使用高德接口获取城市天气数据
API取数-慧策接口获取库存全量数据
目前「循环容器」节点不支持嵌套循环,文档提供了替代方案。
应用场景:
某企业现在需要将某业务工单数据全部取出以供业务分析使用。
API取数-按页数取数 中可以使用页数和内置参数 loopTimes 进行取数。
但是如果遇到接口中需要使用业务参数,并且由于数据量大需要分页取出,由于每个业务参数都有不同的页码数,因此页码需要遍历,若条件循环中包含页码数参数,则无法将数据取出。
参考文档:
Ø 详情请参见:API取数-慧策接口获取库存全量数据
FR模板展示定时任务信息
应用场景:
公司中有许多成员使用 FineDataLink 开发定时任务,若成员 A 修改了定时任务 1 没有通知成员 B,成员 B 运行定时任务 1 的时候运行报错或数据不对,B 不知道是谁做的修改以及修改原因。成员 B 若是对定时任务 1 再做修改,不知道会对成员 A 造成什么影响。
因此,希望使用看板展示所有定时任务的运行信息,可通过搜索对应的任务名称,查看该任务编辑人员、最近编辑时间。
参考文档:
Ø 详情请参见:FR模板展示FDL定时任务信息
更多方案请参见:最佳实践合集