文档月刊宣传-8月

  • 文档创建者:Wendy123456
  • 历史版本:12
  • 最近更新:Wendy123456 于 2023-09-06
  • 月团新碾瀹花瓷,饮罢呼儿课楚词。风定小轩无落叶,青虫相对吐秋丝。

    让我们来看看 2023 年 8 月,FineDataLink 给大家的惊喜吧~

    产品新功能

    数据服务可通过应用管理 API

    基于多客户(客户的客户)、多部门、多分子公司客户的数据发布场景,FDL 可为每个客户、部门、分子公司建立应用,针对不同的应用,可进行独立的访问控制、认证管理与访问监控。

    功能亮点:

    • 一个应用可绑定多个 API ,一个 API 可被多个应用绑定。

    • 可针对不同应用配置不同的认证方式。

    • 可针对绑定关系实现限时授权、频率限制等功能。

    Ø 详情请参见:配置发布环境

    49.png

    追加/更新/删除数据场景功能优化

    目前用户要想实现数据的增删改操作,流程如下图所示:

    1692867940224092.png

    流程较为繁琐,在用户没有目标表、已有标识字段等场景下,该流程增加使用成本。

    4.0.28 版本优化数据的增删改实现方式,降低使用成本;使产品逻辑更加符合实际业务逻辑,主要做以下改动:

    Ø 详情请参见:数据同步节点数据比对功能说明

    • 数据同步节点新增「基于标识字段,追加/更新/删除数据」的写入方式,帮助用户灵活实现数据的增删改。

    • 调整「写入方式」和「字段映射」的顺序,更加符合实际业务逻辑。

    54.png

    快速查看并处理脏数据

    支持快速查看脏数据,快速定位单条脏数据产生原因并对脏数据进行灵活处理。

    Ø 详情请参见:单个管道任务管理

    功能亮点:

    • 对脏数据进行分表和分类,可统一处理某张表同原因脏数据。

    • 展示实时数据与近期统计数据,使用图表提升数据趋势可读性。

    截图.png

    支持批量配置和管理调度

    支持批量设置调度和结果通知。

    Ø 详情请参见:定时任务运维

    功能亮点:

    • 通过任务和调度计划视角分别展示范围内的调度计划和运行记录。

    • 操作简单,无需多次设置。

    52.png

    BI 公共数据支持落库和发布为 API

    BI 公共数据可被其他系统使用或输出到数据库。

    • 独立部署/集成部署中支持读取 FineBI 公共数据。

    • 数据服务支持读取「公共数据」,发布为API。

    • 独立部署/集成部署支持将定时任务中输出的数据表输出至 FineBI 公共数据中。

    Ø 详情请参见:BI 公共数据支持落库和发布为 API

    53.png

    支持调用 Python 脚本

    定时任务支持调用 Python 脚本处理数据。

    Ø 详情请参见:Python脚本

    51.png

    新增支持的数据源

    Amazon Redshift:

    • 定时任务支持读取和写入 Amazon Redshift

    • 管道任务支持写入至Amazon Redshift

    TiDB:

    • 定时任务支持读取和写入 TiDB 数据库

    • 管道任务支持写入至 TiDB 数据库

    ClickHouse:

    管道任务支持写入至 ClickHouse

    SeaboxMPP:

    管道任务支持写入至 SeaboxMPP 数据

    更多功能:

    • 数据开发模块适配集群,满足高可用、高并发。

    • 管道任务中,若已知表名,可通过粘贴表名快速选表。

    • 卡片、文件夹形式展示管道任务,适配不同设备以及满足不同使用偏好。

    • 强化消息通知节点并新增飞书渠道。

    • 数据发布 API 支持 GET 请求方式和更多 Body 格式。

    • 管道任务与定时任务的结果通知,功能优化并新增钉钉/企微/飞书通知渠道。



    注:如果内容过多,这一节可直接放上面的俩链接就行,内容不就要了。

    文档新方案

    使用高德接口获取城市天气数据

    应用场景:

    FR 日报表中需要填写对应城市的天气信息,包括日期、天气、最高温度、最低温度等,目前只能通过城市名人工查询后获得这些信息。

    FineDataLink 可简化上述操作流程:根据数据库表存储的城市数据,调用高德 API 接口,获取对应天气数据并存储到数据库,FR 报表直接取数即可。

    3.png

    参考文档:

    Ø 详情请参见:使用高德接口获取城市天气数据

    API取数-慧策接口获取库存全量数据

    目前「循环容器」节点不支持嵌套循环,文档提供了替代方案。

    应用场景:

    某企业现在需要将某业务工单数据全部取出以供业务分析使用。

    API取数-按页数取数 中可以使用页数和内置参数 loopTimes 进行取数。

    但是如果遇到接口中需要使用业务参数,并且由于数据量大需要分页取出,由于每个业务参数都有不同的页码数,因此页码需要遍历,若条件循环中包含页码数参数,则无法将数据取出。

    参考文档:

    Ø 详情请参见:API取数-慧策接口获取库存全量数据

    FR模板展示定时任务信息

    应用场景:

    公司中有许多成员使用 FineDataLink 开发定时任务,若成员 A 修改了定时任务 1 没有通知成员 B,成员 B 运行定时任务 1 的时候运行报错或数据不对,B 不知道是谁做的修改以及修改原因。成员 B 若是对定时任务 1 再做修改,不知道会对成员 A 造成什么影响。

    因此,希望使用看板展示所有定时任务的运行信息,可通过搜索对应的任务名称,查看该任务编辑人员、最近编辑时间。

    1692875276951868.png

    参考文档:

    Ø 详情请参见:FR模板展示FDL定时任务信息

    更多方案请参见:最佳实践合集

    附件列表


    主题: 数据开发-定时任务
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!