历史版本12 :集成部署下定时任务结果输出至FineBI 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
4.0.4.2「数据同步」节点和「DB表输出」算子的「数据去向」界面新增「在FineBI公共数据中自动创建ETL结果表」按钮,勾选配置后,定时任务输出时可快速同步数据到 FineBI
4.0.27

独立部署时也支持将 FineDataLink 处理好的数据输出至 FineBI

交互界面优化

1.2 应用场景

  • 用户希望定时任务处理好的数据可以快速给 FineBI 使用。

  • 用户希望数仓/中间表数据更新后,FineBI 中抽取性质的基础表也更新,只需要给定时任务配置一个调度,然后 FineBI 中的基础表数据就可以及时更新。

1.3 功能简介

  • 定时任务输出时可快速同步数据到 FineBI。

  • 输出到 FineBI 的结果表,表属性若为抽取数据,表数据将跟随定时任务更新。

2. 功能介绍编辑

2.1 界面介绍

集成部署:

在定时任务的输出端勾选「在公共数据中自动创建ETL结果表」,并完成相应的输出配置,任务运行时将自动在FineBI 中创建一张 ETL 结果表。如下图所示:

独立部署:

独立部署将数据开发处理好的数据写入 FineBI 前,需要对两个工程进行配置,详情参见:前提条件

配置完成后,在 FineDataLink 定时任务的输出端勾选「在公共数据中自动创建ETL结果表」,并完成相应的输出配置,任务运行时将自动在FineBI 中创建一张 ETL 结果表。如下图所示:

设置项介绍如下表所示:

设置项/功能说明
输出至公共数据集

默认不勾选,勾选后,在 FineBI 公共数据中自动创建 ETL 结果表

按钮位置:「数据同步」节点配置数据去向界面、「数据转换」节点的 DB 表输出算子,配置数据去向界面

表属性

抽取数据:ETL 结果表将跟随定时任务更新

直连数据:ETL 结果表本质为直连数据库表,实时读取表数据

如果要创建的 ETL 结果表在 FineBI 中已有 DB 表(直连\抽取),那么需在界面禁止用户再创建同属性的 ETL 结果表

表名称

直接显示表名,不可编辑

1)表名称显示逻辑

  • 输出表在 FineBI 中不存在 ETL 结果表时需要新建,表名默认为数据连接名_数据库表名

  • 输出表在 FineBI 中已经存在对应的 ETL 结果表,那么直接获取对应的表名和路径

2)表重命逻辑

建表时若遇到同名表,遇同名时加1,如果加1依然同名则加12,如果依然同名则加123,以此类推

表存储路径

1)下面两种情况下表路径灰化,不能选择:

  • 首次运行后,输出表未变化时打开配置界面

  • 进行配置时,已存在输出表对应的 ETL 结果表

2)若用户手动移动 ETL 结果表到新的文件夹,则打开定时任务时,展示最新的路径

2.2 输出到 FineBI 的结果表说明

1)编辑表

同 DB 表类型,可基于抽取过来的原始表做进一步编辑处理,支持的操作:选字段、字段类型转换、字段设置

2)移动表

可以将 ETL 结果表移动到其他文件夹下,移动表不会更改表类型及其与定时任务的连线

3)血缘关系

  • 在 ETL 结果表中,可以快速打开定时任务并定位至对应节点

  • 支持快速跳转到数据平台中,打开对应的定时任务

4)关联视图

可以像其他表类型一样,配置关联视图

5)更新逻辑

1)ETL 结果表不可配置单表更新,能够被定时任务触发更新,能够跟随文件夹、跟随全局更新

2)ETL 结果表更新后,使用 ETL 结果表做的自助数据集等子孙表可以关联更新,此逻辑和 FineBI 的父表拉起子表的更新逻辑保持一致

3)定时任务的输出表中若存在字段变更,ETL 结果表不能随之更新字段,只能删掉 ETL 数据集再触发 FDL 的同步任务。

6)权限逻辑

与输出到 FineBI 结果表相关的权限有两个:

  • 权限1:定时任务的管理权限(包含了查看和编辑权限)

  • 权限2:FineBI 的权限,文件夹的管理权限和表的使用权限

场景在定时任务中新建 FineBI 输出配置编辑 FineBI 输出配置(配置已存在,被其他有权限的人配置的)
具备权限1,不具备权限2无法操作

可在定时任务中:查看配置,可删除配置

不可在定时任务中调整配置,调整配置时会告知其无权限

具备权限2,不具备权限1无法操作(因为不能新建定时任务)

不能查看定时任务,因此也不能查看和编辑配置

可以在 FineBI 中正常使用 ETL 结果表

权限1和权限2都不具备无法操作无法操作
权限1和权限2都具备可操作可操作

7)其他说明

如果数据库中某张表已经被添加至 ETL 结果表,则不能再添加为 DB 表。

2.3 注意事项

定时任务做了字段变更的操作,输出到 BI 的 ETL 结果表中

3. 示例编辑

3.1 数据连接准备

在集成工程中,配置来源数据库和目标数据库,分别为:数据连接、数据连接1。如下图所示:

3.2 创建任务

创建一个定时任务,将一个数据同步节点拖到设计界面。如下图所示:

3.3 配置数据同步节点

3.3.1 配置数据来源

点击数据同步节点,配置数据来源。如下图所示:

3.3.2 配置数据去向

如下图所示:

注:4.0.18及之后版本,写入方式可选择「追加写入数据」

3.4 运行任务

点击右上角「保存并运行」按钮,日志有执行成功信息表示任务成功运行。如下图所示:

可以看到 数据连接1 数据库中新增 data 表。如下图所示:

点击「公共数据」,在部门数据中可以看到输出的表。如下图所示: