反馈已提交

网络繁忙

独立部署下定时任务结果输出至FineBI

  • 文档创建者:Roxy
  • 历史版本:10
  • 最近更新:Roxy 于 2024-09-11
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    4.0.27

    独立部署时支持将 FineDataLink 处理好的数据输出至 FineBI

    交互界面优化

    4.1.3
    • 无需进行文件配置

    • 通过数据连接,支持读取多个 FineBI 工程的数据,同时通过使用指定用户账号密码限制权限,使用更安全

    注:此功能 4.0.27、4.0.28、4.0.29、4.1.3-4.1.8.1 版本支持。若 4.1.8.2 及以上版本需要使用输出至 BI 公共数据功能,请参见:数据集输出

    1.2 应用场景

    • 用户希望定时任务处理好的数据可以快速给 FineBI 使用。

    • 用户希望数仓/中间表数据更新后,FineBI 中抽取性质的基础表也更新,只需要给定时任务配置一个调度,然后 FineBI 中的基础表数据就可以及时更新。

    1.3 功能简介

    • 独立部署的 FineDataLink 定时任务输出时可快速同步数据到 FineBI。

    • 输出到 FineBI 的结果表,表属性若为抽取数据,表数据将跟随定时任务更新。

    2. 前提条件

    • 独立部署的 FineDataLink 和 FineBI 需要进行系统和环境配置,配置步骤详情参见:独立部署配置说明

    • 将 FineDataLink 定时任务数据输出至数据库并写入 FineBI 公共数据时需要确保 FineDataLink 中的数据连接在 FineBI 中也存在,同时需要保证数据连接名称相同,指定对的数据库相同,如下图所示:注:需要保证两个数据连接完全一致,包括连接选择的数据库、模式等。

    3. 功能介绍

    3.1 界面介绍

    在定时任务的输出端勾选「在公共数据中自动创建ETL结果表」,并完成相应的输出配置,任务运行时将自动在FineBI 中创建一张 ETL 结果表。如下图所示:

    设置项介绍如下表所示:

    设置项/功能说明
    输出至公共数据集

    默认不勾选,勾选后,在 FineBI 公共数据中自动创建 ETL 结果表

    按钮位置:「数据同步」节点配置数据去向界面、「数据转换」节点的 DB 表输出算子,配置数据去向界面

    表属性

    抽取数据:ETL 结果表将跟随定时任务更新

    直连数据:ETL 结果表本质为直连数据库表,实时读取表数据

    FineBI 的公共数据中已经选择表 A 作为 DB 表(直连\抽取),「DB表输出」算子的目标表的表名称不能与表 A 相同

    表名称

    直接显示表名,不可编辑

    1)表名称显示逻辑

    • 输出表在 FineBI 中不存在 ETL 结果表时需要新建,表名默认为数据连接名_数据库表名

    • 输出表在 FineBI 中已经存在对应的 ETL 结果表,那么直接获取对应的表名和路径

    2)表重命逻辑

    建表时若遇到同名表,遇同名时加1,如果加1依然同名则加12,如果依然同名则加123,以此类推

    表存储路径

    1)下面两种情况下表路径灰化,不能选择:

    • 首次运行后,输出表未变化时打开配置界面

    • 进行配置时,已存在输出表对应的 ETL 结果表

    2)若用户手动移动 ETL 结果表到新的文件夹,则打开定时任务时,展示最新的路径

    3.2 输出到 FineBI 后的结果表说明

    在FineBI 中使用功能说明
    编辑表同 DB 表类型,可基于抽取过来的原始表做进一步编辑处理,支持的操作:选字段、字段类型转换、字段设置
    移动表可以将 ETL 结果表移动到其他文件夹下,移动表不会更改表类型及其与定时任务的连线
    血缘关系可以将 ETL 结果表移动到其他文件夹下,移动表不会更改表类型及其与定时任务的连线
    关联视图可以像其他表类型一样,配置关联视图
    更新逻辑

    1)ETL 结果表不可配置单表更新,能够被定时任务触发更新,能够跟随文件夹、跟随全局更新

    2)ETL 结果表更新后,使用 ETL 结果表做的自助数据集等子孙表可以关联更新,此逻辑和 FineBI 的父表拉起子表的更新逻辑保持一致

    3)定时任务的输出表中若存在字段变更,ETL 结果表不能随之更新字段,只能删掉 ETL 数据集再触发 FDL 的同步任务。

    其他说明「DB表输出」算子中选择表 A 作为目标表(ETL结果表),在 FineBI 的公共数据中,不能再选择表 A 作为 DB 表。

    权限逻辑

    与输出到 FineBI 结果表相关的权限有两个:

    • 权限1:定时任务的管理权限(包含了查看和编辑权限)

    • 权限2:FineBI 的权限,文件夹的管理权限和表的使用权限

    场景在定时任务中新建 FineBI 输出配置编辑 FineBI 输出配置(配置已存在,被其他有权限的人配置的)
    具备权限1,不具备权限2无法操作

    可在定时任务中:查看配置,可删除配置

    不可在定时任务中调整配置,调整配置时会告知其无权限

    具备权限2,不具备权限1无法操作(因为不能新建定时任务)

    不能查看定时任务,因此也不能查看和编辑配置

    可以在 FineBI 中正常使用 ETL 结果表

    权限1和权限2都不具备无法操作无法操作
    权限1和权限2都具备可操作可操作

    4. 示例

    用户想要将在 FineDataLink 定时任务中的数据落库同时将其输出至 FineBI「公共数据」中,供后续其他系统使用。

    Anna 用户在 FineBI 工程和 FineDataLink 工程中均存在,且拥有公共数据对应目录操作权限,且两个工程中均有相同的数据连接。

    4.1 创建任务

    在 FineDataLink 独立部署工程中创建一个定时任务,将一个数据同步节点拖到设计界面。如下图所示:

    4.2 配置数据同步节点

    4.2.1 配置数据来源

    点击数据同步节点,配置数据来源。如下图所示:

    4.2.2 配置数据去向

    将数据输出至指定数据连接,同时勾选「在公共数据中自动创建 ETL 结果表」,设置表属性和表存储路径,如下图所示:

    4.3 运行任务

    点击右上角「保存并运行」按钮,日志有执行成功信息表示任务成功运行。如下图所示:

    可以看到 数据连接 数据库中新增 data1 表。如下图所示:

    Anna 用户登录 FineBI 工程,点击「公共数据」,在部门数据中可以看到输出的表。如下图所示:

    附件列表


    主题: 数据开发-定时任务
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持