反馈已提交

网络繁忙

数据集输出

  • 文档创建者:Roxy
  • 历史版本:26
  • 最近更新:Roxy 于 2024-11-06
  • 1. 概述

    1.1 版本

    FineDataLink 版本FineBI6.1 版本功能变动
    4.1.8.2-4.1.8.3BI6.1-
    4.1.9.1-4.1.10.3BI6.1.1

    4.1.10.4 版本 FineDataLink 更新后输出的 BI 数据集的子表也会拉起更新

    4.1.14.1BI6.1.4

    提示来源端数据表的 DDL 变化

    直接在任务中对目标表进行字段处理,更新目标表结构

    后续版本适配更新,请参见文档:版本适配说明

    1.2 应用场景

    数仓中数据并不是完全结果型数据,还需进一步处理才能形成用于分析的基础数据,用户想要借助 FineDataLink 把某些数据做一些处理然后直接写入 FineBI 「公共数据」里。

    1.3 功能简介

    FineDataLink 可以使用数据转换中的「数据集输出」算子或者「数据同步」直接将数据写入到远程「公共数据」指定目录下。

    1.4 前提条件

    • 在使用前需要修改 FineDB 配置,具体修改方式请联系帆软技术支持。技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」。

    • 确认注册了「数据转换-基础算子包」功能点。

    • 如果 FineBI 或 FineDataLink 设置了防火墙,需要开放 50051 端口,开放端口步骤请参见:Linux防火墙使用及配置

    • FDL 与 FineBI 的版本需要适配,详情请参见:版本适配说明

    • 在数据连接中使用「公共数据」数据连接,创建 FineDataLink 与 FineBI 之间的联系,如下图所示:

    详情参见:配置远程公共数据源

    2. 功能说明


    配置内容配置项说明
    数据去向与映射目标表

    已存在表

    自动建表

    自动建表时,需要选择表存储路

    字段映射

    映射方式:

    • 同名映射

    • 同行映射


    映射操作:

    • 不支持获取建表语句

    • 支持重新获取


    映射配置:

    • 不支持获取建表语句

    • 支持重新获取


    映射配置:

    • 不支持配置非空、主键

    • 自动匹配的字段类型,并支持调整。不支持设置字段长度。

    • 字段类型:文本、数值、日期


    写入方式写入方式
    • 直接将数据写入目标表

    不支持设置逻辑主键

    • 清空目标表,再写入数据

    不支持:
    • 直接将数据写入目标表 - 主键冲突策略

    • 基于标识字段,追加/更新/删除数据

    更新目标表

    来源表数据变化后支持更新目标表:

    新增、修改、删除字段

    更新映射
    来源表数据变化后支持更新映射字

    3. 注意事项

    输出数据表调度和更新进度,只能在 FineDataLink 里使用定时任务调度和手动执行任务控制。4.1.10.4 版本FineDataLink 更新后输出的 BI 数据集的子表也会拉起更新。

    表名、字段名大小写的 通用配置 暂不支持。

    不支持配置脏数据容忍,一行数据失败,整个写入失败回滚。

    BI6.1 存算分离多节点架构下,不支持写入公共数据。

    4. 操作步骤

    例如用户自己有数据仓库,但是数据不是结果型的数据,期望能够进一步处理后形成公共数据,用于 BI 分析。

    4.1 进行数据处理

    进入数据开发后创建定时任务,如下图所示:

    然后使用「数据转换」对数据库数据取数后,进行数据处理,例如这里进行数据表的关联和字段设置,如下图所示:

    关联和字段设置方式详情参见:数据关联字段设置

    4.2 输出至 BI 公共数据

    使用「数据集输出」算子,将处理好的数据输出至 FineBI ,输出时直接选择数据集输出中的「远程公共数据」以及对应的数据连接,然后设置目标表,若选择自动建表,则需要选择输出到公共数据下的表的路径,如下图所示:

    设置写入方式,可选择清空写入或者是直接写入,如下图所示:

    4.2 效果查看

    运行任务后,在 FineBI 中公共数据指定位置下即可看到输出的数据表,然后可以使用公共数据的 ETL 结果表用于分析。




    附件列表


    主题: 数据开发-定时任务
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持