历史版本15 :数据集输出 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本FineBI6.0 版本功能变动
4.1.8.2-4.1.8.3BI6.1-
4.1.9.1-4.1.10.3BI6.1.1

4.1.10.4 版本 FineDataLink 更新后输出的 BI 数据集的子表也会拉起更新

4.1.10.4-4.1.11.1BI6.1.2版本适配修改

1.2 应用场景

数仓中数据并不是完全结果型数据,还需进一步处理才能形成用于分析的基础数据,用户想要借助 FineDataLink 把某些数据做一些处理然后直接写入 FineBI 「公共数据」里。

1.3 功能简介

FineDataLink 可以使用数据转换中的「数据集输出」算子或者「数据同步」直接将数据写入到远程「公共数据」指定目录下。

1.4 前提条件

  • 在使用前需要修改 FineDB 配置,具体修改方式请联系帆软技术支持。技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」。

  • 确认注册了「数据转换-基础算子包」功能点。

  • 如果 FineBI 或 FineDataLink 设置了防火墙,需要开放 50051 端口。

  • 在数据连接中使用「公共数据」数据连接,创建 FineDataLink 与 FineBI 之间的联系,如下图所示:

详情参见:配置远程公共数据源

2. 功能说明编辑


配置内容配置项说明
数据去向与映射目标表

已存在表

自动建表

自动建表时,需要选择表存储路

字段映射

映射方式:

  • 同名映射

  • 同行映射


映射操作:

  • 不支持获取建表语句

  • 支持重新获取


映射配置:

  • 不支持获取建表语句

  • 支持重新获取


映射配置:

  • 不支持配置非空、主键

  • 自动匹配的字段类型,并支持调整。不支持设置字段长度。

  • 字段类型:文本、数值、日期


写入方式写入方式
  • 直接将数据写入目标表

不支持设置逻辑主键

  • 清空目标表,再写入数据

不支持:
  • 直接将数据写入目标表 - 主键冲突策略

  • 基于标识字段,追加/更新/删除数据

3. 注意事项编辑

输出数据表调度和更新进度,只能在 FineDataLink 里使用定时任务调度和手动执行任务控制。4.1.10.4 版本FineDataLink 更新后输出的 BI 数据集的子表也会拉起更新。

表名、字段名大小写的 通用配置 暂不支持。

不支持配置脏数据容忍,一行数据失败,整个写入失败回滚。

不支持 BI6.1 集群环境。

4. 操作步骤编辑

例如用户自己有数据仓库,但是数据不是结果型的数据,期望能够进一步处理后形成公共数据,用于 BI 分析。

4.1 进行数据处理

进入数据开发后创建定时任务,如下图所示:

然后使用「数据转换」对数据库数据取数后,进行数据处理,例如这里进行数据表的关联和字段设置,如下图所示:

关联和字段设置方式详情参见:数据关联字段设置

4.2 输出至 BI 公共数据

使用「数据集输出」算子,将处理好的数据输出至 FineBI ,输出时直接选择数据集输出中的「远程公共数据」以及对应的数据连接,然后设置目标表,若选择自动建表,则需要选择输出到公共数据下的表的路径,如下图所示:

设置写入方式,可选择清空写入或者是直接写入,如下图所示:

4.2 效果查看

运行任务后,在 FineBI 中公共数据指定位置下即可看到输出的数据表,然后可以使用公共数据的 ETL 结果表用于分析。