1. 概述
1.1 版本
FineDataLink 版本 | FineBI6.1 版本 | 功能变动 |
---|---|---|
4.1.8.2-4.1.8.3 | BI6.1 | - |
4.1.9.1-4.1.10.3 | BI6.1.1 | 4.1.10.4 版本 FineDataLink 更新后输出的 BI 数据集的子表也会拉起更新 |
4.1.14.1 | BI6.1.4 | 提示来源端数据表的 DDL 变化 直接在任务中对目标表进行字段处理,更新目标表结构 |
后续版本适配更新,请参见文档:版本适配说明 |
1.2 应用场景
数仓中数据并不是完全结果型数据,还需进一步处理才能形成用于分析的基础数据,用户想要借助 FineDataLink 把某些数据做一些处理然后直接写入 FineBI 「公共数据」里。
1.3 功能简介
FineDataLink 可以使用数据转换中的「数据集输出」算子或者「数据同步」直接将数据写入到远程「公共数据」指定目录下。
1.4 前提条件
在使用前需要修改 FineDB 配置,具体修改方式请联系帆软技术支持。技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」。
确认注册了「数据转换-基础算子包」功能点。
如果 FineBI 或 FineDataLink 设置了防火墙,需要开放 50051 端口,开放端口步骤请参见:Linux防火墙使用及配置
FDL 与 FineBI 的版本需要适配,详情请参见:版本适配说明
在数据连接中使用「公共数据」数据连接,创建 FineDataLink 与 FineBI 之间的联系,如下图所示:
详情参见:配置远程公共数据源
2. 功能说明
配置内容 | 配置项 | 说明 | |
---|---|---|---|
数据去向与映射 | 目标表 | 已存在表 自动建表 | 自动建表时,需要选择表存储路 |
字段映射 | 映射方式:
| ||
映射操作:
| |||
映射配置:
| |||
映射配置:
| |||
写入方式 | 写入方式 |
不支持设置逻辑主键
| 不支持:
|
更新目标表 | 来源表数据变化后支持更新目标表: 新增、修改、删除字段 | ||
更新映射 | 来源表数据变化后支持更新映射字段 |
3. 注意事项
输出数据表调度和更新进度,只能在 FineDataLink 里使用定时任务调度和手动执行任务控制。4.1.10.4 版本FineDataLink 更新后输出的 BI 数据集的子表也会拉起更新。
表名、字段名大小写的 通用配置 暂不支持。
不支持配置脏数据容忍,一行数据失败,整个写入失败回滚。
BI6.1 存算分离多节点架构下,不支持写入公共数据。
4. 操作步骤
例如用户自己有数据仓库,但是数据不是结果型的数据,期望能够进一步处理后形成公共数据,用于 BI 分析。
4.1 进行数据处理
进入数据开发后创建定时任务,如下图所示:
然后使用「数据转换」对数据库数据取数后,进行数据处理,例如这里进行数据表的关联和字段设置,如下图所示:
4.2 输出至 BI 公共数据
使用「数据集输出」算子,将处理好的数据输出至 FineBI ,输出时直接选择数据集输出中的「远程公共数据」以及对应的数据连接,然后设置目标表,若选择自动建表,则需要选择输出到公共数据下的表的路径,如下图所示:
设置写入方式,可选择清空写入或者是直接写入,如下图所示:
4.2 效果查看
运行任务后,在 FineBI 中公共数据指定位置下即可看到输出的数据表,然后可以使用公共数据的 ETL 结果表用于分析。