1. 概述编辑
1.1 版本
FineDataLink 版本 | FineBI6.0 版本 | 功能变动 |
---|---|---|
4.1.8.2-4.1.8.3 | BI6.1 | - |
4.1.9.1-4.1.10.4 | BI6.1.1 | 4.1.10.4 版本 FineDataLink 更新后输出的 BI 数据集的子表也会拉起更新 |
1.2 应用场景
数仓中数据并不是完全结果型数据,还需进一步处理才能形成用于分析的基础数据,用户想要借助 FineDataLink 把某些数据做一些处理然后直接写入 FineBI 「公共数据」里。
1.3 功能简介
FineDataLink 可以使用数据转换中的「数据集输出」算子或者「数据同步」直接将数据写入到远程「公共数据」指定目录下。
1.4 前提条件
在使用前需要修改 FineDB 配置,具体修改方式请联系帆软技术支持。技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」。
确认注册了「数据转换-基础算子包」功能点。
如果 FineBI 或 FineDataLink 设置了防火墙,需要开放 50051 端口。
在数据连接中使用「公共数据」数据连接,创建 FineDataLink 与 FineBI 之间的联系,如下图所示:
详情参见:配置远程公共数据源
2. 功能说明编辑
配置内容 | 配置项 | 说明 | |
---|---|---|---|
数据去向与映射 | 目标表 | 已存在表 自动建表 | 自动建表时,需要选择表存储路 |
字段映射 | 映射方式:
| ||
映射操作:
| |||
映射配置:
| |||
映射配置:
| |||
写入方式 | 写入方式 |
不支持设置逻辑主键
| 不支持:
|
3. 注意事项编辑
输出数据表调度和更新进度,只能在 FineDataLink 里使用定时任务调度和手动执行任务控制。4.1.10.4 版本FineDataLink 更新后输出的 BI 数据集的子表也会拉起更新。
表名、字段名大小写的 通用配置 暂不支持。
不支持配置脏数据容忍,一行数据失败,整个写入失败回滚。
不支持 BI6.1 集群环境。
4. 操作步骤编辑
例如用户自己有数据仓库,但是数据不是结果型的数据,期望能够进一步处理后形成公共数据,用于 BI 分析。
4.1 进行数据处理
进入数据开发后创建定时任务,如下图所示:
然后使用「数据转换」对数据库数据取数后,进行数据处理,例如这里进行数据表的关联和字段设置,如下图所示:
4.2 输出至 BI 公共数据
使用「数据集输出」算子,将处理好的数据输出至 FineBI ,输出时直接选择数据集输出中的「远程公共数据」以及对应的数据连接,然后设置目标表,若选择自动建表,则需要选择输出到公共数据下的表的路径,如下图所示:
设置写入方式,可选择清空写入或者是直接写入,如下图所示:
4.2 效果查看
运行任务后,在 FineBI 中公共数据指定位置下即可看到输出的数据表,然后可以使用公共数据的 ETL 结果表用于分析。