1. 概述
1.1 版本
| FineDataLink 版本 | FineBI6.1 版本 | 功能变动 |
|---|---|---|
| 4.1.8.2-4.1.8.3 | BI6.1 | - |
| 4.1.9.1-4.1.10.3 | 请参见文档：版本适配说明 | 4.1.10.4 版本 FineDataLink 更新后输出的 BI 数据集的子表也会拉起更新 |
| 4.1.14.1 | 提示来源端数据表的 DDL 变化 直接在任务中对目标表进行字段处理，更新目标表结构 | |
| 4.2.2.3 | BI6.1 存算分离多节点架构下，支持写入公共数据 | |
| 4.2.3.2 | 使用该功能前，不需要修改 FineDB 配置 |
1.2 应用场景
数仓中数据并不是完全结果型数据，还需进一步处理才能形成用于分析的基础数据，用户想要借助 FineDataLink 把某些数据做一些处理然后直接写入 FineBI 「公共数据」里。
1.3 功能简介
FineDataLink 可以使用数据转换中的「数据集输出」算子或者「数据同步」直接将数据写入到远程「公共数据」指定目录下。
2. 用户须知
2.1 前提条件
1）4.2.3.2 之前版本，在使用前需要修改 FineDB 配置，具体修改方式请联系帆软技术支持。技术支持联系方式：前往「服务」，选择「在线支持」、电话「400-811-8890」；4.2.3.2 及之后版本，无需做此操作。
2）确认 注册 了「数据转换-基础算子包」功能点。
3）如果 FineBI 或 FineDataLink 设置了防火墙，需要开放 50051 端口，开放端口步骤请参见：Linux防火墙使用及配置
4）FDL 与 FineBI 的版本需要适配，详情请参见：版本适配说明
5）在数据连接中使用「公共数据」数据连接，创建 FineDataLink 与 FineBI 之间的联系，如下图所示：
详情参见：配置远程公共数据源
6）4.2.2.3 之前版本，BI6.1 存算分离多节点架构下，不支持写入公共数据。
4.2.2.3 及之后版本，BI6.1 存算分离多节点架构下，支持写入公共数据，但要求：
| 工程 | 说明 |
|---|---|
| FDL 工程非运维平台部署 | web 节点必须为端口开放防火墙（rpc 端口默认是 50051），如果是有网关/nginx的情况下，需要配置 50051 端口的转发（nginx 中需要配置 HTTP2 协议），确保该端口可被 FDL 所在服务器访问；出于安全考虑，建议仅在内网环境下进行此操作 nginx文件配置示例：nginx.zip |
| FDL 工程为运维平台部署 | 对外提供的端口默认是 50052，运维平台侧会自动定义且 FDL 侧已做适配，用户无需做任何操作 |
2.2 注意事项
1）输出数据表调度和更新进度，只能在 FineDataLink 里使用定时任务调度和手动执行任务控制。4.1.10.4 版本FineDataLink 更新后输出的 BI 数据集的子表也会拉起更新。
2）表名、字段名大小写的 通用配置 暂不支持。
3）不支持配置脏数据容忍，一行数据失败，整个写入失败回滚。
3. 功能说明
| 配置内容 | 配置项 | 说明 | |
|---|---|---|---|
| 数据去向与映射 | 目标表 | 已存在表 自动建表 | 自动建表时，需要选择表存储路 |
| 字段映射 | 映射方式：
| ||
映射操作：
| |||
映射配置：
| |||
映射配置：
| |||
| 写入方式 | 写入方式 |
不支持设置逻辑主键
| 不支持：
|
| 更新目标表 | | 来源表数据变化后支持更新目标表： 新增、修改、删除字段 | |
| 更新映射 | | 来源表数据变化后支持更新映射字段 |
4. 操作步骤
例如用户自己有数据仓库，但是数据不是结果型的数据，期望能够进一步处理后形成公共数据，用于 BI 分析。
4.1 进行数据处理
进入数据开发后创建定时任务，如下图所示：
然后使用「数据转换」对数据库数据取数后，进行数据处理，例如这里进行数据表的关联和字段设置，如下图所示：
4.2 输出至 BI 公共数据
使用「数据集输出」算子，将处理好的数据输出至 FineBI ，输出时直接选择数据集输出中的「远程公共数据」以及对应的数据连接，然后设置目标表，若选择自动建表，则需要选择输出到公共数据下的表的路径，如下图所示：
设置写入方式，可选择清空写入或者是直接写入，如下图所示：
4.2 效果查看
运行任务后，在 FineBI 中公共数据指定位置下即可看到输出的数据表，然后可以使用公共数据的 ETL 结果表用于分析。
上一篇：数据上云且触发智能助手
