历史版本5 :数据同步-服务器数据集 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本说明

FineDataLink 版本功能变动
V2.2数据源类型支持服务器数据集,支持从 CSV、Excel 文件中读取数据

1.2 应用场景

进行ETL 作业时,直接从 Excel 文件里面读取数据是比较常见的场景,当前FineDataLink「数据同步节点的数据源类型支持服务器数据集。

用户可以先在管理系统新建 Excel 文件数据集,然后再用「数据同步节点去读取该数据集,进而实现 ETL 作业从 Excel 文件里面读取数据的需求。

1647485166870986.png

2. 示例编辑

2.1 新建Excel数据集

1)进入数据决策系统,如下图步骤新建一个文件数据集。

3.png

2)数据集命名为文件数据集1,将示例用到的 Excel 文件 合同事实表.xlsx 添加进来,如下图所示:

4.png

3)Excel 文件添加进来后,勾选第一行包含标题,右边预览按钮点击后可以查看数据,点击右上角保存数据集。

6.png

4)至此一个 Excel 文件数据集就建好了。

7.png

2.2 配置数据同步节点

1)打开数据决策系统,进入 ETL 作业的数据开发,新建一个 ETL 任务,将一个「数据同步节点拖到设计界面,如下图所示:

2.gif

2)点击该节点进行配置,首先配置数据来源,数据源类型选择服务器数据集,数据集类型选择Excel,数据选择上面新建好的文件数据集1,如下图所示:

8.png

可以先用右下角的数据预览看下获取数据的效果,如下图所示:

1647485286367774.png

3)使用自动建表将 Excel 中的数据抽取到目标表 contract ,如下图所示,本示例字段映射无需配置,直接采用默认的设置即可。

10.png

2.3 效果查看

节点配置好后保存并运行任务,任务执行成功后,回到数据库发现多了张表 contract ,且 Excel 中的数据已写入该表,如下图所示:

1647485317580302.png

3. 注意事项编辑

1)如果想要新建 CSV 数据集,需要安装插件:CSV数据集

2)文件数据集的文件如果是某个固定路径下的,且地址中包含参数,那么参数可以被解析使用,例如:

用户定义了文件的 URL 为:https://fanruan-market.oss-cn-shanghai.aliyuncs.com/fine_data_prep_test/${today}.xls 

如果 ${today} 在 ETL 任务内被定义过,那么支持正常解析。

12.png