1. 概述编辑
1.1 版本说明
FineDataLink 版本 | 功能变动 |
---|---|
V2.2 | 数据源类型支持服务器数据集,支持从 CSV、Excel 文件中读取数据 |
1.2 应用场景
进行ETL 作业时,直接从 Excel 文件里面读取数据是比较常见的场景,当前FineDataLink「数据同步」节点的数据源类型支持服务器数据集。
用户可以先在管理系统新建 Excel 文件数据集,然后再用「数据同步」节点去读取该数据集,进而实现 ETL 作业从 Excel 文件里面读取数据的需求。
2. 示例编辑
2.1 新建Excel数据集
1)进入数据决策系统,如下图步骤新建一个文件数据集。
2)数据集命名为「文件数据集1」,将示例用到的 Excel 文件 合同事实表.xlsx 添加进来,如下图所示:
3)Excel 文件添加进来后,勾选「第一行包含标题」,右边「预览」按钮点击后可以查看数据,点击右上角「保存」数据集。
4)至此一个 Excel 文件数据集就建好了。
2.2 配置数据同步节点
1)打开数据决策系统,进入 ETL 作业的「数据开发」,新建一个 ETL 任务,将一个「数据同步」节点拖到设计界面,如下图所示:
2)点击该节点进行配置,首先配置数据来源,数据源类型选择「服务器数据集」,数据集类型选择「Excel」,数据选择上面新建好的「文件数据集1」,如下图所示:
可以先用右下角的「数据预览」看下获取数据的效果,如下图所示:
3)使用自动建表将 Excel 中的数据抽取到目标表 contract ,如下图所示,本示例字段映射无需配置,直接采用默认的设置即可。
2.3 效果查看
节点配置好后保存并运行任务,任务执行成功后,回到数据库发现多了张表 contract ,且 Excel 中的数据已写入该表,如下图所示:
3. 注意事项编辑
1)如果想要新建 CSV 数据集,需要安装插件:CSV数据集
2)文件数据集的文件如果是某个固定路径下的,且地址中包含参数,那么参数可以被解析使用,例如:
用户定义了文件的 URL 为:https://fanruan-market.oss-cn-shanghai.aliyuncs.com/fine_data_prep_test/${today}.xls
如果 ${today} 在 ETL 任务内被定义过,那么支持正常解析。