1. 概述编辑
1.1 版本说明
FineDataLink 版本 | 功能变动 |
---|---|
4.0.14 | - |
1.2 应用场景
用户在搭建数仓时,希望能从 FineDataLink 服务器本地或者共享目录中读取 Excel 、CSV 文件数据。
同时可以通过 FDL 将Excel 、CSV 文件直接上传至 FDL 服务器本地。
1.3 功能说明
FineDataLink 支持「文件输入」功能。
支持Excel和CSV文件读取,允许用户从 FineDataLink 服务器本地和 FTP/SFTP 服务器上读取 Excel 和 CSV 文件数据。
支持用户快速上传文件至有权限的 FDL 服务器本地目录中。
2. 前提条件编辑
在使用功能前,需要首先创建数据连接。
若需要读取远程 FTP/SFTP 服务器 Excel 和 CSV 文件数据,可参见:配置FTP/SFTP数据连接
若需要读取或者上传 FineDataLink 服务器本地的 Excel 和 CSV 文件数据,可参见:配置服务器本地目录数据连接
3. 读取远程FTP/SFTP 服务器数据编辑
3.1 设置读取条件
新建任务并新建「数据转换」节点,如下图所示:
进入编辑界面,选择「文件输入」,设置数据来源为 FTP/SFTP,选择文件类型为「Excel」,如下图所示:
注:Excel需要支持满足的版本为97~最新版本。
选择服务器文件地址,如下图所示:
然后选择「sheet名」,如下图所示:
然后可以进行行列读取范围的设置,本示例选择读取所有数据,如下图所示:
若选择 csv 文件格式,可以指定分隔符和编码,如下图所示:
注:选择自定义时,可以手动输入自定义分隔符,可以输入多个字符作为分隔符,可以是中文字符。
最后勾选首行是否为字段名称,勾选时,将解析到的首行数据作为字段名,不勾选时,首行将作为实际数据解析,如下图所示:
点击数据预览即可看到读取好的 Excel 或者 CSV 数据,如下图所示:
注:预览数据量默认最多20行;字段样本数据量最多5000行,使用前5000行数据中出现的字段与首行列数(如果指定了首行为字段名称)取并集,作为预览时展示的字段。