文件输入算子读取单个文件

文件输入 文档讲述了「文件输入」算子的基本功能，「文件输入」算子支持从 FineDataLink 服务器本地和 FTP/SFTP 服务器上读取 Excel 和 CSV 文件数据，4.0.24 及之后版本，还支持批量读取同格式的 Excel 和 CSV 文件。

本文通过两个简单示例，讲解使用「文件输入」算子读取单个文件的方法。

示例数据：2024-08-06.xlsx、CSV文件.zip

2.1 配置 FTP/SFTP 数据连接

需要先配置 FTP/SFTP 数据连接，后续步骤中通过「文件输入」算子获取FTP/SFTP服务器中的数据。详情请参见：配置FTP/SFTP数据连接

若已配置 FTP/SFTP 数据连接，检查下是否有该数据连接的使用权限。

2.2 读取 Excel 文件

本节分两个小场景讲解：「文件输入」中不使用参数、「文件输入」中使用参数。

注：各设置项详细介绍请参见 文件输入

2.2.1 文件地址不设置参数

1）新建定时任务，拖入「数据转换节」点，进入「数据转换」节点。

2）拖入「文件输入」算子，设置「文件输入」算子：

• 文件来源：要读取的文件所在的 FTP/SFTP 服务器。

• 文件类型：要读取的文件类型，本示例选择 Excel 。

注1：文件类型选择 Excel 时，支持的后缀名：.xls、.xlsx、.XLS、.XLSX

注2：Excel 需要支持满足的版本为 97~ 最新版本。

• 读取方式：分为两种，「文件读取」和「文件夹读取」。「文件读取」只能读取单个文件，「文件夹读取」可读取文件夹中的文件，具体介绍请参见：文件输入

• 文件地址：选择要读取的文件。支持使用参数，例如：/home/ftpuser/test/${time}.xlsx。也可以使用 参数赋值 进行参数设置。

• sheet名：填写要读取的 Sheet 名。为空时读取第一个 sheet。

• 读取行列范围：设置要读取的行列范围。

• 起始行为字段名：勾选时，将解析到的首行数据作为字段名。不勾选时，首行将作为实际数据解析。

• 输出字段：分为两种，「自动获取」与「手动获取」。「自动获取」将根据解析结果直接读取字段类型，此时「自动获取」界面下不显示输出的字段。「手动获取」介绍请参见：文件输入

3）点击数据预览，如下图所示：

2.2.2 文件地址设置参数

Excel 文件名以日期命名，比如该示例执行时日期为 2024-08-07，示例表数据名称为 2024-08-06 。

1）点击「参数列表」，添加参数 time ，值为 yyyy-mm-dd-1，意为取值为 ${cyctime} 的前一天。「文件输入」算子中，该参数放在文件地址中，读取示例表数据。

2）「文件输入」算子中，文件地址手动输入值为：/data/demo_files/${time}.xlsx，输入后按 Enter 键。如下图所示：

3）点击「数据预览」，可读取 2024-08-06.xlsx 表数据。如下图所示：

2.3 读取 CSV 文件

具体设置项介绍请参见：文件输入

1）进入「数据转换」节点，拖入「文件输入」算子，设置「文件输入」算子：

• 列分隔符：根据指定的分隔符，分隔数据为多列。配置的分隔符需要与文件中实际的分隔符保持一致才可正常解析。可指定或自定义分隔符。

注：选择自定义时，可以手动输入自定义分隔符，可以输入多个字符作为分隔符，可以是中文字符。

• 行分隔符：可指定 CSV 中的行分隔符。
  

• 编码：指定 CSV 文件编码。本示例选择 UTF-8。

• 文本限定符：用于标识数据值的开始和结束，以避免数据中包含的特殊字符干扰 CSV 文件的解析。

• 读取起始行：CSV 文件可以从第 N 行开始取数。实际读取时，将从配置的起始行开始进行读取。

3）点击「数据预览」，如下图所示：

2.4 输出数据

拖入「DB表输出」算子，将数据输出即可。如下图所示：

写入方式选择「追加写入数据」。

示例数据参考本文第二章。

3.1 配置服务器本地目录数据连接

• 若需要读取或者上传本地的 Excel 和 CSV 文件数据至 FineDataLink，需要新建一个「服务器本地目录」数据连接，并将要读取的文件放到%FDL%/webroot/WEB-INF/assets/local_files路径下。具体请参见：配置服务器本地目录数据连接

• 若已配置「服务器本地目录」数据连接，检查下是否有该数据连接的使用权限。

3.2 读取文件

1）新建定时任务，拖入「数据转换节」点，进入「数据转换」节点。

2）拖入「文件输入」算子，设置「文件输入」算子，如下图所示：

与读取 FTP/SFTP 服务器上的文件不同的是，服务器本地目录下，文件地址中可手动上传文件。

3.3 输出数据

拖入「DB表输出」算子，将数据输出即可。如下图所示：

写入方式选择「追加写入数据」。