文件输入算子概述

1.1 版本说明

1.2 应用场景

用户在搭建数仓时，希望能从 FineDataLink 服务器本地或者共享目录中读取 Excel 、CSV 文件数据。

同时可以通过 FDL 将 Excel 、CSV 文件直接上传至 FDL 服务器本地。

1.3 功能简介

FineDataLink 支持「文件输入」功能，可读取文件数据。如下图所示：

1.4 前提条件

1）数据来源支持的数据源类型如下表所示：

2）4.0.24 版本之前，仅支持上传后缀小写的 Excel 和 CSV 文件，对于大写后缀的 Excel 和 CSV 文件上传校验不通过。若文件存在，但无法读取，请检查文件后缀是否为大写 .CSV/.XLSX，请手动修改为小写。

2.1 支持读取的文件类型

2.2 数据预览

「数据预览」界面如下图所示：

说明如下：

• 预览数据量默认最多20行；使用前5000行数据中出现的字段与首行列数（如果指定了首行为字段名称）取并集，作为预览时展示的字段，且仅取数采样前5000条数据，但请不要担心，在输出数据时为全量输出。

• 如果首行字段为合并单元格的情况，将合并单元格进行拆分后，以「字段名称+数字」的方式对拆分后的字段命名，如三个单元格合并后的首行单元格为「姓名」，则命名为姓名、姓名1、姓名2..:

• 如果CSV首行字段有重名情况，以「字段名称+数字」的方式对重复字段命名，如重复字段为姓名，则重复字段命名为姓名1、姓名2...。

• 未勾选首行包含字段名时，字段名称以「column+数字」的方式对解析出的字段依次命名，如column、column1、column2...。

2.3 特殊场景处理策略

1）FDL 工程的定时任务中使用了「文件输入」算子，其中文件类型选择 CSV，读取方式为文件夹读取：

• 若设置了文件筛选条件，升级到 4.1.4 及之后版本后，filename 包含.txt、.TXT、.csv、.CSV，与升级前配置的筛选条件为且关系。

• 若没有设置文件筛选条件，升级到 4.1.4 及之后版本后，filename 默认包含.txt、.TXT、.csv、.CSV。

2）4.2.10.3 版本，文件输入节点中，若原「sheet名」配置中引用参数，升级后变为「自定义条件>Sheet名称」设置，并引用参数；若原「sheet名」配置中直接选择 sheet，升级后变为「直接选取」设置，并选择 sheet。

单元格格式与读取后字段的关系说明：

1）CSV字段类型问题

CSV读取后，输出只有字符串和数字两种类型，数字需要保证不丢精度。对于时间类型，如2022-11-10类型的时间，解析为字符串；时间戳类型的时间解析成数字。

2）合并单元格读取问题

对于合并的单元格，拆分单元格读取，复制值到每个拆分后的单元格进行读取。

3）字段为空的情况

如果标题字段存在空值，则将空值以「column+数字」的方式补充。

如果数字字段存在空值，填NULL

4）不支持 Excel 的多选Sheet读取。

5）不支持文件名通配符。

6）不支持读取设密码的Excel文件。