反馈已提交

网络繁忙

文件输入算子读取单个文件

  • 文档创建者:Wendy123456
  • 历史版本:8
  • 最近更新:Roxy 于 2024-12-20
  • 1. 概述

    文件输入 文档讲述了「文件输入」算子的基本功能,「文件输入」算子支持从 FineDataLink 服务器本地和 FTP/SFTP 服务器上读取 Excel 和 CSV 文件数据,4.0.24 及之后版本,还支持批量读取同格式的 Excel 和 CSV 文件。

    本文通过两个简单示例,讲解使用「文件输入」算子读取单个文件的方法。

    2. 示例一:读取远程FTP/SFTP服务器数据

    示例数据:2024-08-06.xlsxCSV文件.zip

    2.1 配置 FTP/SFTP 数据连接

    需要先配置 FTP/SFTP 数据连接,后续步骤中通过「文件输入」算子获取FTP/SFTP服务器中的数据。详情请参见:配置FTP/SFTP数据连接

    若已配置 FTP/SFTP 数据连接,检查下是否有该数据连接的使用权限。

    2.2 读取 Excel 文件

    本节分两个小场景讲解:「文件输入」中不使用参数、「文件输入」中使用参数。

    注:各设置项详细介绍请参见 文件输入

    2.2.1 文件地址不设置参数

    1)新建定时任务,拖入「数据转换」节点,进入「数据转换」节点。

    2)拖入「文件输入」算子,设置「文件输入」算子:

    • 文件来源:要读取的文件所在的 FTP/SFTP 服务器。

    • 文件类型:要读取的文件类型,本示例选择 Excel 。

    注1:文件类型选择 Excel 时,支持的后缀名:.xls、.xlsx、.XLS、.XLSX

    注2:Excel 需要支持满足的版本为 97~ 最新版本。

    • 读取方式:分为两种,「文件读取」和「文件夹读取」。「文件读取」只能读取单个文件,「文件夹读取」可读取文件夹中的文件,具体介绍请参见:文件输入

    • 文件地址:选择要读取的文件。支持使用参数,例如:/home/ftpuser/test/${time}.xlsx。也可以使用 参数赋值 进行参数设置。

    • sheet名:填写要读取的 Sheet 名。为空时读取第一个 sheet。

    • 读取行列范围:设置要读取的行列范围。

    • 起始行为字段名:勾选时,将解析到的首行数据作为字段名。不勾选时,首行将作为实际数据解析。

    • 输出字段:分为两种,自动获取手动获取自动获取将根据解析结果直接读取字段类型,此时「自动获取」界面下不显示输出的字段。手动获取」介绍请参见:文件输入

    3.png

    3)点击数据预览,如下图所示:

    19.png

    2.2.2 文件地址设置参数

    Excel 文件名以日期命名,比如该示例执行时日期为 2024-08-07,示例表数据名称为 2024-08-06 。

    1)点击「参数列表」,添加参数 time ,值为 yyyy-mm-dd-1,意为取值为 ${cyctime} 的前一天。「文件输入」算子中,该参数放在文件地址中,读取示例表数据。

    4.png

    2)「文件输入」算子中,文件地址手动输入值为:/data/demo_files/${time}.xlsx,输入后按 Enter 键。如下图所示:

    6.png

    3)点击「数据预览」,可读取 2024-08-06.xlsx 表数据。如下图所示:

    19.png

    2.3 读取 CSV 文件

    具体设置项介绍请参见:文件输入

    1)进入「数据转换」节点,拖入「文件输入」算子,设置「文件输入」算子:

    • 列分隔符:根据指定的分隔符,分隔数据为多列。配置的分隔符需要与文件中实际的分隔符保持一致才可正常解析。可指定或自定义分隔符。

    注:选择自定义时,可以手动输入自定义分隔符,可以输入多个字符作为分隔符,可以是中文字符。

    • 行分隔符:可指定 CSV 中的行分隔符。

    • 编码:指定 CSV 文件编码。本示例选择 UTF-8。

    • 文本限定符:用于标识数据值的开始和结束,以避免数据中包含的特殊字符干扰 CSV 文件的解析。

    • 读取起始行:CSV 文件可以从第 N 行开始取数。实际读取时,将从配置的起始行开始进行读取。

    7.png

    3)点击「数据预览」,如下图所示:

    1723014492441192.png

    2.4 输出数据

    拖入「DB表输出」算子,将数据输出即可。如下图所示:

    9.png

    写入方式选择「追加写入数据」。

    3. 示例二:读取本地数据

    示例数据参考本文第二章。

    3.1 配置服务器本地目录数据连接

    • 若需要读取或者上传本地的 Excel 和 CSV 文件数据至 FineDataLink,需要新建一个「服务器本地目录」数据连接,并将要读取的文件放到%FDL%/webroot/WEB-INF/assets/local_files路径下。具体请参见:配置服务器本地目录数据连接

    • 若已配置「服务器本地目录」数据连接,检查下是否有该数据连接的使用权限。

    3.2 读取文件

    1)新建定时任务,拖入「数据转换节」点,进入「数据转换节点。

    2)拖入「文件输入」算子,设置「文件输入」算子,如下图所示:

    与读取 FTP/SFTP 服务器上的文件不同的是,服务器本地目录下,文件地址中可手动上传文件。

    10.png

    3.3 输出数据

    拖入「DB表输出」算子,将数据输出即可。如下图所示:

    9.png

    写入方式选择追加写入数据



    附件列表


    主题: 数据开发-定时任务
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持