最新历史版本 :数据同步-服务器数据集 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本说明

FineDataLink 版本功能变动
V2.2数据源类型支持服务器数据集，支持从 CSV、Excel 文件中读取数据

1.2 应用场景

用户希望读取 Excel 、CSV 文件数据。

FineDataLink「数据同步」节点的数据源类型支持服务器数据集，支持读取 Excel 、CSV 文件数据。

1.3 功能简介

用户可先在「管理系统>数据连接>服务器数据集」中新建「文件数据集」：

注1：上传的 Excel 数据文件保存在%FDL_HOME%\webapps\webroot\WEB-INF\reportlets\excel下。

注2：用户 配置服务器本地目录数据连接 OR 配置FTP/SFTP数据连接 后，使用「文件输入」算子也支持读取文件数据。

26.png

「数据同步」节点去读取该数据集，进而实现 FineDatalink 从 Excel 文件里面读取数据的需求。

12.png

2. 示例一：文件路径无参数编辑

示例为新建文件数据集（Excel、TXT、XML 格式）。

示例数据：合同事实表.xlsx

2.1 新建 Excel 数据集

1）新建一个文件数据集。步骤如下图所示：

28.png

2）数据集命名为「合同事实表数据」，文件类型选择「Excel」，点击「本地文件」按钮上传 Excel 文件。如下图所示：

29.png

3）点击右上角「保存」按钮。至此一个 Excel 文件数据集就建好了。如下图所示：

30.png

2.2 配置数据同步节点

1）点击「数据开发」，新建一个定时任务，拖入「数据同步」节点。

2）配置数据来源，数据集选择 2.1 节新建的「合同事实表数据」。如下图所示：

13.png

点击「数据预览」，可查看取出的 Excel 数据。如下图所示：

32.png

3）点击「数据去向与映射」Tab，将取出的 Excel 数据输出到 MySQL 数据库中的 hetong 表中，字段映射就是查看或修改源表跟目标表的字段关系，此处用默认的即可。如下图所示：

14.png

4）写入方式选择「追加写入数据」，将全部数据写入到目标表中。如下图所示：

15.png

2.3 效果查看

1）点击「保存并运行」按钮。如下图所示：

35.png

2）任务运行成功后，hetong 表数据如下图所示：

3. 示例二：文件路径有参数编辑

如果新建的文件数据集需要根据某个参数读取对应的文件路径，此时可以在文件来源处使用参数。

3.1 设置参数

设置参数，在数据开发任务中设置 today 参数，显示当前日期。如下图所示：

37.png

3.2 新建 Excel 数据集

1）将 Excel 文件存储在某个服务器下，获得该文件的访问 URL。

注：请确保 FDL 工程可成功访问该文件，否则将调用失败。

2）进入 FineDataLink，如下图步骤新建一个文件数据集。

40.png

3）数据集命名为「数据」，选择文件来源为 URL，输入文件存放路径，其中引用之前设置的参数 today，http://192.168.5.175:8081/${today}.xlsx，如下图所示：

例如当天为 2022-09-27 则访问URL 为：http://192.168.5.175:8081/2022-09-27.xlsx

注：URL地址中若包含中文，必须先进行 URL转码 ，在平台填写转码后的路径，方可正常访问。

38.png

4）选择参数类型为「日期」，并输入默认值，点击预览。如下图所示：

39.png

5）点击「保存」按钮，至此一个 Excel 文件数据集就建好了。

3.3 配置数据同步节点

步骤与 2.2 节一致。

4. 内容扩展编辑

「数据转换」节点中的 文件输入 算子：

  • 支持批量读取同格式的 Excel 和 CSV 文件

  • 支持 Excel 和 CSV 文件自定义输出字段类型

  • 支持 CSV 文件跳过前 N 行取数

  • 支持 TXT 文件读取

  • 支持忽略后缀名大小写读取

  • 支持读取 json/xml 文件

  • 文件类型选择 CSV 时，支持读取类 csv 文件类型，例如tsv、log、dt（csv 和 xml 混合格式）/dbf 等