ETL任务开发界面介绍

1.1 版本

1.2 应用场景

本文将详细介绍数据开发界面各个模块的功能，并提供一些节点设计的基本操作方法。

节点是组成 ETL 任务的基本单位，多个节点通过线条连接后可确定执行流程，进而组成一个完整的 ETL 任务。

数据开发目前有 8 种节点，它们的基本介绍如下表所示：

其中「数据同步」和「数据转换」的区别和联系如下表所示：

3.1 节点拖拽和连线

1）节点可以直接从节点列表拖拽到任务设计区域使用。

2）按住鼠标从上游节点右侧输出点将光标挪到下游节点的左侧输入点，即可完成两个节点之间的连线。

3.2 节点多选和复制

1）如果要对多个节点批量操作时，需要多选节点，方法有两种。

• 空白区域按住鼠标拖拽光标进行框选

• 按住键盘 Ctrl 键，一个一个点击需要选中的节点。

2）支持复制粘贴单个或多个节点，操作方法也是两种。

• 选中节点后右键节点区域，弹出的选项选择复制，再去空白区域右键进行粘贴即可。

• 选中节点后，直接使用快捷键 Ctrl+C 和 Ctrl+V 进行复制粘贴。

3.3 移动设计界面画布

在设计界面按住键盘空格键，然后拖动鼠标光标，可以移动任务整体画布，操作如下图所示：

4.1 运行和终止任务

设计好的 ETL 任务可以点击工具栏的「保存并运行」来运行，如果需要中途强制终止任务，可以点击「终止」，操作如下图所示：

4.2 参数设置

工具栏中的「参数设置」可以让用户自定义一些参数，详细介绍参见文档：自定义参数

4.3 调度配置

工具栏中的「调度配置」可以让任务定期自动运行，保证数据实时更新，详细介绍参见文档：调度配置

5.1 日志

任务日志展示区域的「日志」页可以查看当前任务的执行情况。

在「日志」这个 Tab 页下，具体显示内容请参见：运行日志介绍

5.2 统计

任务日志展示区域的「统计」页可以查看「数据同步」节点和「数据转换」节点的读写信息。

注：表格中「总流量」字段代表读取和写入的数据量，所占用的流量。

6.1 集群适配

1）认定主节点

对于纯 FineReprot 集群工程，默认以"文件同步基准节点"为主节点。

对于 FineBI+FineReprot 集群工程，以 Spider 的主节点作为主节点。

2）所以请求都转发到主节点

前端请求：查看任务文件和配置、文件增删改、配置增删改、手动触发 ETL 任务运行、查看日志、下载日志，会被拦截并转发至主节点处理。

3）主节点宕机处理策略

如果系统中认定的主节点从集群中消失，则按照节点启动顺序，将备用节点上升为任务运行节点。

若主节点恢复，则待当前队列中的任务运行完毕后，将新的任务继续交由主节点运行。

7.1 迁移和删除任务

ETL 作业中的任务保存在路径：FineReport_10.0\webapps\webroot\WEB-INF\dpworks下，如下图所示：

• 若用户想迁移任务，可将 dpworks 下对应任务文件夹从 A 工程复制到 B 工程对应路径下，迁移后需要重新进行调度配置

• 用户不能通过删除任务文件夹的方式来删除任务，直接删除任务文件夹会导致 ETL作业 前端报错。

7.2 FineDB配置相关

在 FineDB 中， fine_dp_conf_entity 表记录任务配置信息，fine_dp_execute_record 表记录任务执行信息，其他数据平台工具相关的表包括：fine_dp_conf_entity_value、fine_dp_data_slice、fine_dp_dateset，注意不要操作以上表的数据或者误删表，否则会影响 ETL 作业工具的使用。