1. 概述编辑
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
3.1 | 任务日志新增「统计」页,详情参见本文 4.2 节 |
4.0.18 | 支持在设计任务和节点时进行实时提示,可以直观地看出任务能否构建成功以及影响构建的因素,并快速定位到问题,详情参见本文 2.5 节 |
查看历史版本更新 | ||||||||
|
1.2 功能简介
本文对「数据开发」模块的界面进行详细描述和解释,以帮助用户更好地了解该模块的功能和使用方法。
2. 任务设计区域编辑
2.1 节点拖拽与连线
1)节点可以直接从节点列表拖拽到任务设计区域使用。
2)按住鼠标从上游节点右侧输出点将光标挪到下游节点的左侧输入点,即可完成两个节点之间的连线。
可以选择连线的样式:在任务设计区域中可以选择使用「正交线」或者「曲线」,如下图所示:
2.2 节点布局与步骤撤销还原
在画布工具栏点击「自动布局」按钮,可以对画布内全部内容进行自动布局,使得节点布局更加美观,如下图所示:
同时,在画布中设置的节点步骤可以进行撤销还原操作,例如上一步中将节点任务执行条件改为「失败时执行」,那么撤销该步骤,则还原为成功时执行,如下图所示:
2.3 节点多选与复制
快捷键设置详情参见:FineDatalink快捷键介绍
1)如果要对多个节点批量操作时,需要多选节点,方法有两种。
空白区域按住鼠标拖拽光标进行框选;
按住键盘 Ctrl 键,一个一个点击需要选中的节点。
2)支持复制粘贴单个或多个节点,操作方法也是两种。
选中节点后右键节点区域,弹出的选项选择复制,再去空白区域右键进行粘贴即可。
选中节点后,直接使用快捷键 Ctrl+C 和 Ctrl+V 进行复制粘贴。
2.4 移动设计界面画布
在设计界面按住键盘空格键,然后拖动鼠标光标,可以移动任务整体画布,操作如下图所示:
同时可以将任务无限拓展画布区域,如下图所示:
2.5 节点任务构建提示
4.0.18 版本支持在设计节点和任务时,实时提示节点和任务是否有错误,便于开发人员在构建前直观地看出任务能否构建成功以及影响构建的因素,并快速定位到问题,提升开发任务速度。
若设计任务时节点有异常,则会提示共有几个任务节点异常,同时鼠标悬浮在对应节点的异常警示图标时,出现悬浮框提示具体的异常问题,如下图所示:
若设计任务时节点无异常,则整个任务提示「无异常」,如下图所示:
3. 任务工具栏编辑
3.1 运行和终止任务
设计好的 ETL 任务可以点击工具栏的「保存并运行」来运行,如果需要中途强制终止任务,可以点击「终止」,操作如下图所示:
3.2 参数设置
工具栏中的「参数设置」可以让用户自定义一些参数,详细介绍参见文档:自定义参数
3.3 调度配置
工具栏中的「调度配置」可以让任务定期自动运行,保证数据实时更新,详细介绍参见文档:调度配置
4. 任务日志编辑
4.1 日志
任务日志展示区域的「日志」页可以查看当前任务的执行情况。
在「日志」这个 Tab 页下,具体显示内容请参见:运行日志介绍
4.2 统计
任务日志展示区域的「统计」页可以查看「数据同步」节点和「数据转换」节点的读写信息。
注:表格中「总流量」字段代表读取和写入的数据量,所占用的流量。
5. 功能变动编辑
5.1 集群适配
1)认定主节点
对于纯 FineReprot 集群工程,默认以"文件同步基准节点"为主节点。
对于 FineBI+FineReprot 集群工程,以 Spider 的主节点作为主节点。
2)所有请求都转发到主节点
前端请求:查看任务文件和配置、文件增删改、配置增删改、手动触发 ETL 任务运行、查看日志、下载日志,会被拦截并转发至主节点处理。
3)主节点宕机处理策略
如果系统中认定的主节点从集群中消失,则按照节点启动顺序,将备用节点上升为任务运行节点。
若主节点恢复,则待当前队列中的任务运行完毕后,将新的任务继续交由主节点运行。
6. 注意事项编辑
6.1 迁移和删除任务
FineDataLink中的任务保存在路径:FineReport_10.0\webapps\webroot\WEB-INF\dpworks下,如下图所示:
若用户想迁移任务,可将 dpworks 下对应任务文件夹从 A 工程复制到 B 工程对应路径下,迁移后需要重新进行调度配置
用户不能通过删除任务文件夹的方式来删除任务,直接删除任务文件夹会导致FineDataLink前端报错。
6.2 FineDB配置相关
在 FineDB 中, fine_dp_conf_entity 表记录任务配置信息,fine_dp_execute_record 表记录任务执行信息,其他数据平台工具相关的表包括:fine_dp_conf_entity_value、fine_dp_data_slice、fine_dp_dateset,注意不要操作以上表的数据或者误删表,否则会影响 ETL 作业工具的使用。
6.3 SQL 语句注释说明
4.0.17 版本之前,FineDataLink 忽略对 SQL 语句注释的处理;4.0.17 及之后版本,SQL 语句的注释交给数据库执行。
用户需注意 SQL 语句注释的书写规范:单行注释之后要有一个空格;Hive 数据源不支持多行注释。