历史版本17 :数据开发界面介绍 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
1.9-
4.1.1
  • 打开多个定时任务时,支持左右拖拽更换打开顺序

  • 日志优化。具体见本文 5.1 节内容

4.1.4
  • 任务工具栏中的保存并运行」按钮,修改为「运行」按

  • 任务控制中的调度配置Tab,单独独立出来,为调度计划

查看历史版本更新
FineDataLink 版本功能变动
3.1任务日志新增「统计」页,详情参见本文 4.2 节
3.4
  • 节点支持复制粘贴,详情参见本文 2.3 节

  • 任务运行时现在支持强制终止任务,详情参见本文 3.1 节

4.0.6
  • 节点之间的连线方式支持「曲线」,详情参见本文 2.1 节

  • 支持任务设计区域画布无限拓展,更好的满足任务编辑需求,详情参见本文 2.4 节

4.0.10画布支持「自动布局」调整布局样式,同时支持「撤销还原」任务步骤 详情参见本文 2.2 节
4.0.18支持在设计任务和节点时进行实时提示,可以直观地看出任务能否构建成功以及影响构建的因素,并快速定位到问题,详情参见本文 3.5 节
4.0.26支持复制定时任务
4.0.29
  • 定时任务节点视觉效果优

  • 「统计」Tab下新增「脏数据」列,可查看脏数据信息。详情请参见本文 5.2 节内容

  • 节点支持禁用,详情请参见本文 3.4 节内容

4.1.0
  • 选中连线后,支持快捷键 delete、Backspace 键删除

  • 新建连线支持直接生成节点

  • 支持调整连线的来源点和去向点

  • 节点添加到两个节点之间时,连线支持自动吸附

1.2 功能简介

本文对「数据开发」模块的界面进行详细描述和解释,以帮助用户更好地了解该模块的功能和使用方法。

36.png

2. 任务列表编辑

任务列表中用户可查看和编辑所有有 权限 的定时任务。

1)鼠标点击某个定时任务右侧的40.png标志,可对该任务做重命名、移动到某个路径下、复制到某个路径下、删除操作。如下图所示:

注:复制的任务的节点/算子配置、参数设置、调度配置中的超时限制、失败重试、结果通知、画布布局都支持保留,但定时任务的「开启调度」不保留。

41.png

2)鼠标点击某个文件夹右侧的40.png标志,可对该文件夹做重命名、移动到某个路径下、删除操作。如下图所示:

42.png

3. 任务设计区域编辑

3.1 节点拖拽

可以直接从节点列表拖拽节点到任务设计区域使用。如下图所示:

12.gif

3.2 节点连线

1)按住鼠标从上游节点右侧输出点将光标挪到下游节点的左侧输入点,即可完成两个节点之间的连线。

可以选择连线的样式:在任务设计区域中可以选择使用「正交线」或者「曲线」,如下图所示:

13.gif

2)新建连线支持直接生成节点。如下图所示:

15.gif

3)支持调整连线的来源点和去向点。

例如调整去向点:鼠标移到去向箭头位置,箭头变成1698138128182372.png(此时连线高亮)时,可更换连线去向。

16.gif

4)节点添加到两个节点之间时,连线支持自动吸附。如下图所示:

17.gif

3.3 节点布局与步骤撤销还原

在画布工具栏点击「自动布局」按钮,可以对画布内全部内容进行自动布局,使得节点布局更加美观,如下图所示:

18.gif

同时,在画布中设置的节点步骤可以进行撤销还原操作,例如上一步中将节点任务执行条件改为「失败时执行」,那么撤销该步骤,则还原为成功时执行。如下图所示:

19.gif

3.4 节点多选与复制

详情请参见:节点支持复制粘贴

3.5 节点支持禁用

支持禁用节点及下游节点。详情请参见:节点支持禁用

3.6 运行到此节点

在调试过程中,需要更新从上游到这个节点的数据(这个节点有下游节点),然后下个节点再进行调试。目前只能把后续节点禁用或者先断开连线,操作成本较高。

支持设置节点时,选择运行到此处,便于查看上游配置结果和调试。详情请参见:运行至此节点

3.7 移动设计界面画布

在设计界面按住键盘空格键,然后拖动鼠标光标,可以移动任务整体画布,操作如下图所示:

21.gif

同时可以将任务无限拓展画布区域。如下图所示:

22.gif

3.8 节点任务构建提示

4.0.18 版本支持在设计节点和任务时,实时提示节点和任务是否有错误,便于开发人员在构建前直观地看出任务能否构建成功以及影响构建的因素,并快速定位到问题,提升开发任务速度。

  • 若设计任务时节点有异常,则会提示共有几个任务节点异常,同时鼠标悬浮在对应节点的异常警示图标时,出现悬浮框提示具体的异常问题,如下图所示:

14.png

  • 若设计任务时节点无异常,则整个任务提示「无异常」,如下图所示:

15.png

3.9 左右拖拽任务Tab更换打开顺序

数据开发中,打开多个定时任务时,支持左右拖拽更换打开顺序。如下图所示:

23.gif

4. 任务工具栏编辑

4.1 运行和终止任务

设计好的定时任务可以点击工具栏的运行来运行,如果需要中途强制终止任务,可以点击终止,操作如下图所示:

24.gif

4.2 参数设置

工具栏中的参数设置」可以让用户自定义一些参数,详细介绍参见文档:自定义参数

16.png

4.3 调度计划

详情请参见:调度计划

调度计划中,可为定时任务添加「定时调度」和「事件调度」。

  • 定时调度:可为定时任务设置执行频率,定期自动运行定时任务,以保证数据能够及时更新,一个定时任务可设置多个执行频率。

  • 事件调度:可设置任务的调度依赖。例如:数仓构建过程中 ODS 层有 a、b、c 任务互不影响、DW 层有 d 、f 任务,需要 a、b 任务执行完触发 d 任务,来减少 DW 层对 ODS 层完全更新完等待的时间;若 a、b 执行失败则不触发,来避免数据准确性的问题。

17.png

4.4 任务控制

定时任务的「任务控制」中,包含 3 个 Tab ,可为定时任务设置失败重试次数、超时时间、脏数据容忍行数、执行失败通知方式、任务优先级等。如下图所示:

详情请参见:任务控制概述

12.png

5. 任务日志编辑

5.1 日志

任务日志展示区域的日志页可以查看当前任务的执行情况。

18.png

在「日志」这个 Tab 页下,具体显示内容请参见:运行日志介绍

5.2 统计

任务日志展示区域的统计可以查看数据同步节点和数据转换节点的读写信息。

若定时任务运行过程中有脏数据,也展示脏数据信息;点击脏数据行数可展开查看各错误原因分类下的脏数据条数。

注1:表格中「总流量」字段代表读取和写入的数据量,所占用的流量。

注2:统计中,只统计包含输入、输出的节点,例如数据同步节点、数据转换节点等。

20.png