历史版本11 :管理实时管道任务 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
4.0.5-
4.2.8.4
选择去向新增「数据分批」配置项,暂停任务时支持编辑
4.2.11.3

支持任务级重置操作

支持更灵活地编辑实时管道任务,详情请参见本文第四章内容


历史版本更新
FineDataLink 版本
功能变动
4.0.7管道任务列表交互界面优化
4.0.27支持文件夹管理管道任务
4.0.29任务支持复制到指定文件夹位置
4.1.2运行中的任务支持查看任务配置情况
4.1.6.5
  • 管道任务/文件夹支持拖拽排序

  • 任务列表中,鼠标点击管道任务右侧的46.png,新增移动到按钮

4.1.11.1去除卡片式/列表式展示
4.2.6.4管道任务中移除某张表时,对应表的脏数据会被清理

1.2 功能简介

1)管道任务可放在文件夹中进行管理;用户可复制、移动、重命名、导出、删除管道任务。如下图所示:

24.png

2)本文给出编辑管道任务的说明。

2. 管道任务展示形式/位置说明编辑

任务列表中用户可查看和编辑所有有 权限 的管道任务。

4.1.11.1 之前版本

点击实时管道任务文件夹,在右侧可看到文件夹下所有的管道任务,并且可以调整管道任务展示形式(卡片式、列表式)。如下图所示:

下图中右侧管道任务为卡片式。

注:4.1.11.1 及之后版本,去除卡片式、列表式展示功能。

25.png

通用功能说明

1)管道任务可放在文件夹中进行管理。

2)可拖动管道任务到指定文件夹中。如下图所示:

37.png

3. 重命名/移动/复制/导出/删除管道任务编辑

鼠标点击某个管道任务右侧的标志,可修改任务名称、将任务移动到某个路径下、将任务复制到某个路径下、删除任务、导出任务。如下图所示:

注:管道任务状态处于草稿、待启动、已暂停、中止时,才支持删除管道任务;管道任务状态说明请参见:单个管道任务状态说明

26.png

1)4.1.6.5 及之后版本,支持拖拽管道任务/文件夹来改变其位置:

  • 所有用户均可手动拖拽有权限的管道任务/文件夹。

  • 拖拽结果对所有用户生效。

  • 某用户从上到下看到的管道任务为 5、1、7;管理员从上到下看到的管道任务为 5、6、1、9、7;该用户将 7 挪到 5 和 1 之间,管理员侧将看到 7 在 1 上面,在 6 下面;即被挪动的任务紧靠下方的那个目标节点(目标节点为 5 和 1,1为靠下的位置);文件夹也同理。

24.1.6.5 及之后版本,新增移动到按钮。

移动到按钮说明:该按钮不支持改变位次,只能改变所在文件夹在文件夹 A 中的管道任务,点击移动到按钮,移动到文件夹 B ,管道任务移动后,将位于文件夹 B 的末尾;若仍然移动到文件夹 A ,管道任务的位置不变;移动到」效果对所有用户生效。

4. 编辑管道任务编辑

icon提示:
4.2.11.3 之前版本,请参见:历史文档;本章内容适用于 4.2.11.3 及之后版本。

1)实时管道任务处于「草稿」状态时,所有配置均可编辑。

2)非「草稿」状态的实时管道任务,可编辑项说明如下表所示:

配置项
粒度限制说明可编辑项说明
来源去向任务级仅「待启动」状态下,可以修改此配置

1)可编辑项

修改同步类型:

  •  选择「仅增量时,可指定或修改同步起点(仅限当前支持指定起点同步的数据源)

  • 若任务运行过,用户想编辑,需要先对任务做「重置」操作

2)不可编辑项

  • 数据来源:数据连接、读取方式

  • 数据去向:数据连接、模式\库

若用户想编辑,可采取「复制」任务的操作,「复制」后再进行编辑

高级配置任务级待启动、已暂停、异常中止状态下,可修改
各配置项均支持编辑
管道任务控制任务级各配置项均支持编辑
映射关系和写入方式表级待启动、已暂停、异常中止状态下,可修改

支持新增同步对象:

新增同步对象时,支持定义同步类型、映射关系、写入方式等所有同步对象的配置

  • 选择「仅增量时,可指定同步起点(仅限当前支持指定起点同步的数据源)

  • 选择「全量+增量时,表的增量起点为该同步对象启动时的时刻

支持删除同步对象

持编辑同步对象

修改同步对象时,支持修改同步类型、映射关系、写入方式等所有同步对象的配置

可修改映射关系和写入方式

增、删除、编辑同步对象均支持批量操作

icon提示:

修改同步对象时:

1)若未修改同步类型/同步起点,则再次运行该同步对象时,基于同步对象的断点继续同步

2)若修改了同步类型/同步起点,则再次运行该同步对象时,抛弃该同步对象的断点,读写统计、脏数据,基于新的同步类型/同步起点重新同步,相当于对该同步对象做了重置


5. 暂停管道任务编辑

应用场景:

用户希望修改管道任务,需要将正在运行中的管道任务暂停。

方案一:

在管道任务详情页中点击「暂停按钮,暂停管道任务。如下图所示:

4.png

方案二:

在「运维中心>管道任务>任务管理中,可选择多个数据管道任务,批量暂停。如下图所示:

6.png

6. 重置管道任务编辑

应用场景:

数据表发生变化或遇到异常(日志过期、断点失效)时,想要让管道恢复正常。

功能简介:

4.2.11.3 及之后版本,运行过&非运行中&非启动中&非重置中时,提供「重置任务按钮。

该按钮作用如下:

具体说明
除实时管道任务整体的数据读写记录(最新读取消息、最新写入消息)
清除实时管道任务内所有同步对象的运行信息
  • 各同步对象的同步状态

  • 各同步对象的断点记录(最新读取消息时间、最新读取消息时间)

  • 各同步对象的脏数据存储

  • 任务重置后进入待启动状态,此状态下支持对任务做启动、编辑、删除操作

  • 重置操作不会修改任务内配置

  • 不会清除任务级和各同步对象的读写统计信息,不会清除任务的日志信息

47.png