历史版本18 :管理实时管道任务 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
4.0.5-
4.2.8.4
选择去向新增「数据分批」配置项,暂停任务时支持编辑
4.2.11.3

支持任务级重置操作

支持更灵活地编辑实时管道任务,详情请参见本文第四章内容

支持暂停、启动单张表/所有表,详情请参见本文第五章内容


历史版本更新
FineDataLink 版本
功能变动
4.0.7管道任务列表交互界面优化
4.0.27支持文件夹管理管道任务
4.0.29任务支持复制到指定文件夹位置
4.1.2运行中的任务支持查看任务配置情况
4.1.6.5
  • 管道任务/文件夹支持拖拽排序

  • 任务列表中,鼠标点击管道任务右侧的46.png,新增移动到按钮

4.1.11.1去除卡片式/列表式展示
4.2.6.4管道任务中移除某张表时,对应表的脏数据会被清理

1.2 功能简介

1)管道任务可放在文件夹中进行管理;用户可复制、移动、重命名、导出、删除管道任务。如下图所示:

24.png

2)本文给出编辑管道任务的说明。

2. 管道任务展示形式/位置说明编辑

任务列表中用户可查看和编辑所有有 权限 的管道任务。

4.1.11.1 之前版本

点击实时管道任务文件夹,在右侧可看到文件夹下所有的管道任务,并且可以调整管道任务展示形式(卡片式、列表式)。如下图所示:

下图中右侧管道任务为卡片式。

注:4.1.11.1 及之后版本,去除卡片式、列表式展示功能。

25.png

通用功能说明

1)管道任务可放在文件夹中进行管理。

2)可拖动管道任务到指定文件夹中。如下图所示:

37.png

3. 重命名/移动/复制/导出/删除管道任务编辑

鼠标点击某个管道任务右侧的标志,可修改任务名称、将任务移动到某个路径下、将任务复制到某个路径下、删除任务、导出任务。如下图所示:

注:管道任务状态处于草稿、待启动、已暂停、中止时,才支持删除管道任务;管道任务状态说明请参见:单个管道任务状态说明

26.png

1)4.1.6.5 及之后版本,支持拖拽管道任务/文件夹来改变其位置:

  • 所有用户均可手动拖拽有权限的管道任务/文件夹。

  • 拖拽结果对所有用户生效。

  • 某用户从上到下看到的管道任务为 5、1、7;管理员从上到下看到的管道任务为 5、6、1、9、7;该用户将 7 挪到 5 和 1 之间,管理员侧将看到 7 在 1 上面,在 6 下面;即被挪动的任务紧靠下方的那个目标节点(目标节点为 5 和 1,1为靠下的位置);文件夹也同理。

24.1.6.5 及之后版本,新增移动到按钮。

移动到按钮说明:该按钮不支持改变位次,只能改变所在文件夹在文件夹 A 中的管道任务,点击移动到按钮,移动到文件夹 B ,管道任务移动后,将位于文件夹 B 的末尾;若仍然移动到文件夹 A ,管道任务的位置不变;移动到」效果对所有用户生效。

4. 编辑管道任务编辑

4.1 修改配置

icon提示:
本章内容适用于 4.2.11.3 及之后版本;4.2.11.3 之前版本,请参见:历史文档

实时管道任务运行一段时间后,用户想修改配置,FineDataLink 提供修改具体配置的入口。如下图所示:

37.png

支持编辑的设置项说明如下表所示:

配置项
粒度限制说明可编辑项说明
高级配置

任务级 

待启动、已暂停、异常中止状态下,可修改

各配置项均支持编辑

47.png

任务控制
添加表

任务级

待启动、启动中、运行中、已暂停、异常中止,可添加表

无需暂停实时管道任务,直接添加一个同步对象,配置完成后,启动该同步对象即可

支持新增同步对象:

1)入口:

48.png

2)新增同步对象时,支持定义同步类型、映射关系、写入方式等所有同步对象的配置

49.png

  • 选择「仅增量时,可指定同步起点(仅限当前支持指定起点同步的数据源)

  • 选择「全量+增量时,表的增量起点为该同步对象启动时的时刻

映射关系和写入方式表级待启动、已暂停、异常中止状态下,可修改

支持删除同步对象

50.png

持编辑同步对象

修改同步对象时,支持修改同步类型、映射关系、写入方式等所有同步对象的配置

可修改映射关系和写入方式

50.png

增(批量添加表)、删除、编辑同步对象均支持批量操作;还支持为所有表统一设置同步方式

51.png

icon提示:

修改同步对象时:

1)若未修改同步类型/同步起点,则再次运行该同步对象时,基于同步对象的断点继续同步

2)若修改了同步类型/同步起点,则再次运行该同步对象时,抛弃该同步对象的断点,读写统计、脏数据,基于新的同步类型/同步起点重新同步,相当于对该同步对象做了重置

4.2 重置任务

应用场景:

数据表发生变化或遇到异常(日志过期、断点失效)时,想要让管道恢复正常。

功能简介:

4.2.11.3 及之后版本,实时管道任务运行过,且任务状态为暂停中/已暂停/异常中止时,提供「重置任务」按钮。

42.png

该按钮作用如下:

具体说明

除实时管道任务整体的数据读写记录(最新读取消息、最新写入消息)

43.png

清除实时管道任务内所有同步对象的运行信息
  • 各同步对象的同步状态

  • 各同步对象的断点记录(最新读取消息时间、最新读取消息时间)

  • 各同步对象的脏数据存储

  • 任务重置后进入待启动状态,此状态下支持对任务做启动、编辑、删除操作

  • 重置操作不会修改任务内配置

  • 保留历史的读写统计信息;保留任务的日志信息

44.png

5. 暂停/启动/重新同步表编辑

5.1 暂停表同步

表状态为「启动中、待存量同步、存量同步中、待增量同步、增量同步中、脏数据处理中、重试中」,支持暂停表。

1)支持暂停所有表,或者暂停单张表的同步。如下图所示:

39.png

2)支持对自定义的多张表进行暂停操作。如下图所示:

62.png

5.2 启动表同步

注:表状态为「待启动、已暂停、中止」时,支持启动表。

1)支持启动所有表、启动单张表。如下图所示:

40.png

2)支持对自定义的多张表进行启动操作。如下图所示:

62.png

5.3 重新同步表

表状态为已暂停、中止时,支持重新同步表。

重新同步单张表:

支持对表进行重新同步。如下图所示:

  • 支持对单表进行重新全量同步,会将目标端表清空并重新执行全量同步、在全量同步结束后转入增量同步。

  • 在任务被开启重新全量同步后,日志统计信息会重置(输入行、输出行)。

注:若开启逻辑删除标识时,重新同步对目标表清表重写,重写采用insert逻辑,出现提示“任务运行期间产生的逻辑删除数据将会被清空,请确认”。

45.png

批量重新同步:

支持选择多张表,进行重新同步操作。如下图所示:

61.png