历史版本12 :管理实时管道任务 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
4.0.5-
4.2.8.4
选择去向新增「数据分批」配置项,暂停任务时支持编辑
4.2.11.3

支持任务级重置操作

支持更灵活地编辑实时管道任务,详情请参见本文第四章内容

支持暂停、启动单张表/所有表,详情请参见本文第五章内容


历史版本更新
FineDataLink 版本
功能变动
4.0.7管道任务列表交互界面优化
4.0.27支持文件夹管理管道任务
4.0.29任务支持复制到指定文件夹位置
4.1.2运行中的任务支持查看任务配置情况
4.1.6.5
  • 管道任务/文件夹支持拖拽排序

  • 任务列表中,鼠标点击管道任务右侧的46.png,新增移动到按钮

4.1.11.1去除卡片式/列表式展示
4.2.6.4管道任务中移除某张表时,对应表的脏数据会被清理

1.2 功能简介

1)管道任务可放在文件夹中进行管理;用户可复制、移动、重命名、导出、删除管道任务。如下图所示:

24.png

2)本文给出编辑管道任务的说明。

2. 管道任务展示形式/位置说明编辑

任务列表中用户可查看和编辑所有有 权限 的管道任务。

4.1.11.1 之前版本

点击实时管道任务文件夹,在右侧可看到文件夹下所有的管道任务,并且可以调整管道任务展示形式(卡片式、列表式)。如下图所示:

下图中右侧管道任务为卡片式。

注:4.1.11.1 及之后版本,去除卡片式、列表式展示功能。

25.png

通用功能说明

1)管道任务可放在文件夹中进行管理。

2)可拖动管道任务到指定文件夹中。如下图所示:

37.png

3. 重命名/移动/复制/导出/删除管道任务编辑

鼠标点击某个管道任务右侧的标志,可修改任务名称、将任务移动到某个路径下、将任务复制到某个路径下、删除任务、导出任务。如下图所示:

注:管道任务状态处于草稿、待启动、已暂停、中止时,才支持删除管道任务;管道任务状态说明请参见:单个管道任务状态说明

26.png

1)4.1.6.5 及之后版本,支持拖拽管道任务/文件夹来改变其位置:

  • 所有用户均可手动拖拽有权限的管道任务/文件夹。

  • 拖拽结果对所有用户生效。

  • 某用户从上到下看到的管道任务为 5、1、7;管理员从上到下看到的管道任务为 5、6、1、9、7;该用户将 7 挪到 5 和 1 之间,管理员侧将看到 7 在 1 上面,在 6 下面;即被挪动的任务紧靠下方的那个目标节点(目标节点为 5 和 1,1为靠下的位置);文件夹也同理。

24.1.6.5 及之后版本,新增移动到按钮。

移动到按钮说明:该按钮不支持改变位次,只能改变所在文件夹在文件夹 A 中的管道任务,点击移动到按钮,移动到文件夹 B ,管道任务移动后,将位于文件夹 B 的末尾;若仍然移动到文件夹 A ,管道任务的位置不变;移动到」效果对所有用户生效。

4. 编辑管道任务编辑

4.1 修改配置

icon提示:
本章内容适用于 4.2.11.3 及之后版本;4.2.11.3 之前版本,请参见:历史文档

实时管道任务运行一段时间后,用户想修改配置,FineDataLink 提供修改具体配置的入口。如下图所示:

37.png

支持编辑的设置项说明如下表所示:

配置项
粒度限制说明可编辑项说明
高级配置

任务级 

任务级状态说明请参见:实时管道任务状态、表状态说明 

待启动、已暂停、异常中止状态下,可修改

各配置项均支持编辑


任务控制
映射关系和写入方式

表级

级状态说明请参见:实时管道任务状态、表状态说明 

所有状态

无需暂停实时管道任务,直接添加一个同步对象,配置完成后,启动该同步对象即可

支持新增同步对象:

新增同步对象时,支持定义同步类型、映射关系、写入方式等所有同步对象的配置

  • 选择「仅增量时,可指定同步起点(仅限当前支持指定起点同步的数据源)

  • 选择「全量+增量时,表的增量起点为该同步对象启动时的时刻

待启动、已暂停、异常中止状态下,可修改

支持删除同步对象

持编辑同步对象

修改同步对象时,支持修改同步类型、映射关系、写入方式等所有同步对象的配置

可修改映射关系和写入方式

增、删除、编辑同步对象均支持批量操作

icon提示:

修改同步对象时:

1)若未修改同步类型/同步起点,则再次运行该同步对象时,基于同步对象的断点继续同步

2)若修改了同步类型/同步起点,则再次运行该同步对象时,抛弃该同步对象的断点,读写统计、脏数据,基于新的同步类型/同步起点重新同步,相当于对该同步对象做了重置

4.2 重置任务

应用场景:

数据表发生变化或遇到异常(日志过期、断点失效)时,想要让管道恢复正常。

功能简介:

4.2.11.3 及之后版本,运行过&非运行中&非启动中&非重置中时,提供「重置任务」按钮。

42.png

该按钮作用如下:

具体说明

除实时管道任务整体的数据读写记录(最新读取消息、最新写入消息)

43.png

清除实时管道任务内所有同步对象的运行信息
  • 各同步对象的同步状态

  • 各同步对象的断点记录(最新读取消息时间、最新读取消息时间)

  • 各同步对象的脏数据存储

  • 任务重置后进入待启动状态,此状态下支持对任务做启动、编辑、删除操作

  • 重置操作不会修改任务内配置

  • 保留历史的读写统计信息;保留任务的日志信息

44.png

5. 暂停/启动/重新同步表编辑

5.1 暂停表同步

支持暂停所有表,或者暂停单张表的同步。如下图所示:

39.png

5.2 启动所有表

支持启动所有表、启动单张表。如下图所示:

40.png

5.3 重新同步表

场景:

旧版本中,同步过的表断点丢失后无法重新同步,只能复制一份任务重跑。

功能说明:

支持对表进行重新同步。如下图所示:

45.png